Eine weitere Anwendung ist die Kontrollmöglichkeit der Werbeindustrie, um einen Fernseh- oder Radiosender dahingehend zu kontrollieren, ob die gebuchten Werbezeiten auch tat sächlich ausgestrahlt worden sind, oder ob nur Teile der gebuchten Werbeanteile ausgesendet worden sind, oder ob Teile der Werbesendungen während der Übertragung gestört worden sind, was z. Another application is the control ability of the advertising industry to control a television or radio station to determine whether the posted advertising time also did have been broadcast neuter, or only parts of the booked advertising units have been transmitted, or whether parts of the advertising mail disturbed during transmission have been what for.B. in die Verantwortung des Fernseh- oder Rundfunk-Senders fallen könnte. As could be the responsibility of the television or radio station.An dieser Stelle sei darauf hingewiesen, daß insbesondere die Kosten für die Fernsehwerbung in weit verbreiteten Programmen zu guten Sendezeiten derart hoch sind, daß die Werbeindustrie insbesondere im Hinblick auf diese hohen Kosten ein vitales Interesse an einer Kontrollmöglichkeit hat, um nicht nur auf die Angaben der Rundfunksender vertrauen zu müssen. It should be noted that in particular the cost of television advertising in popular programs at good broadcasting times are so high that the advertising industry has a vital interest in a monitoring possibility, particularly in view of these high costs, not only to the information provided by the having to rely on radio stations.Bisher wird als Kontrollmöglichkeit auf bezahlte „Probehörer" bzw. „Probehörerinnen" oder „Probeseher" bzw. „Probeseherinnen" gesetzt, die ein bestimmtes Fernsehprogramm durchgehend betrachten und z. So far, is set as a control option on paid "test handset" or "sample listeners" or "sample wedding" or "sample wedding inside" looking at a particular television continuously and z.B. die genauen Zeiten protokollieren, zu denen ein Werbespot übertragen wird und die ferner überwachen, ob während der Übertragung keine Störung aufgetreten ist, oder ob der gesamte Werbespot korrekt übertragen worden ist, ob also keine Bildverzerrung stattgefunden hat, etc. B. monitor the exact times at which a commercial is transmitted and further monitor whether any error has occurred during transmission or whether the whole commercial has been transmitted correctly, so that no image distortion has taken place, etc.

Hieraus ergeben sich mehrere Probleme. This results in several problems.

Die Erkennungsergebnisse der kleinen analysierten Zeitabschnitte des Audiosignals müssen so zusammengesetzt werden, daß für einen längeren Zeitabschnitt eine eindeutige, korrekte Aussage über das erkannte Audiosignal getroffen werden kann. The recognition results of the small analyzed time periods of the audio signal must be assembled so that for a longer period of time a clear, correct statement of the recognized audio signal can be made.

Zur Analyse eines kontinuierlichen Audiodatenstroms sollen Übergänge von einem Audioelement zu einem anderen richtig erkannt werden, dh ein Wechsel von einem Musikstück A zu einem Musikstück B. Transitions are to be detected correctly from an audio element to another for analysis of a continuous audio stream, that is, a change from a piece of music A to music B.

Ferner existiert die Situation, bei der von einem Musikstück mehrere Versionen vorkommen, die z. Furthermore, the situation occur in a piece of music from several versions that such exists.B. gleich beginnen und sich erst nach einer gewissen Zeit anfangen zu unterscheiden. start as equal and starting out after a certain time to distinguish.Hierbei sei beispielsweise an Kurzversionen oder Maxiversionen eines Songs gedacht. Here is, for example, thought of short versions or maxi versions of a song.Alternativ existieren auch Situationen dahingehend, daß Musikstücke, die auf den gleichen Song zurückgehen, z. Alternatively, situations exist to the effect that music pieces, which go back to the same song, eg.B. am Anfang unterschiedlich sind, einen identischen Mittelteil haben und sich gegen Ende wenigstens eines der beiden Musikstücke voneinander wieder unterscheiden. B. are different at the beginning, middle part have an identical and differ at the end of at least one of the two pieces of music from one another again.Für die Tantiemenvergabe an Urheberrecht-Inhaber kann es durchaus eine Rolle spielen, ob z. For the Tantiemenvergabe to copyright holders, it may well play a role in whether such.B. gegen eine höhere Gebühr die Maxiversion eines Songs gespielt werden kann, ob für eine mittlere Gebühr nur eine Normalversion gespielt werden darf, oder ob für eine geringe Gebühr bereits die Kurzversion eines Songs gespielt werden kann. As against a higher fee the maxi version of a song can be played whether only a normal version may be played for a medium charge, or whether the short version of a song already can be played for a small fee.In diesem Fall sollten verschiedene Versionen eines Songs zuverlässig voneinander unterschieden werden können. In this case, should have different versions of a song can be reliably distinguished from each other.

Insbesondere zur Unterscheidung von unterschiedlichen Versionen ein und desselben Songs ist im Stand der Technik keine Lösung bekannt. In particular to distinguish between different versions of the same song is no known solution in the prior art.

Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, daß eine zuverlässige Inhaltsidentifikation dadurch erreicht wird, daß nicht nur Einzelerkennungsergebnisse für sich betrachtet berücksichtigt werden, sondern über einen gewissen Zeitraum hinweg. The present invention is based on the finding that a reliable content identification is achieved by not only individual recognition results are considered considered in isolation, but over a certain period of time.So existiert auch in der Folge von Einzelerkennungsergebnissen für eine Folge von Fingerabdrücken eine erhebliche Information, die zur Erkennung einsetzbar ist. Thus, a significant number of information that can be used to detect exists in the sequence of individual recognition results for a sequence of fingerprints.Erfindungsgemäß wird daher aus einer Folge von Fingerabdrücken, die eine Folge von Blöcken eines Informationssignals darstellt, eine Bildung von wenigstens zwei unterschiedlichen Hypothesen durchgeführt, wobei eine erste Hypothese eine Annahme für die Zugehörigkeit der Folge von Blöcken zu einer ersten Informationsentität ist, und wobei die zweite Hypothese eine Annahme für die Zugehörig keit der Folge von Blöcken zu der zweiten Informationsentität ist. Therefore, according to the invention wherein a first hypothesis is an assumption for the association of the sequence of blocks with a first information entity of a sequence of fingerprints, which represents a sequence of blocks of an information signal carried out a formation of at least two different hypotheses, and the second hypothesis, an assumption for the Belonging ness of the sequence of blocks is to the second information entity.Die wenigstens zwei Hypothesen werden nunmehr untersucht und einer Bewertung dahingehend unterzogen, daß eine Aussage über das Informationssignal basierend auf einem Untersuchungsergebnis getroffen wird. The at least two hypotheses are now examined and the effect under evaluation that a statement on the information signal is made based on an examination result.Die Aussage könnte beispielsweise darin bestehen, daß bestimmt wird, daß die Folge von Blöcken eine Informationsentität darstellt, die eine Hypothese hat, die am wahrscheinlichsten ist. The statement could for example consist in that it is determined that the sequence of blocks represents an information entity having a hypothesis that is most likely.Die Aussage könnte alternativ oder zusätzlich darin bestehen, daß eine Informationseinheit mit dem Fingerabdruck beendet ist, der als zeitlich letzter Fingerabdruck aus der Folge von Fingerabdrücken zu der wahrscheinlichsten Hypothese beiträgt. The statement could be alternatively or additionally in the fact that an information unit is completed with the fingerprint that contributes as a temporally last fingerprint from the sequence of fingerprints to the most likely hypothesis.

Vorzugsweise werden die Hypothesen dahingehend untersucht, daß es für Fingerabdrücke wenigstens zwei unterschiedliche Identifikationsergebnisse gibt, sowie daß es für jeden der zwei unterschiedlichen Identifikationsergebnisse ein Zuverlässigkeitsmaß gibt, wobei dieses Zuverlässigkeitsmaß in einer konkreten Zahl bestehen kann. Preferably, the hypotheses are examined to determine that there are at least two different fingerprint identification results, and that there is a reliability measure for each of the two different identification results, said reliability measure may consist in a concrete number.Dieses Zuverlässigkeitsmaß kann jedoch auch implizit dahingehend gegeben sein, daß allein die Tatsache, daß z. However, this reliability measure may also be implicitly given to the effect that the mere fact that such.B. zwei Identifikationsergebnisse geliefert werden, eine Zuverlässigkeit von z. B. two identification results are provided, a reliability of z.B. 1/2 signalisiert wird und daß diese Zahl nicht explizit angegeben wird. B. 2.1 is signaled, and that this number is not explicitly specified.

Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird als Mittel zum Bereitstellen von aufeinanderfolgenden Identifikationsergebnissen eine Fingerabdruck-Datenbank verwendet, in der eine Anzahl von Referenz-Fingerabdrücken jeweils in Zuordnung zu einem Identifikationsergebnis abgelegt sind. In a preferred embodiment of the present invention, a fingerprint database is used as a means for providing successive identification results, in which a plurality of reference fingerprints are stored each in association with an identification result.Hierauf wird mit dem aus einem Block des zu analysierenden Informationssignals erzeugten Fingerabdrucks eine Datenbanksuche vorgenommen, um innerhalb der Datenbank nach einem Referenzfingerabdruck zu suchen, der eine Übereinstimmung mit dem Test-Fingerabdruck liefert. This will be carried out a database search with the generated from a block of the information signal to be analyzed fingerprint to search within the database of reference fingerprint that provides a match to the test fingerprint.Je nach Ausgestaltung der Datenbank wird als Suchergebnis nur der beste Treffer, also der Treffer mit einem minimalen Abstandsmaß von der Datenbank als Identifikationsergebnis ausgegeben. Depending on the design of the database, only the best hit, ie the hit with a minimum distance measure from the database is output as identification result as a search result.Es werden auch Datenbanken bevorzugt, die nicht nur qualitativ ein Trefferergebnis liefern, sondern auch ein quantitatives Trefferergebnis liefern, dahingehend, daß eine Anzahl möglicher Treffer mit einem zugeordneten Zuverlässigkeitsmaß ausgegeben wird, so daß beispielsweise alle Treffer mit einem Zuverlässigkeitsmaß, das höher oder gleich einer bestimmten Schwelle, wie beispielsweise 20% ist, von der Datenbank ausgegeben werden. There are also preferred databases, which not only provide high on a hit, but also provide a quantitative results result to the effect that a number of possible matches with an associated reliability measure is output, so that for example all hits with a reliability measure, the higher or equal to a certain threshold, such as 20% are output from the database.

Bei dem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird dann eine neue Hypothese begonnen, wenn ein neues Identifikationsergebnis auftaucht, für das noch keine Hypothese existiert. In the preferred embodiment of the present invention, a new hypothesis is then started when a new identification result appears, nor is no hypothesis for the.Dieses Prozedere wird für eine bestimmte Anzahl von Blöcken durchgeführt, um dann in die Vergangenheit gerichtet zu untersuchen, ob eine bestimmte sich als zuverlässig herausgestellte Hypothese bereits zu Ende ist, um dann diese Hypothese als die wahrscheinlichste Hypothese zu erkennen. This procedure is performed for a certain number of blocks to then examine directed into the past whether a is already certain to be reliable exposed hypothesis to an end in order to then identify this hypothesis as the most likely hypothesis.

Weiterhin liefert das erfindungsgemäße Konzept automatisch eine Protokollierung der Übertragungsqualität vom Anfang bis zum Ende z . Furthermore, the inventive concept automatically provides recording of the transmission quality from the beginning to the end for.B. eines Werbespots . As a commercial.Auch wenn eine Hypothese als wahrscheinlichste Hypothese erkannt worden ist, wenn also bestimmt wird, daß ein bestimmter Werbespot da war, so sind dennoch Qualitätsschwankungen innerhalb des Werbespots anhand der Zuverlässigkeitsmaße nachvollziehbar. Even if a hypothesis has been identified as the most likely hypothesis when it is determined that a certain spot was there, so yet quality variations within the commercial based on the reliability measures are understandable.Ferner ist damit insbesondere die komplette zeitliche Kontinuität eines Werbespots als Beispiel für eine Informationsentität nachvollziehbar und protokollierbar, und zwar insbesondere dahingehend, daß nicht irgend etwas aus dem Werbespot ständig wiederholt worden ist, sondern daß der gesamte Werbespot vom Anfang des Werbespots bis zum Ende des Werbespots kontinuierlich gesendet worden ist. Moreover, so is particularly the complete time continuity of a commercial as an example of an information entity traceable and auditable, especially to the effect that something has not been repeated continuously from the ad, but that the whole commercial from the beginning of the commercial to the end of commercials has been continuously transmitted.

Die vorliegende Erfindung ist ferner dahingehend vorteilhaft, daß durch Hypothesenbildung automatisch das Ende einer Informationsentität und der Beginn einer Informationsentität erkannt werden. The present invention is further advantageous in that are recognized by hypothesizing automatically the end of an information entity and the beginning of an information entity.Dies liegt daran, daß eine Zuord nung zu einer Informationsentität im allgemeinen eindeutig sein wird. This is because a voltage Alloc will be unique to an information entity in general.Dies bedeutet, daß über einen bestimmten Zeitpunkt nicht mehrere Informationsentitäten gemeinsam abgespielt werden können, sondern daß zumindest für die übergroße Anzahl von Programminhalten nur eine Informationsentität im Informationssignal zu einem Zeitpunkt enthalten ist. This means that several information entities can be played together over a certain point in time not but that only one information entity is contained in the information signal at a time at least for the excessive number of program content.Die Hypothesenuntersuchung und die Beurteilung der Hypothesen aufgrund der Hypothesenuntersuchung liefert automatisch einen Zeitpunkt, zu dem eine vorherige Informationsentität beendet ist und zu dem eine neue Informationsentität beginnt. The hypothesis examination and the evaluation of hypotheses due to the hypothesis examination automatically provides a point in time at which a previous information entity ends and at the start of a new information entity.Dies liegt an der bis in die Hypothesen hinein beibehaltenen Blockzuordnung. This is due to to the hypotheses retained in block allocation.So entspricht nach wie vor eine Folge von Fingerabdrücken einer Folge von Blöcken, und entspricht wiederum eine Folge von Identifikationsergebnissen einer Folge von Fingerabdrücken, so daß eine Hypothese dem ursprünglichen Informationssignal in zeitlicher Hinsicht eindeutig zugeordnet ist. Thus, still corresponds to a sequence of fingerprints of a sequence of blocks, and in turn corresponds to a sequence of identification results of a sequence of fingerprints, so that a hypothesis is uniquely associated with the original information signal with respect to time.

Das erfindungsgemäße Konzept ist ferner dahingehend vorteilhaft, daß keine „Unentschieden"-Situationen zwischen zwei Hypothesen entstehen, auch wenn Informationsentitäten streckenweise dennoch das identische Audiomaterial haben, wie beispielsweise bei Kurzversionen oder Langversionen ein und desselben Songs. The inventive concept is further advantageous in that no "draw" situations between two hypotheses are formed, even if information entities in parts nevertheless have the same audio material, such as for example, in a short or long version and versions of the same song.

Dieses Untersuchungsergebnis an der Leitung This finding on the line18 18wird dann einer Einrichtung is then means20 20zum Treffen einer Aussage über das Informationssignal zugeführt. supplied for making a statement on the information signal.Die Einrichtung the establishment20 20zum Treffen einer Aussage über das Informationssignal ist ausgebildet, um eine Information über das Informationssignal basierend auf dem Untersuchungsergebnis auszugeben und kann vielerlei Einstellungen haben. for making a statement on the information signal is designed to output information on the information signal based on the examination result, and may have various settings.

Für alle Einstellungen ist gemeinsam, daß die Aussage über das Informationssignal auf der Basis des Untersuchungsergebnisses For all settings is common that the statement on the information signal on the basis of the test results18 18getroffen wird. is made.Beispiele für verschiedene Aussagen über das Informationssignal bestehen darin, daß bestimmt wird, daß die Folge von Blöcken eine Informationsentität darstellt, die eine Hypothese hat, die am wahrscheinlichsten ist. Examples of various statements about the information signal are that it is determined that the sequence of blocks represents an information entity having a hypothesis that is most likely.Alternative Aussagen bestehen darin, daß eine Informationsentität mit dem Fingerabdruck beendet ist, der als zeitlich letzter Fingerabdruck zu der wahrscheinlichsten Hypothese beiträgt. Alternative statements are that an information entity ends with the fingerprint that contributes as temporally last fingerprint to the most likely hypothesis.Eine alternative Aussage, die durch die Einrichtung An alternative statement that by setting up20 20getroffen werden kann, besteht darin, daß festgestellt wird, daß in dem Informationssignal eine Informationsentität an sich vorhanden ist oder nicht. can be made is that it is determined that the information signal in an information entity is present on or not.

Das erfindungsgemäße Postprocessing, das insbesondere durch die Einrichtungen The post-processing according to the invention, in particular through the facilities14 14, .16 16und and20 20geliefert wird, also das Bilden von wenigstens zwei Hypothesen, das Untersuchen der Hypothesen und das Treffen einer Aussage auf der Basis eines Untersuchungsergebnisses ermöglicht somit nicht nur die Identifikation eines Stücks in einem an sich unbekannten, also zu analysierenden Informationssignal, sondern ermöglicht auch – abgesehen von der Identifikation eines Stücks an sich – die Erkennung des Endes eines ersten Stücks, also einer ersten Informationsentität, und das Detektieren des Beginns einer zweiten, auf die erste Informationsentität folgenden Informationsentität. is supplied, so forming at least two hypotheses, examining the hypotheses and making a statement based on a test result thus not only allows the identification of a piece in an unknown per se, that is to be analyzed information signal, but also allows - apart from the identification of a piece itself - the detection of the end of a first piece, that a first information entity, and detecting the beginning of a second, following to the first information entity information entity.

Ferner sei Bezug nehmend auf Further reference is now to2 2bereits auf die beiden letzten Zeilen verwiesen, die mit den Identifikationsergebnissen ID108 und ID109 bezeichnet sind. already referred to the last two lines, which are designated by the identification results ID108 and ID109.ID108 bezeichnet eine lange Version eines Musikstücks, wie es noch Bezug nehmend auf ID108 designates a long version of a song as reference still to Figure4a 4aerläutert wird, während ID109 eine kurze Version desselben Musikstücks identifiziert, wie es in explains while ID109 identifies a short version of the same song, as in4b 4bdargestellt ist. is shown.

3 3daraus ersichtlich, daß beim Zeitpunkt Δt1 die Hypothesen H1, H2, H3 mit ID1, ID2 bzw. ID3 begonnen werden, und daß im Zeitintervall Δt7 wieder neue Hypothesen mit ID108, ID109, ID4 begonnen werden, und daß im Zeitintervall Δt8 aufgrund der Tatsache, daß dort bei dem gezeigten Beispiel ID8 zum ersten Mal auftritt, eine weitere Hypothese H4 für ID8 begonnen wird. it can be seen that the hypotheses H1, H2, are in the timing .DELTA.t1 started H3 with ID1, ID2 and ID3, and that in the time interval Δt7 again new hypotheses with ID108, ID109, ID4 be started, and that in the time interval Δt8 due to the fact that there occurs in the example shown ID8 for the first time, a further hypothesis is started H4 for ID8.

Bei dem in In the in3 3gezeigten Fall starten alle drei Hypothesen gleichzeitig und enden alle drei Hypothesen gleichzeitig. Start case shown all three hypotheses simultaneously and end all three hypotheses simultaneously.Dies muß jedoch nicht zwingend so sein. However, this need not necessarily be that way.So könnte die Hypothese H1 z. So could the hypothesis H1 z.B. früher enden, also z. B. end earlier, ie for.B. zum Zeitpunkt Δt5. B. at the time .DELTA.t5.Das Zuverlässigkeitsmaß von ID1 müßte in diesem Fall um 90 reduziert werden, womit man bei einem Wert von 330 ankommen würde. The reliability of ID1 would have to be reduced in this case by 90, which one would arrive at a value of 330thIn diesem Fall würde sich ergeben, daß die Hypothese H1 trotzdem die wahrscheinlichste Hypothese ist, obgleich Hypothese H2 über einen längeren Zeitraum, jedoch insgesamt mit geringerer Wahrscheinlichkeit vorhanden ist. In this case would turn out that the hypothesis H1 is nevertheless the most likely hypothesis, although hypothesis H2 over a longer period, however, there is a total less likely.Aus dem in From the in3 3gezeigten Beispiel ist ferner zu sehen, daß die Hypothese H1 trotz der Tatsache, daß sie für Δt1 weniger wahrscheinlich war als die Hypothese H2, am Ende „die Nase vorn" hat. Example shown further shows that the hypothesis H1, despite the fact that it was less likely for .DELTA.t1 than the hypothesis H2, at the end of "one step ahead" has.

Aus Out3 3ist ferner auch zu sehen, daß eine Hypothese auch „Löcher" dahingehend haben könnte, daß beispielsweise im Zeitintervall Δt4 aus irgendwelchen Gründen, beispielsweise aus Gründen der Störung eines Übertragungskanals etc. lediglich ID2 und ID3 mit vernünftiger Wahrscheinlichkeit geliefert werden, nicht. jedoch ID1. Dann müßte der Zuverlässigkeitswert für ID1 um 60 reduziert werden, was wiederum dahingehend zum Ergebnis haben würde, daß die Gesamtzuverlässigkeit statt 420 360 wäre, so daß auch in diesem Fall die Hypothese H1 die wahrscheinlichste Hypothese ist. is further also be seen that a hypothesis as "holes" could have the effect that Δt4 for some reasons, for example for reasons of failure of a transmission channel, etc., for example, in the time interval supplied only ID2 and ID3 with reasonable probability of not. However, ID1. then the reliability value for ID1 would have to be reduced by 60, which would have the effect to the conclusion that the overall reliability instead of 420,360 would be, so that in this case, the hypothesis H1 is the most likely hypothesis.

Aus den vorstehend beschriebenen Szenarien ist daher zu sehen, daß das erfindungsgemäße Konzept, das auf der Basis eines Postprocessings mit Hypothesen arbeitet und einerseits die Sequenz und andererseits die Zuverlässigkeitsmaße der einzelnen Fingerabdruckidentifikationsvorgänge berücksichtigt, außerordentlich robust gegenüber Übertragungsfehlern und auch gegenüber problematischen Funktionalitäten in der Datenbank oder auch gegenüber Fingerabdrücken ist, die sich für manche Informationsentitäten, wie z. From the above-described scenarios can therefore be seen, that the inventive concept, operates on the basis of a post-processing with hypotheses and the one hand, the sequence and on the other hand, the reliability measures of the individual fingerprint identification processes considered extremely robust against transmission errors and also with respect to problematic functionalities in the database or is also to fingerprints, which for some information entities such.B. Musikstücke, Videobilder, Texte, etc. vielleicht nicht so stark voneinander unterscheiden, wie man es sich wünschen würde. As music, video, images, text, etc. might not be so different from one another, as one would wish for.

In der Identifikations-Phase, die in In the identification phase, in10 10dargestellt ist, findet ebenfalls typischerweise dieselbe Merkmalsextraktion is shown, also typically found the same feature extraction900 900wie bei der Trainings-Phase statt. as the place training phase.Insbesondere wird der Fingerprint, welcher von dem Audio-Objekt am Audioeingang für einen Zeitabschnitt Δt extrahiert wurde, mit den Referenz-Fingerprints der Fingerprint-Datenbank In particular, the fingerprint is that has been extracted from the audio object in the audio input for a period of time .DELTA.t with the reference fingerprints of the fingerprint database902 902mittels eines Vergleichers by means of a comparator904 904verglichen, wobei der Vergleicher typischerweise in der Einrichtung compared, said comparator means in the typically12 12zum Bereitstellen von Identifikationsergebnissen, wie sie anhand von for providing identification results as based on1 1dargestellt worden ist, enthalten sein wird. has been illustrated, will be included.Hierauf erhält man bei Feststellung einer Übereinstimmung anhand eines bestimmten Kriteriums ein Erkennungsresultat für den Zeitabschnitt Δt. Thereon is obtained upon detection of a match based on a certain criterion, a recognition result for the period .DELTA.t.Wird also eine Übereinstimmung anhand eines bestimmten Kriteriums festgestellt, so kann der unbekannte Fingerprint, und damit der Ausschnitt aus dem unbekannten Audio-Objekt, einem Referenzmaterial in der Datenbank, also einer Liste von Identifikationsergebnissen IDi, IDi+1,... mit verschiedenen Zuverlässigkeitswerten zugeordnet werden. Thus, if a match is found based on a certain criterion, so can the unknown fingerprint and thus the section of the unknown audio object, a reference material in the database, so a list of identification results IDi, IDi + 1, ... with various reliability values be assigned.

Erfindungsgemäß wird nunmehr nicht nur ein unbekanntes Audioobjekt am Eingang genau einem Referenz-Audioobjekt in der Referenz-Datenbank zugeordnet, und zwar nur für einen Zeitpunkt Δt, sondern es wird kontinuierlich gearbeitet, ohne Unterbrechung des Datenstroms am Eingang. According to the invention now not only an unknown audio object at the input is assigned to exactly one reference audio object in the reference database, and only for a time .DELTA.t, but it is carried out continuously without interruption of the data stream at the input.Erfindungsgemäß wird eine Zuordnung verschiedener Ausschnitte aus Audio-Objekten jeweils zu den korrekten Audio-Objekten aus der Referenzdatenbank vorgenommen. According to the invention a mapping of various sections of audio objects is made in each case to the correct audio objects from the reference database.Damit wird eine lückenlose Abfolge, dh ein Protokoll, der identifizierten Audio-Objekte am Eingang erhalten. Thus a complete sequence, ie a log, the identified audio objects at the input.

Nachfolgend wird anhand der Subsequently, on the basis of4a 4abis to5d 5deine besondere Schwierigkeit der kontinuierlichen Analyse eines kontinuierlichen Audiodatenstroms dargestellt. represented a special difficulty in continuous analysis of a continuous audio stream.Es muß nämlich das Audio-Objekt in Abschnitte der Länge Δtx, also in einzelne Blöcke zerlegt werden, um für den Teilabschnitt des Audiodatenstroms eine Zuordnung zu einem Referenzelement in der Datenbank vornehmen zu können. the audio object it must be so divided into sections the length Δtx into individual blocks namely, in order to make an association with a reference element in the database for the section of the audio stream.Es kann nun vorkommen, daß diese Zuordnung eines einzelnen Abschnitts des Audiodatenstroms nicht immer eindeutig ist und erst im Zusammenhang mit vorherigen und folgenden Zuordnungen eindeutig wird. It may happen now that this association of an individual portion of the audio data stream is not always clear and is clearly only in connection with the previous and following assignments.Wenn man Einzelzuordnungen vornimmt und diese in einem weiteren Schritt lediglich zusammenfaßt, erhält man fehlerhafte Erkennungsprotokolle, was nachfolgend dargestellt wird. If one carries out individual allocations and this merely summarizes in a further step, one obtains erroneous recognition protocols, which is shown below.

4a 4astellt eine lange Version eines Musikstücks XY dar, das auch durch einen in represents a long version of a piece of music XY, which is also by an in4a 4adargestellten langen Fin gerprint dargestellt wird, wobei diesem Fingerprint das Identifikationsergebnis ID108 zugeordnet ist. illustrated long fin is represented gerprint, where this fingerprint the identification result is assigned ID108.4b 4bzeigt dasselbe für eine Kurzversion des gleichen Musikstücks XY. shows the same for a short version of the same piece of music XY.ID109 verweist somit auf eine Kurzversion des Musikstücks XY, während ID108 auf eine Langversion dieses Musikstücks verweist. ID109 thus refers to a short version of the music piece XY, while ID108 refers to a longer version of this piece of music.Nachdem die Kurzversion kürzer als die Langversion ist, ist auch der Fingerprint in After the short version is shorter than the long version, is also the fingerprint in4b 4bkürzer als der Fingerprint in shorter than the fingerprint in4a 4a. ,In der Weise, in der beide Blöcke untereinander dargestellt sind, enthalten die Musikstücke und damit auch die Fingerprints ID108 und ID109 identisches Audiomaterial bzw. identische Fingerprintdaten. are in the manner in which both blocks shown with each containing pieces of music, and thus the fingerprints ID108 and ID109 identical audio or identical fingerprint data.ID109 ist also eine Teilmenge von ID108. ID109 is thus a subset of ID108.Aus Out4c 4cist damit ersichtlich, daß die lange Version einen Anfangsabschnitt hat im Zeitraum Δt0, der in der kurzen Version nicht vorhanden ist. It can be seen therefore that the long version of an initial portion of the period has .DELTA.t0, which is not present in the short version.Im Mittelabschnitt zwischen t1 bis t5 sind die Langversion und die Kurzversion identisch, während die lange Version wieder zwischen dem Zeitpunkt t5 und t7 einen Musikabschnitt hat, der in der Kurzversion, die durch ID109 identifiziert ist, nicht vorhanden ist. In the middle portion between t1 to t5, the long version and the short version are identical, while the long version has again between the time t5 and t7 a music portion which is not present in the short version which is identified by ID109.

Nachfolgend wird anhand der Subsequently, on the basis of5a 5abis to5d 5ddargestellt, wie bei einfachem Zusammenfassen, also ohne Hypothesenbildung mit den Einzelidentifikationen fehlerhafte Erkennungsprotokolle entstehen können. shown, can arise as a simple combining, ie without hypothesis formation with the individual identifications false detection protocols.Es sei angenommen, daß am Eingang des Systems zum Zeitpunkt t0 das Musikstück ID108 aufgenommen wird. It is assumed that the music piece is recorded ID108 at the input of the system at the time t0.Ferner sei die Datenbank dahingehend wirksam, daß sie die in Further, the database is effective in that it in the5a 5agezeigten Elemente für die Zeitabschnitte Δtx identifiziert. Elements shown for the periods of time Δtx identified.Es sei darauf hingewiesen, daß die Identifikation in It should be noted that the identification in5a 5aprinzipiell richtig ist, obgleich jedoch in den Zeitabschnitten Δt1 bis Δt4 sowohl ID108 als auch ID109 ausgegeben werden könnte. is correct in principle, but although could be spent in the periods .DELTA.t1 to Δt4 both ID108 and ID109.Letztendlich ist die Bestimmung der Identifikationsergebnisse in diesen Bereichen zweideutig, da die Datenbank bei nicht vorhandener Störung sowohl ID109 als auch ID108 ausgeben wird und sich aufgrund rechnerischer Unterschiede z. Ultimately, the determination of the identification results in these areas is ambiguous, because the database will output in the absence of disturbance both ID109 and ID108 and due to computational differences z.B. immer für den wahrscheinlichsten Wert entscheiden wird, so daß immer aufgrund irgendwelchen Rauschens einer der beiden Identifikationsergebnisse ID108 oder ID109 ein leicht höheres Zuverlässigkeitsmaß haben wird. B. will always choose the most likely value, so that always ID108 or ID109 a slightly higher reliability measure because any noise one of the two identification results.Im Erkennungsprotokoll, das in In the recognition protocol in5b 5bdargestellt ist, wird somit eine falsche Identifikation dahingehend vorgenommen, daß zu keinem Zeitpunkt das durch ID109 identifizierte Stück gespielt worden ist, sondern daß lediglich das mit ID108 identifizierte Stück abgespielt worden ist. is shown, thus a wrong identification is made as that at no time identified by ID109 piece has been played, but that only has been playing with ID108 identified piece.

Ferner sind weitere Falscherkennungsprotokolle denkbar, welche durch die Mehrdeutigkeit der Einzelerkennungen für einen Abschnitt des Audiodatenstroms im Zeitraum Δtx entstehen werden. In addition, further false detection protocols are conceivable, which are caused by the ambiguity of the single detections for a portion of the audio data stream in the period of time Δtx.

Erfindungsgemäß wird nunmehr auf das in According to the invention will now be on in6 6dargestellte allgemeine Konzept zugegriffen, bei dem die für einen Zeitabschnitt Δtx erhaltenen Erkennungsresultate, also die Ausgangssignale der Einrichtung shown general concept accessed, wherein the recognition results obtained for a period of time Δtx, so the output signals of the device12 12von from1 1, die je nach Implementierung die Einrichtungen Which, depending on implementation, the facilities900 900, .904 904, .902 902vereinigen kann, einem Postprocessing unterzogen werden, das im wesentlichen in der Einrichtung zum Bilden von wenigstens zwei Hypothesen und der Einrichtung zum Untersuchen der Hypothesen von a post-processing can unite, are subjected essentially in the means for forming at least two hypotheses and the means for examining the hypothesis of1 1entspricht. equivalent.Hierauf wird dann unter Verwendung des Postprocessings, also unter Verwendung der bei dem Postprocessing erhaltenen Untersuchungsergebnisse eine Aussage über das Informationssignal in Form einer Erkennungsabfolge bzw. eines Erkennungsprotokolls gezogen. This will then using the post-processing, thus using the test results obtained in the post processing a statement on the information signal in the form of a recognition sequence or a recognition protocol drawn.

In der Postprocessing-Stufe wird die Wahrscheinlichkeit für den Übergang von einem identifizierten Referenzaudioobjekt für den Zeitabschnitt Δtx zu einem beliebigen anderen Referenzaudioobjekt für den Zeitabschnitt Δt x+1 als gleich angenommen. In the post-processing step, the probability for the transition from an identified reference audio object for the period of time Δtx to any other reference audio object for the period .DELTA.t x + 1 is assumed to be equal.Hieraus werden verschiedene zunächst parallel betrachtete Hypothesen für zusammenhängende Audioabschnitte aus den Einzelerkennungen gebildet. From this different first parallel considered hypotheses for contiguous audio portions from the individual recognitions are formed.Es ist zu beachten, daß Einzelerkennungen dann zu einer Hypothese zusammengefügt werden, wenn sie sich auf ein und dasselbe Referenzaudiosignal beziehen und zeitkontinuierlich zusammenhängen. It should be noted that individual recognitions are then combined to form a hypothesis when they are related to one and the same reference audio signal and related time continuously.Das Erkennungsprotokoll ergibt sich aus einem Zusammenfügen der jeweils wahrscheinlichsten Hypothesen unter Beachtung des zeitlichen Fortschritts. The recognition protocol results from a joining of the respective most likely hypotheses considering the temporal progress.Nachfolgend wird ein bevorzugter Algorithmus detailliert dargestellt. Hereinafter, a preferred algorithm is described in detail.

Einzelerkennungen werden dann zu einer Hypothese zusammengesetzt, wenn die Einzelerkennungen zeitlich kontinuierlich aufeinander folgen. Single detections are then combined to form a hypothesis, if the individual recognitions continuously follow each other in time.

Die zeitliche Kontinuität ist ein weiteres Element, das dazu dient, festzustellen, ob eine bereits bestehende Hypothese fortgesetzt wird, oder ob eine neue Hypothese begonnen wird. The temporal continuity is another element that serves to determine whether an already existing hypothesis is continued or whether a new hypothesis is started.So sei das Szenario betrachtet, indem ein bestimmtes z. So the scenario, consider using a specific example.B. Gitarrensolo in einem Stück in der Kurzversion des Stücks ziemlich am Anfang des Stücks kommt und in einer Langversion des Stücks eher in der Mitte des Stücks. B. guitar solo quite comes in one piece in the short version of the piece at the beginning of the play and a long version of the piece rather in the middle of the piece.

Bei einem bevorzugten Ausführungsbeispiel gibt die Datenbank, also die Einrichtung zum Bereitstellen von Identifikationsergebnissen, nicht nur eine Fingerabdruckidentifikation aus, sondern auch einen Zeitwert, der sich daraus ergibt, dass der Identifikationsfingerabdruck in der Datenbank eine Länge hat, und der eingegebene (kurze) Fingerabdruck lediglich mit einem Teil des (langen) Fingerabdrucks in der Datenbank übereinstimmt. In a preferred embodiment, the database is, therefore, the means for providing identification results, not only a fingerprint identification, but also a time value, resulting from the fact that the identification fingerprint in the database has a length, and the input (short) fingerprint only coincides with a part of the (long) fingerprint in the database.

Bei dem vorstehend beschriebenen Szenario würde die Datenbank für das Gitarrensolo vielleicht zwei ID-Ergebnisse liefern (kurze Version und lange Version), jedoch mit zwei unterschiedlichen Zeitindizes. In the above scenario, the database for the guitar solo might provide two ID results (short version and long version), but with two different time indices.Der Zeitindex für das ID-Ergebnis für die kurz Version ist dabei kleiner als der Zeitindex für die lange Version. The time index for the ID result for the short version is smaller than the time index for the long version.Auf der Basis des Zeitindex ist die Einrichtung zum Bilden der Hypothesen nunmehr in der Lage, Hypothesen fortzuführen (wenn eine zeitliche Kontinuität zwischen dem Zeitindex und dem letzten Zeitindex in der Hypothese ist), oder neue Hypothesen zu beginnen, wenn keine Kontinuität in dem aktuell erhaltenen Zeitindex und einem letzten Zeitindex einer Hypothese vorhanden ist. On the basis of the time index, the means for forming hypotheses is now able to continue hypotheses (if a temporal continuity between the time index and the last time index in the hypothesis), or to start a new hypothesis if there is no continuity currently obtained in the is time index and a last time index of a hypothesis exists.

Die Einrichtung the establishment14 14( (1 1) zum Bilden von wenigstens zwei Hypothesen ist ausgebildet, um zum Zeitpunkt t 0 aufgrund des Identifikationsergebnisses ID108 eine erste Hypothese zu starten, und um zum Zeitpunkt t1 aufgrund des neu hinzugekommenen Identifikationsergebnisses ID109 eine neue Hypothese, nämlich die Hypothese H2, zu starten. ) For forming at least two hypotheses is designed to at the time t 0 to start a first hypothesis due to the identification result ID108, and in order to restart at the time t1 due to the newly added identification result ID109 a new hypothesis, namely, the hypothesis H2.

Irgendwann nach dem Zeitpunkt t 7 wird dann die in At some point after time t 7 is then in the7a 7agezeigte Hypothesensituation mit den Hypothesen H1 und H2 betrachtet, um dann aufgrund der Untersuchung der Hypothesen, die so ablaufen kann, wie es in Hypothesis situation shown with the hypotheses H1 and H2 considered to be due to the investigation of the hypotheses that can run as it in7b 7bdargestellt ist, für jede Hypothese die Funktionen für die Konfidenzmaße der Einzelerkennungen, also x H1 und x H2 zu berechnen. is shown to calculate the functions for the confidence measures of the individual detections, so x H1 and H2 x for each hypothesis.

Wenn davon ausgegangen wird, daß zwischen t 1 und t 5 die Identifikationsergebnisse ID108 und ID109 mit gleicher Wahrscheinlichkeit auftreten, so wird bei dem in If it is assumed that the identification results ID108 and ID109 occur between t 1 and t 5 with equal probability, then in which, in7a 7agezeigten Ausführungsbeispiel lediglich die erste Hypothese H1 das Rennen machen, da die Hypothese zwar zwischen t 1 und t 5 genauso wahrscheinlich war wie die Hypothese H2, da die Hypothese H1 jedoch im Zeitraum Δt0 und im Zeitraum Δt5 und im Zeitraum Δt6 gilt, also ein Zuverlässigkeitsmaß für eine Einzelerkennung beiträgt, die für die Hypothese H2 nicht gegeben wird. embodiment shown making only the first hypothesis H1 the race because the hypothesis between t 1 and t 5 was indeed just as likely as the hypothesis H2, however, since the hypothesis is valid for the period .DELTA.t0 and in the period .DELTA.t5 and in the period Δt6 H1, so a reliability contributes for an individual recognition that is not given for the hypothesis H2.Dies bedeutet somit für das Erkennungsprotokoll den in Thus, this means for the detection protocol in the7c 7cgezeigten richtigen Fall, daß nämlich das mit ID108 bezeichnete Stück vom Zeitpunkt t0 bis zum Zeitpunkt t7 abgespielt worden ist. shown right case that has been played namely the one denoted ID108 piece from time t0 to time t7.

Es sei darauf hingewiesen, daß es für die Bestimmung des Endes einer Hypothese verschiedene Möglichkeiten gibt. It should be noted that there are different ways to determine the end of a hypothesis.So kann – unabhängig von der Hypothesensituation – ein Informationsentitätsende z. So can - independent of the hypothesis situation - a Informationsentitätsende z.B. ermittelt werden aus dem Audiosignal selbst, wenn beispielsweise eine Pause mit einer bestimmten Minimallänge auftritt. B. be determined from the audio signal itself, for example, if a break with a certain minimum length occurs.Nachdem dieses Kriterium jedoch dann nicht wirkt, wenn zwischen zwei Informationsentitäten überblendet („Fading") wird, oder wenn zwei Stücke derart schnell aufeinanderfolgen, daß keine merkbare Pause zu finden ist, wird es bevorzugt, aufgrund der in der Vergangenheit betrachteten Hypothesen ein Informationsentitätsende zu bestimmen. Dies kann beispielsweise dahingehend stattfinden, daß eine Hypothese dann als beendet angesehen wird, wenn z. B. zwei oder mehr Blöcke kein Identifikationsergebnis mehr mit einem Zuverlässigkeitswert oberhalb einer bestimmten Minimalschwelle der Einrichtung Once this criterion but then does not work when blended between two information entities ( "fading") is, or if two pieces follow each other so quickly that no noticeable pause can be found, it is preferred because of the consideration in the past hypotheses a Informationsentitätsende to determined. This can, for example, the effect takes place in that a hypothesis is then considered complete if, for. example, two or more blocks no identification result with a reliability value above a certain minimum threshold of the device14 14zum Bilden von Hypothesen zugeführt werden. are supplied for forming hypotheses.Alternativ kann auch, beispielsweise für den in Alternatively, for example for the in3 3gezeigten Fall einfach damit begonnen werden, zu irgendeinem Zeitpunkt in die Vergangenheit gerichtet die Werte der Hypothesen für eine vorbestimmte Anzahl von Blöcken aufzuaddieren, um dann zu sehen, welche Hypothese am Ende, also nach einer bestimmten Anzahl von z. Case shown are simply started to the values ​​of the hypotheses for a predetermined number of blocks addressed at any time in the past to add up to then to see which hypothesis at the end, that after a certain number of z.B. 20 Blöcken für bestimmte Blöcke den höchsten Wert hatte und damit überlebt hat und die anderen Hypothesen „ausgestochen" hat. Dies würde bei dem in B. had 20 blocks for certain blocks of the highest value and has survived it and the other hypotheses "gouged" has. This would wherein in3 3gezeigten Beispiel bedeuten, daß die Hypothesen, daß die In formationsentität ID1 oder ID2 oder ID3 ist, auch für die Zeitabschnitte Δt7 und Δt8 weitergeführt werden würden, wobei dies jedoch nichts an der Erkennung von ID1 ändern würde, da neue Hypothesen, also die Hypothese für ID108, ID109, ID4 und ID8 erst wesentlich später, also für Blöcke von Δt7 und Δt8 oder darüber begonnen werden und damit erst viel später oder überhaupt nicht derart hohe kombinierte Zuverlässigkeitswerte erreichen. Example shown mean that the hypotheses that the in formationsentität is ID1 or ID2 or ID3 would also be continued for the time periods Δt7 and Δt8, but this would not change the recognition of ID1, because new hypotheses, ie the hypothesis for ID108, ID109, ID4 and ID8 until much later, for blocks of Δt7 and Δt8 or start over and do not reach such high combined reliability values ​​only much later or at all.

Aus dem vorstehenden wird ersichtlich, daß das Ende einer Hypothese nicht unbedingt aktiv bestimmt werden muß, sondern daß sich dieses Ende aus der Analyse der Vergangenheit, also der begonnenen Hypothesen automatisch ergeben kann. From the foregoing it will be seen that the end of a hypothesis does not have to be necessarily determined to be active, but that this end can thus give the hypotheses initiated automatically from the analysis of the past.Vorzugsweise wird daher immer dann, wenn ein neues Identifikationsergebnis mit einem Zuverlässigkeitsmaß oberhalb einer Signifikanzschwelle in Erscheinung tritt, eine neue Hypothese begonnen, wobei dann irgendwann in die Vergangenheit geblickt wird, um zu sehen, welche Hypothese für einen bestimmten Zeitraum überlebt, wobei hierfür nicht explizit ein Ende einer Hypothese bestimmt werden muß, da es sich automatisch selbst ergibt. therefore, is always when a new identification result with a reliability measure above a significance threshold makes its appearance, started a new hypothesis, in which case eventually looked to the past to see, survived that hypothesis for a period of time, preferably, for which purpose not explicitly an end of a hypothesis must be determined, as it gives itself automatically.

Abhängig von der Gegebenheit, kann das erfindungsgemäße Verfahren in Hardware oder in Software implementiert werden. Depending on the circumstances, the inventive method in hardware or in software may be implemented.Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das Verfahren ausgeführt wird. The implementation may be on a digital storage medium, particularly a floppy disk or a CD with electronically readable control signals, which can cooperate with a programmable computer system so that the method is executed.Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computer-Programm-Produkt auf einem Rechner abläuft. Generally, the invention thus also consists in a computer program product with a program stored on a machine-readable carrier, the program code for performing the inventive method when the computer program product runs on a computer.In anderen Worten ausgedrückt, kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft. In other words, the invention may be realized as a computer program with a program code for performing the method when the computer program runs on a computer.

Vorrichtung nach Anspruch 4 oder 5, bei der die Einrichtung ( Device according to claim 4 or 5, wherein the means (14 14) zum Bilden ausgebildet ist, um der ersten Hypothese ein erstes der zwei Identifikationsergebnisse und der zweiten Hypothese ein zweites der zwei Identifikationsergebnisse zuzuordnen. ) For forming is designed to associate a second one of the two identification results of the first hypothesis, a first of the two identification results and the second hypothesis.

Vorrichtung nach einem der vorhergehenden Ansprüche, bei der ein Fingerabdruck für einen Block durch eine Zeit-Frequenz-Umsetzung und/oder durch Berechnung eines spektralen Flachheitsmaßes für ein Ergebnis der Zeit-Frequenz-Umsetzung ermittelt wird. Device according to one in which a fingerprint for a block by a time-frequency conversion and / or by calculation of a spectral flatness measure is determined for a result of the time-frequency conversion of the preceding claims.

Vorrichtung nach einem der vorhergehenden Ansprüche, bei der ein Fingerabdruck für einen Block so erzeugt wird, daß der Fingerabdruck eine Datenmenge hat, die kleiner ist als eine Datenmenge des Blocks. Device according to one in which a fingerprint for a block is generated so that the fingerprint has an amount of data that is smaller than an amount of data of the block of the preceding claims.

Vorrichtung nach einem der vorhergehenden Ansprüche, bei der die Einrichtung ( Device according to one of the preceding claims, wherein the means (12 12) zum Bereitstellen von Identifikationsergebnissen ausgebildet ist, um neben einem Identifikationsergebnis auch einen neuen Zeitindex für das Identifikationsergebnis zu liefern, und bei der die Einrichtung ( ) Is adapted for providing identification results to provide in addition to a result of identification also a new time index for the identification result, and wherein the means (14 14) zum Bilden von Hypothesen ausgebildet ist, um eine Hypothese weiterzuführen, wenn eine Kontinuität zwischen einem aktuellsten Zeitindex in der Hypothese und dem neuen Zeitindex existiert, oder um eine Hypothese zu starten, wenn die Kontinuität nicht existiert. ) Is configured for forming hypotheses, in order to continue a hypothesis if a continuity between a most current time index in the hypothesis and the new time index exists, or to start a hypothesis if continuity does not exist.

Computerprogramm mit einem Programmcode zum Durchführen eines Verfahrens gemäß Patentanspruch 20, wenn das Programm auf einem Computer abläuft. Computer program having a program code for performing a method according to claim 20, when the program runs on a computer.

Electronic storage of music data and programs, with the recognition of program segments, as recorded for example music lectures, and systems for the management and reproduction of these program segments