Verfahren zum Abspielen und Bearbeiten von Audiodaten von mindestens zwei Rechnereinheiten

Die vorliegende Erfindung betrifft ein Verfahren zum Abspielen und Bearbeiten von Audiodaten von mindestens zwei Rechnereinheiten über ein paketvermitteltes Datennetz.

Aus DE 697 10 569 T2 ist ein Verfahren zur Wiedergabe von Musik in Echtzeit bei einer Glient- Serverstruktur (Mehrfachknoten- Struktur) bekannt. Das Verfahren schlägt für sogenannte MIDI-Daten vor, Steuerdaten für die Erzeugung eines Musiktons vorzusehen, diese in Datenblöcke zu zerlegen, einen Rückgewinnungsdatenblock zur Rückgewinnung der Steuerdaten zu generieren, den Datenblock über ein Kommunikationsnetzwerk zu übertragen und den Rückgewinnungsdatenblock ebenfalls über das Kommunikationsnetzwerk zu übertragen. Bei dieser Client-Serverstruktur werden also die Ansteuerdaten für ein Musikinstrument über einen Server verteilt, der es einem Publikum mit mehreren Zuhörern ermöglicht einem Konzert zu folgen, indem aus den Steuerdaten bei jedem Zuhörer eine Musik aus den MIDI-Daten erzeugt wird. Ferner wird vorgeschlagen, den MIDI-Daten eine fortlaufende Sequenznummer für die einzelnen Pakete zuzuordnen, die die Reihenfolge der Pakete festhält und die erlaubt diese nach der übertragung neu zu ordnen. Diese MIDI-Daten enthalten in ihrem Header auch Zeitdaten, die die Musikspielzeit der nachfolgenden MIDI-Daten angibt. Die Musikspielzeit erlaubt es, zusammen mit der Information über die Größe der MIDI-Daten, diese mit der vorgesehenen Geschwindigkeit abzuspielen.

Aus DE 101 46 887 Al ist ein Verfahren zur Synchronisation von digitalen Datenströmen mit Audiodaten auf zwei oder mehreren Datenverarbeitungsgeräten bekannt. Hierzu generiert eines der Datenverarbeitungsgeräte ein Steuersignal, das eine absolute Zeitposition in einem Datenstrom beschreibt. Bei dem bekannten Verfahren sind die Datenverarbeitungsgeräte über eine ASIO- Schnittstelle direkt miteinander verbunden.

Aus US 6,175,872 Bl ist ein System zum Verwalten und Synchronisieren von MIDI-Daten bekannt. Die Rechner, die die durch ein Netzwerk ausgetauschten MIDI-Daten abspielen, sind relativ zu einer Normzeit (Standard clock) synchronisiert. Zur Synchronisation der MIDI-Daten wird an ein Paket eine Zeitmarke mit der absoluten Uhrzeit plus einer relativen Zeitverzögerung angehängt. Die relative Zeitverzögerung ergibt sich aus der Position des Rechners auf dem die Daten zum Abspielen vorgesehen sind.

US 6,067,566 betrifft ein Verfahren zum Abspielen von MIDI-Datenströmen, während diese noch empfangen werden. Hierzu wird vorgeschlagen, einen Parser 207 und einen Zeitumwandler 209 vorzusehen. Der Parser 207 liest Ereignisnachrichten 117 und Ereignisdaten, die jeweils Angabe zur verstrichenen Zeit (elapsed time descriptor 119) enthalten. Die verstrichene Zeit bezieht sich hierbei jeweils auf den Beginn einer Spur (vgl. Spalte 5, Zeile 40- 43). Beim Abspielen von Dateien mit mehreren MIDI-Spuren werden diese sequentiell nacheinander eingelesen. Beim Abspielen von n-Spuren werden n- 1 -Spuren zunächst vollständig empfangen und abgespeichert. Die abgespeicherten Spuren werden zusammen mit der noch nicht vollständig empfange-

nen Spur abgespielt, wenn die abgespielte Spur die aktuelle Position (SongPos 217) in den bereits abgespeicherten Spuren erreicht hat.

Der Erfindung liegt die technische Aufgabe zugrunde ein Verfahren bereitzustellen, mit dem Audiodaten von entfernt liegenden Rechnereinheiten zeitgenau zusammengefügt werden können. Erfindungsgemäß wird die Aufgabe durch ein Verfahren mit den Merkmalen aus Anspruch 1 gelöst. Vorteilhafte Ausgestaltungen bilden die Gegenstände der Unteransprüche.

Das Verfahren bezieht sich auf das Abspielen und Bearbeiten von Audiodaten von mindestens zwei Rechnereinheiten über ein paketvermitteltes Datennetz. Dabei wird eine Peer-2-Peer Verbindung zwischen den Rechnereinheiten hergestellt. Bei dem erfindungsgemäßen Verfahren empfängt eine erste Rechnereinheit Audiodaten beispielsweise von einem Instrument oder einem Mikrofon über einen Audioeingang. Den Audiodaten der ersten Rechnereinheit werden Zeitmarken zugeordnet. Eine zweite Rechnereinheit, die nur über das Datennetz mit der ersten Rechnereinheit verbunden ist, wird zum Abspielen weiterer Audiodaten initialisiert. Die weiteren Audiodaten sind ebenfalls mit Zeitmarken versehen. In einem Speicher werden die Audiodaten der mindestens zwei Rechnereinheiten zwischengespeichert und anhand ihrer Zeitmarken einander zugeordnet, so daß ein synchrones Abspielen der Audiodaten möglich ist. Das erfindungsgemäße Verfahren erlaubt es, einem Sänger oder Musiker Audiodaten über ein paketvermitteltes Datennetz zu schicken und diese synchronisiert mit anderen Audiodaten abzuspielen. Hierdurch können beispielsweise bei Aufnahmen und bei der Bearbeitung von Audiodaten die Teilnehmer sich an getrennten Orten befinden, wobei trotz der Ver-

zögerung über das Datennetz die Audiodaten synchron miteinander abgespielt werden. Als Zeitmarken sind fortlaufende Sample-Nurnmern vorgesehen, die sich auf einen Anfangszeitpunkt beziehen. Die samplegenaue Synchronisation in den Audiodaten liefert eine übereinstimmung im Bereich von 10 bis 20 Mikrosekunden, abhängig von der Abtastrate in den Audiodaten. Der Anfangszeitpunkt wird durch die erste Rechnereinheit festgesetzt. Hierzu wird der Anfangszeitpunkt der von der Rechnereinheit empfangenen Audiodaten relativ zu dem Anfangszeitpunkt in den weiteren Audiodaten definiert. Um die Setzung des Anfangszeitpunkts genau durchführen zu können, befindet sich eine Kopie der weiteren Audiodaten auf der ersten Rechnereinheit. Unter Umständen kann hier auch vorgesehen sein, daß lediglich eine Kopie vom Anfang der weiteren Audiodaten vorliegt, so daß samplegenau die Audiodaten mit den weiteren Audiodaten abgestimmt werden können. Bevorzugt sind die weiteren Audiodaten auf der zweiten Rechnereinheit belegt, wo sie dann mit dem Empfang der Audiodaten zusammengeführt werden.

Als besonders hilfreich hat es sich erwiesen, zusammen mit den Audiodaten auch Informationen zu der Rechnereinheit aufzuzeichnen. Diese Informationen können dabei helfen, die Rechnereinheiten besser aufeinander abzustimmen.

Das erfindungsgemäße Verfahren ist nicht auf einen zusätzlichen Datenstrom beschränkt, vielmehr können auch mehrere Audiodaten beispielsweise die Instrumente einer Band oder eines Orchesters nach dem erfmdungsgemäßen Verfahren zusammengeführt werden.

Gerade bei Gesang und/oder Instrumenten werden das Mikrofon oder die zugehörigen Instrumente mit der ersten Rechnereinheit verbunden und die empfangenen Audiodaten dort aufgezeichnet, nachdem sie mit Zeitmarken versehen wurden. Hierzu ist es besonders vorteilhaft, wenn auch die weiteren Audiodaten in der ersten Rechnereinheit abgespielt werden, während zugleich die neuen Audiodaten aufgenommen werden. Die Audiodaten, die bei dem Verfahren übertragen werden, können als Audio, Video und/oder MIDI-Daten vorliegen.

Das erfindungsgemäße Verfahren wird nachfolgend anhand eines Ausführungsbeispiels näher erläutert:

Fig. 1 zeigt die Synchronisation von zwei zeitlich versetzten Audiodaten.

Fig. 2 zeigt einen prinzipiellen Aufbau einer bei dem Verfahren verwendeten Instanz.

Fig. 3 zeigt den bei einer Verbindung aufgebauten Kommunikationspfad.

Fig. 4 zeigt eine schematische Ansicht des Datenaustauschs bei der Synchronisation.

Die vorliegende Erfindung betrifft ein Verfahren zur Synchronisation von Audiodaten, so daß Musiker mit Hilfe des Verfahrens über das Internet miteinander in Kontakt treten und über eine direkte Datenverbindung miteinan-

der musizieren können. Die Zusammenarbeit erfolgt über eine Peer-2-Peer Verbindung mit dem mehrere Musiker zeitgenau zusammenarbeiten können.

Kernpunkt dieser Zusammenarbeit ist, daß Audiodaten der Teilnehmer miteinander synchronisiert werden. Bei dem Verfahren bringt der Teilnehmer A sein System in den Abspielmodus, dieser Zustand wird dann dem zweiten Teilnehmer B übermittelt. Von diesem Zeitpunkt an werden die vom Teilnehmer B empfangenen Daten nicht direkt zum Abspielen weitergeleitet, sondern solange zwischengespeichert, bis auch Teilnehmer B sein System in den Abspielzustand versetzt hat. Fig. 1 zeigt eine Zeitreihe 10, die den Daten des Systems A entspricht. Im Zeitpunkt 12 wird das System von Teilnehmer B auf Start geschaltet. Das System B bleibt weiterhin im Ruhezustand und wird erst mit einem Startsignal 14 zu einem späteren Zeitpunkt 14 gestartet. Nach dem Startsignal 14 sind die einzelnen Samples fortlaufend innerhalb eines Pakets einander zugeordnet. Nachdem auch das System B mit dem Startsignal 14 in seinen Abspielmodus versetzt wird, werden die Audiodaten gemäß ihrer Zeitinformation synchron zur Zeitleiste von B umgewandelt und ausgegeben. Die Genauigkeit beim Ausgeben entspricht ungefähr einer zeitlichen Auflösung eines Samples, also ungefähr 10 bis 20 Mikrosekunden. Die übereinstimmung der Daten ermöglicht es, daß beispielsweise Musiker und Produzent, obwohl räumlich getrennt, innerhalb eines Authoring-Systems zusammen arbeiten, beispielsweise auf einer Digital Audio Workstation (DAW). Bei einer entsprechenden übertragungsgeschwindigkeit, können gezielt auch Aufnahmen vorgenommen werden, bei denen eine Person die empfangenen Daten kommentiert. Während die Daten mit vorhandenen Audiodaten zeitgenau zusammengefaßt werden, erfolgt durch die übertragung eine Ver-

zögerung von wenigen Sekunden, die immer noch ein interaktives Arbeiten erlauben.

Zu einer möglichen Weiterentwicklung kann auch der Empfänger B aus den empfangenen Daten ein Steuersignal generieren, welches er an einen Sequen- cer des Systems A schickt, um diesen automatisch zu starten. Dann wird System B automatisch gestartet, nachdem A gestartet wurde und die beiden zusätzlichen Leerlaufzeitschritte 16 in Fig. 1 können entfallen.

Fig. 2 zeigt einen schematischen Aufbau in einem DML-Netzwerk im (DML = Digital Musician Link). Als eine erste Instanz sind ein Audioinput 18 und ein Videoinput 20 vorgesehen. Audioinput 18 und Videoinput 20 enthalten Daten von einem anderen Teilnehmer 22 (Peer). Die empfangenen Eingangsdaten werden wie in dem in Fig. 2 dargestellten Ausführungsbeispiel an zwei Plug-in Instanzen weitergeleitet. Jede Instanz kann beispielsweise für eine Spur bei der Aufzeichnung stehen. Die Instanzen 24 und 26 greifen auf bestehende Technik beispielsweise für die Peer-2-Peer Kommunikation zurück. Die Audiodaten und die Videodaten der Eingänge liegen jeweils an den Instanzen 24 und 26 an. Zusätzlich liegen an den Instanzen noch Videosignale einer Kamera 26 an, die ebenfalls an den Peer 22 übertragen werden. Hinsichtlich der Bandbreitenverteilung und Priorisierung des erfindungsgemäßen Verfahrens, werden Audiodaten mit einer höheren Priorität übertragen als Videodaten. Der Audio Output 30 wird an einen Peer 22 weitergeleitet, wo er dann wie vorstehend beschrieben synchronisiert wird.

Zur Abstimmung des Abspielens an dem System hat es sich als hilfreich erwiesen, neben den Audiodaten, und möglicherweise Videodaten auch Daten zum Betriebszustand des Systems weiterzuleiten. Beispielsweise darüber, ob ein Transport gestartet wurde oder gerade aktuell der Stopmodus vorliegt. Ferner können zusätzlich periodisch Informationen zwischen den Beteiligten ausgetauscht werden, um eventuelle Unterschiede in ihren Systemen abgleichen zu können.

Da die Audio Plug-in Instanzen 24 und 26 von einer übergeordneten Anwendung, beispielsweise einem Sequencer oder einem DAW im allgemeinen in die Kanäle eingeschleift werden, ist das in Fig. 2 dargestellte Beispiel so ausgestaltet, daß mehrere Instanzen des DML Plug-in Applikation vom Benutzer erzeugt werden können und zwar für jeden Kanal, von dem aus Audio-Daten gesendet oder von dem Audio-Daten empfangen werden sollen.

Fig. 3 zeigt ein Beispiel für eine Benutzerschnittstelle mit einer solchen Plugin Instanz. In Fig. 3 dargestellt liegen die Eingangsdaten eines Teilnehmers A an dem Eingang 32 an. Die eingehenden Daten, die beispielsweise auch Videodaten enthalten, werden in 34 dargestellt und abgespielt. Sofern über eine Auswahl 36 festgelegt wird, daß die eingehenden Daten 32 auch gesendet werden sollen, werden diese in der Stufe 38 zum senden aufgearbeitet. Die aufgearbeiteten Daten werden an den zweiten Teilnehmer gesendet, wo diese Daten, als Audiodaten oder als Audio- und Videodaten in der Ausgabeeinheit 40 dargestellt werden. Die von dem zweiten Teilnehmer aufgenommenen Audiodaten werden als Daten 42 an den ersten Teilnehmer gesendet und über eine Einheit 44 empfangen. Die Daten der Empfangseinheit 44 werden mit

den aufgenommenen Enddaten 32 zusammengeführt und als Ausgangsdaten 46 weitergeleitet. Zur Synchronisation beider Daten, werden die Eingangsdaten 32 zwischengespeichert, bis die zugeordneten Daten 42 empfangen wurden.

Der vorstehende Ablauf bietet die Möglichkeit, durch eine entsprechende Einstellung in 36 das Senden der Daten zu unterdrücken (Mute On Play). Hierdurch kann eine Art „talkback" Funktionalität erzielt werden, damit der Produzent nicht während der Aufnahme für den Sänger oder Musiker hörbar ist, was aufgrund der zeitlichen Verzögerung störend sein kann. über die Auswahl 48 (THRU) kann der Benutzer ebenfalls einstellen, ob ein zusendender Kanal selbst gehört werden soll. Alternativ können die Eingangs-Samples des Kanals durch die empfangenen Samples des verbundenen Partners ersetzt werden soll.

über den Auswahlschalter 48 wird also ausgewählt, ob die ursprünglich aufgenommenen Daten 32 unverändert direkt abgespielt werden sollen, oder ob diese Daten synchronisiert mit an den Daten des zweiten Teilnehmers 40 abgespielt werden sollen. Ist beispielsweise über den Auswahlschalter 36 ausgewählt, daß die eingehenden Audiodaten 32 nicht gesendet werden soll, so kann in Stufe 38 immer noch Signale zur Synchronisation des Abspielens mit beispielsweise Videodaten vorgenommen werden.

Das in den Fig. 2 dargestellte Konzept sieht vor, daß alle Plug-In-Instanzen 24 und 26 ein gemeinsames Objekt verwenden (DML Network in Fig. 2). Das gemeinsame Objekt faßt alle Ströme der sendenden Plug-In-Instanzen

zusammen und sendet in diese als einen gemeinsamen Strom. Ebenso werden empfangene Datenströme an alle empfangenen Instanzen weitergeleitet. Eine ähnliche Funktion erfüllt das gemeinsame Objekt im Hinblick auch auf die Videodaten, die nicht zusammengefügt werden, sondern als Datenstrom von der Kamera gesendet werden. Die eigenen Videodaten des Benutzers werden ebenfalls an die jeweiligen Plug-In-Instanzen weitergeleitet.

Die Videodaten werden im Kern wie die Audiodaten synchronisiert. Das heißt, wenn beide Teilnehmer das Transportsystem gestartet haben (vergl. Fig. 3), hört der zuletzt gestartete Benutzer nicht nur die Audiodaten des oder der anderen Teilnehmer synchron mit seiner Zeitleiste, sondern sieht auch die Kamera des Partners synchron zu seiner Zeitbasis, dieses ist beispielsweise für Tanz und Ballett wichtig.

Das erfindungsgemäße Verfahren sei nachfolgend an einem Beispiel erläutert:

Computer A wird von einem Produzenten benutzt und Computer B von einem Sänger. Beide haben eine Instanz des Plug-in in ihren Mikrofon-Eingangs- Kanal eingeschleift. Beide senden und empfangen (talkback), der Produzent hat „Mute On Play" 36 aktiviert. Im Ruhezustand können A und B sich unterhalten. Beide haben außerdem schon ein gleiches oder ein ähnliches Playback in ihrem Zeitleistenprojekt der übergeordneten Applikation.

Der Sänger startet den Verbindungsaufbau auf seinem Computer und beginnt zu seinem Playback zu singen. Auf der Seite des Produzenten (Computer A) geschieht folgendes:

Die Daten seines Mikrofonkanals werden nicht mehr gesendet (Mute On

Play), um den Sänger nicht zu stören. Das Videobild des Sängers steht, der Produzent hört den Sänger nicht mehr,

Audio- und Videodaten werden mit den empfangenen Zeitmarken gespeichert.

Nun startet der Produzent seinerseits seinen Sequencer, wie bereits erwähnt, kann dies auch automatisch erfolgen. Der Sequencer des Produzenten nimmt nun auf, wobei für den Produzenten folgendes gilt:

Seine Mikrofon-Samples werden weiterhin unterdrückt, da der Sänger mittlerweile weiter vorangekommen ist. Lediglich wenn der Produzent auch „Mute On Play" aufhebt kann er beispielsweise zum Abbruch der Aufnahme auffordern. Der Produzent hört den Sänger synchron zu dem auf seinem Rechner gespeicherten Playback. Ferner werden die Videodaten synchron mit dem beim Produzenten gespeicherten Playback abgespielt.

Wenn beispielsweise an die Stelle des Sängers ein Instrumentalist tritt, kann für diesen eine zweite Instanz des Plug-in in den Gitarrenkanal eingeschleift sein. Es würde dann ein Mikrofonkanal für Sprache und Talkback vorgesehen sein, in dem während der Aufnahme ebenfalls „Mute On Play" eingeschaltet ist, damit der Produzent während der Aufnahme nur digital hört. Der Gitarrenkanal ist über TRANSMIT definiert.

In der Umsetzung sieht das erfindungsgemäße Verfahren vor, daß beispielsweise ein VMNAudioPacket definiert ist. In dem AudioPacket ist als Zähler die samplePosition definiert. Die samplePosition gibt, wenn das Verfahren nicht läuft die aktuelle Position auf der Zeitskala an. Wenn das Projekt läuft, gibt samplePosition die Position des Packets relativ zu einem fortlaufenden (ewigen) Zähler an. Dieser fortlaufende Zähler wird über einen spezifisches Startsignal definiert, wobei der Zähler auf 0 gesetzt wird, wenn der Packet- zähler auf 0 gesetzt ist. Je nach Betriebsmodus des Verfahrens wird also die Position des Packets berechnet.

Unter Einbeziehung des Datenaustauschs für die Synchronisation der Datenströme stellt sich dem Verfahren wie folgt dar:

In Fig. 4 dargestellt ist ein Rechner 32, an dem die synchronisierten Audiodaten beispielsweise an einen Lautsprecher 34 ausgegeben werden. Die auszugebenden Audio-Daten werden in einem Speicher 36 samplegenau zusammenfügt. Die zusammengefügten Daten stammen von weiteren Rechnereinheiten 38, 40 und 42. Jeder der dargestellten Rechner ist über einen Audioeingang mit einem Mikrophon 44 oder einem Musikinstrument verbunden. Die aufgezeichneten Audio-Daten werden mit Sample-Nummern versehen und über ein Netzwerk 46 an die Rechnereinheit 32 gesendet. Zur Initialisierung der Rechnereinheiten 38, 40 und 42 wird zu Beginn ein Datensatz, der als weitere Audio-Daten bezeichnet wird, von dem Rechner 32 an die Rechner 38, 40, 42 geschickt. Die weiteren Audio-Daten 44, die möglicherweise auch nur mit dem Beginn der Audio-Daten an die übrigen Rechnereinheiten geschickt werden, liegen auf den Rechnereinheiten, über die die weiteren

Audio-Daten zugespielt werden vor. Der Anfang dieser Daten definiert den Zeitursprung, von dem ab die Sample-Nummer gezählt wird. Bei den weiteren Daten 44 kann es sich beispielsweise um Playback-Daten handeln. Diese werden auf den Rechnereinheiten 38, 40 und 42 abgespielt, der dazu aufgenommene Gesang oder die Instrumentenstimmen werden dann über das Datennetz 46 verschickt. In dem Rechner 32 wird dann der empfangene Gesang samplegenau mit den Playback-Daten wieder zusammengesetzt. Durch dieses Verfahren wird eine sehr genaue übereinstimmung beim Abspielen der Daten erzielt.