Beschreibung

Die vorliegende Erfindung bezieht sich auf die Audiosignal- Verarbeitung und insbesondere auf die Audiosignalverarbeitung bei Systemen mit einer Vielzahl von Lautsprechern, wie beispielsweise Wellenfeldsynthese-Systemen .

Fig. 4 zeigt ein typisches Wellenfeldsynthese-Szenario. Herzstück des Wellenfeldsynthese-Systems ist der Wellen- feldsynthese-Renderer 400, der für jeden der einzelnen Lautsprecher 401, die sich um eine Wiedergabeumgebung herum gruppieren, ein eigenes Lautsprechersignal erzeugt. Im Einzelnen existiert zwischen dem Wellenfeldsynthese-Renderer 400 und jedem Lautsprecher somit ein Lautsprecherkanal, auf dem das Lautsprechersignal für diesen Lautsprecher von dem Wellenfeldsynthese-Renderer 400 übertragen wird. Eingangs- seitig wird der Wellenfeldsynthese-Renderer 400 von Steuerdaten versorgt, die typischerweise in einer Steuerdatei 402 angeordnet sind. Die Steuerdatei kann eine Liste von Audioobjekten umfassen, wobei jedem Audioobjekt eine virtuelle Position sowie ein Audiosignal zugeordnet ist. Die virtuelle Position ist die Position, die ein Zuhörer, der sich in der Wiedergabeumgebung befindet, lokalisieren wird.

Wenn in der Wiedergabeumgebung z. B. eine Filmleinwand angeordnet ist, so wird für den Zuschauer nicht nur ein optisches räumliches Szenario sondern auch ein klangliches räumliches Szenario erzeugt. Hierzu werden alle Lautspre- cherkanäle mit Lautsprechersignalen versorgt, die von demselben Audiosignal für eine Quelle, wie beispielsweise einen Schauspieler oder z. B. einen herannahenden Zug, abgeleitet sind. Alle diese Lautsprechersignale unterscheiden

sich jedoch mehr oder weniger stark durch ihre Skalierung und ihr Delay des Eingangssignals. Die Skalierung und das Delay für die einzelnen Lautsprechersignale wird durch den Wellenfeldsynthese-Algorithmus erzeugt, der nach dem Hugy- en ' sehen Prinzip arbeitet. Wie es bekannt ist, basiert das Prinzip darauf, dass man jede beliebige Wellenform durch eine große Anzahl von Kugelwellen erzeugen kann. Indem die einzelnen Lautsprecher, die die einzelnen „Kugelwellen" liefern, mit dem gleichen Signal, jedoch mit unterschiedli- eher Skalierung und unterschiedlichem Delay beaufschlagt angesteuert werden, hat man dann, wenn man sich in der Wiedergabeumgebung befindet, den Eindruck einer einzigen Schallquelle, die sich nunmehr an der virtuellen Position befindet.

Treten mehrere Audioquellen zu einem Zeitpunkt gleichzeitig auf, jedoch an unterschiedlichen virtuellen Positionen, so wird der Wellenfeldsynthese-Renderer das oben beschriebene Prozedere für jedes einzelne Audioobjekt durchführen und dann, bevor die Lautsprechersignale über die Lautsprecherkanäle zu den einzelnen Lautsprechern übertragen werden, eine Aufsummation der einzelnen Komponentensignale durchführen. Wenn beispielsweise der Lautsprecher 403 betrachtet wird, der sich an einer bestimmten Lautsprecherposition be- findet, die bekannt ist, wird der Wellenfeldsynthese- Renderer für jedes Audioobjekt ein Komponentensignal erzeugen, das von dem Lautsprecher 403 abgespielt werden soll. Dann, wenn alle Komponentensignale für einen Zeitpunkt für den Lautsprecher 403 berechnet sind, werden die einzelnen Komponentensignale einfach aufaddiert, um das gemeinsame bzw. kombinierte Komponentensignal für den Lautsprecherkanal, der vom Wellenfeldsynthese-Renderer 400 zum Lautsprecher 403 geht, zu erhalten. Ist dagegen nur eine Quelle zu einem Zeitpunkt für den Lautsprecher 403 aktiv, so kann die Aufsummation natürlich entfallen.

Typischerweise hat der Wellenfeldsynthese-Renderer 400 praktische Begrenzungen. So wird er in Anbetracht der Tat-

sache, dass das ganze Wellenfeldsynthese-Konzept ohnehin relativ rechenzeitintensiv ist, nur eine bestimmte Anzahl von einzelnen Quellen gleichzeitig verarbeiten können. Eine typische maximale Anzahl von gleichzeitig zu verarbeitenden Quellen liegt bei 32 Quellen. Diese Anzahl von 32 Quellen ist für typischen Szenen, wie beispielsweise Dialoge ausreichend. Allerdings ist diese Zahl viel zu gering, wenn bestimmte Ereignisse auftreten, wie beispielsweise ein Regengeräusch, das sich aus einer sehr großen Anzahl von ein- zelnen unterschiedlichen Klangereignissen zusammensetzt. Ein einzelnes Klangereignis ist nämlich das Geräusch, das ein Regentropfen erzeugt, wenn er auf eine bestimmte Oberfläche fällt.

Es ist ohne weiteres ersichtlich, dass 32 Regentropfen noch kein realistisches Regengeräusch erzeugen, wenn die 32 Regentropfen lokalisiert als einzelne Audioquellen modelliert werden würden.

Daher wurde bisher bei solchen zufälligen Prozessen, die viele Geräuschquellen umfassen, die einzeln nicht verarbeitet werden können, ein insgesamtes Regengeräusch erzeugt und z. B. gleichmäßig in alle Lautsprecherkanäle eingemischt. Allerdings führt dies dazu, dass das Hörerlebnis darunter leidet, dass im Gegensatz zur sonstigen Schallkulisse, die räumlich lokalisiert wahrgenommen werden kann, dies beim Regengeräusch nicht so ist.

Im AES Convention Paper „Generation of highly immersive at- mospheres for Wave Field Synthesis reproduction", A. Wag ^¬ ner, u. a., 116. Convention, 8.-11. May, Berlin, Deutschland, und in einer ähnlichen Diplomarbeit mit dem Titel „Entwicklung eines Systems zur Erstellung immersiver akustischer Atmosphären für die Wiedergabe mittels Klangfeld- synthese", von A. Walther und A. Wagner, 16. November 2004, werden immersive Atmosphären unter Verwendung von mit speziellen Mikrophonanordnungen aufgezeichneten Geräuschen erzeugt.

Die Fachveröffentlichung „Computational Real-Time Sound Synthesis of Rain", S. J. Miklavcic, u. a., Proceedings of the Seventh International Conference on Digital Audio Ef- fects (DAFx '04), Neapel, Italien, 5. bis 8. Oktober 2004, bezieht sich auf die Echtzeitschallsynthese für Computerspiele unter Verwendung einer physikalischen Modellierung des Auftreffens von Regentropfen auf feste Oberflächen oder auf Wasser. Für eine Multi-Lautsprecher-Tonwiedergabe eines Systems mit fünf Lautsprechern, von denen zwei hinter dem Zuhörer, zwei vor dem Zuhörer und ein Lautsprecher in der Mitte vor dem Zuhörer positioniert sind, wird eine Aufschlagzone eines Regentropfens, die um den Zuhörer symmetrisch positioniert ist, in Kreissektoren aufgeteit, die ge- maß den Lautsprechern definiert sind. Unter Verwendung einer Zufallsverteilungsfunktion wird ein Tropfenaufschlag simuliert, indem der Sektor des Aufschlags bestimmt wird. Hierauf wird der Schalldruck des Aufschlags zwischen den zwei benachbarten Lautsprechern verteilt und darauf basie- rend ein Schallsignal für diese beiden Lautsprecher erzeugt.

Nachteilig an diesem Konzept ist, dass auch dort keine Partikelpositionen erzeugt werden können, sondern nur Richtun- gen bezüglich eines Zuhörers durch ein Stereo-Panning zwischen zwei der Auftreffposition des Tropfens benachbarten Lautsprechern einsetzbar ist. Wieder wird für den Zuhörer kein optimales Regengeräusch erzeugt.

Die Aufgabe der vorliegenden Erfindung besteht darin, ein Konzept zum Erzeugen eines Lautsprechersignals zu schaffen, durch das eine höher qualitative Wiedergabe einer Audioquelle ermöglicht wird, die an verschiedenen Positionen zu verschiedenen Zeiten in einer Audioszene auftreten soll.

Diese Aufgabe wird durch eine Vorrichtung gemäß Patentanspruch 1, ein Verfahren gemäß Patentanspruch 12 oder ein Computer-Programm gemäß Patentanspruch 13 gelöst.

Der vorliegenden Erfindung liegt die Erkenntnis zugrunde, dass sowohl die Position als auch die Zeit, zu der eine Audioquelle in einer Audioszene auftreten soll, synthetisch erzeugt werden können. Abhängig von solchen synthetisch erzeugten Positionen und Zeiten wird erfindungsgemäß für jede Position eine Einzelimpulsantwort erzeugt. Insbesondere gibt die Einzelimpulsantwort die Abbildung der Audioquelle, die an einer bestimmten Position angeordnet ist, auf einen Lautsprecher bzw. ein Lautsprechersignal wieder. Hierauf werden die einzelnen erzeugten Einzel- Impulsantwortinformationen zeitrichtig, also abhängig von den Auftrittszeitpunkten, die den Auftrittspositionen zugeordnet sind, kombiniert, um Kombinations-Impulsantwort- Informationen für einen Lautsprecherkanal zu erhalten. Hierauf wird dann das Audiosignal, das die Audioquelle beschreibt, unter Verwendung der Kombinations-Impulsantwort- Informationen gefiltert, um schließlich das Lautsprechersignal für den Lautsprecherkanal zu erhalten, wobei dieses Lautsprechersignal die Audioquelle darstellt.

Im Gegensatz zu dem Audiosignal, das die Audioquelle unmittelbar darstellt, das also eine Aufzeichnung eines solchen einzelnen Ereignisses ist, wie beispielsweise eines auf- schlagenden Regentropfens, stellt das Lautsprechersignal für den Lautsprecherkanal das Gesamtsignal dar, das aufgrund des mehrfach zu bestimmten Zeitpunkten aufgetretenen Audiosignals existiert, wobei die einzelnen Ereignisse des Auftretens des Regentropfens im Wiedergaberaum eindeutig durch determinierte virtuelle Positionen lokalisiert sind.

Damit wird eine naturgetreue Regenkulisse innerhalb des Wiedergaberaums erzeugt, von der der Benutzer denkt, dass sie nicht nur entfernt irgendwo an der Leinwand oder hinter der Leinwand stattfindet, sondern von der der Zuhörer den Eindruck hat, dass er im wahrsten Sinn des Wortes „im Regen steht".

Im Gegensatz zum Stand der Technik, bei dem typischerweise Impulsantworten stationär oder nur sehr langsam veränderlich sind, während das durch ein Filter, der durch die Impulsantwort bestimmt wird, gefilterte Audiosignal sehr stark veränderlich ist, wird erfindungsgemäß genau der andere Weg gegangen. So wird nur ein einziges typischerweise sehr kurzes Audiosignal genommen, das durch ein Filter gefiltert wird, welches durch eine typischerweise sehr lange Impulsantwort, die sich sehr stark zeitlich ändert, be- schrieben wird. Es wird also ein Filter erzeugt, das auch bei sehr großen Verzögerungen signifikante Impulsantwort- Werte hat, da diese Werte letztendlich einen Regentropfen- Aufschlag beispielsweise bestimmen, der zu einem bestimmten späte (re)n Zeitpunkt stattfindet.

Erfindungsgemäß wird also erreicht, dass insbesondere für große Räume ein einhüllender Effekt mittels zufällig auftretender Partikel, also z. B. kurzzeitig auftretender Schallquellen wie Regentropfen, erreicht wird. Ohne Hard- ware-Begrenzungen eines Wellenfeldsynthese-Renderers, der z. B. nur 32 Kanäle gleichzeitig rendern kann, kann erfindungsgemäß eine beliebige Häufigkeit der einzelnen Schallobjekte, wie beispielsweise Regentropfen, erzeugt werden.

Erfindungsgemäß können daher räumlich verteilte Partikel mit großer Wiederholrate und für große Räume in Echtzeit wiedergegeben werden. So können erfindungsgemäß Schallquellen gleichzeitig an unterschiedlichen Punkten im Raum auftreten und gleichzeitig simuliert werden. Insbesondere für große Räume mit einer dichten Belegung von Schallquellen wird erfindungsgemäß eine hohe Anzahl von Eingangskanälen benötigt, da die Signale aufgrund der einzelnen Quellen innerhalb des Wellenfeldsynthese-Renderers erzeugt werden. Für eine beliebig große Anzahl von Regentropfen beispiels- weise genügt ein einziges Audioobjekt, das das Audiosignal des Regentropfens umfasst. Die Anzahl der an verschiedenen virtuellen Positionen angeordneten mehr oder weniger gleichzeitig auftretenden Regentropfen äußert sich nur dar-

an, wie viel einzelne Impulsantworten generiert und kombiniert werden.

Da die Erzeugung der einzelnen Impulsantworten jedoch ge- nauso wie die Kombination der einzelnen Impulsantworten re- chenzeiteffizient gestaltet werden können, führt das erfindungsgemäße Konzept zu einer erheblichen Rechenzeitverringerung im Vergleich zu dem Fall, bei dem für jedes Audioobjekt eine eigene virtuelle Quelle an einer eigenen virtuel- len Position z. B. über eine Steuerdatei einem Wellenfeld- synthese-Renderer bereitgestellt wird. Aufgrund der erfindungsgemäßen Zusammenfassung der einzelnen Impulsantworten führt eine beliebig hohe Anzahl von Regentropfen an verschiedenen Positionen nicht zu einer entsprechend großen Anzahl von Faltungen, sondern führt nur zu einer einzigen Faltung einer (großen) Impulsantwort mit dem Audiosignal, das die Audioquelle (den Regentropfen) darstellt. Auch dies ist ein Grund dafür, dass das erfindungsgemäße Konzept sehr rechenzeiteffizient ausführbar ist.

Erfindungsgemäß wird daher mit Hilfe eines neuartigen Algorithmus eine beliebige Primärschallquelle beliebig häufig virtuell über Wellenfeldsynthese über eine beliebig große Hörfläche wiedergegeben. Die benötigte Rechenleistung ist dabei um ein Vielfaches geringer als bei derzeitigen WeI- lenfeldsynthese-Algorithmen.

Vorzugsweise wird mittels eines Zufallszahlengenerators eine Erzeugung von Parametern wie mittlere Partikeldichte pro Zeit, zweidimensionale Position im Raum, dreidimensionale Position im Raum, individuelle Filterung jedes Partikels mittels Impulsantwort vorgenommen. Auch für X. Y-Multikanal- Surroundformat kann das erfindungsgemäße Konzept günstig eingesetzt werden.

Ferner wird es bevorzugt, mit Hilfe der Impulsantwort z. B. den Klang des Partikels, beispielsweise Regentropfen, zu verändern bzw. eine physikalische Eigenschaft zu simulie-

ren, wie beispielsweise dass der Regentropfen auf ein Holz oder auf ein Blech fällt, was natürlich unterschiedliche Geräusche zur Folge hat.

Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:

Fig. 1 ein schematisches Blockschaltbild des erfindungs- gemäßen Konzepts;

Fig. 2a eine schematische Darstellung von drei verschiedenen Impulsantworten für die Audioquelle an verschiedenen Positionen und verschiedenen Zeitpunk- ten;

Fig. 2b eine schematische Darstellung der zeitlich bezüglich der Verzögerungen angeordneten Einzelimpulsantworten und einer durch Aufsummation erzeugten kombinierten Impulsantwort;

Fig. 2c eine schematische Darstellung des Filterns des Audiosignals für die Audioquelle unter Verwendung eines Filters, das durch die kombinierte Impuls- antwort dargestellt ist, um das Lautsprechersignal für einen Lautsprecherkanal zu erhalten;

Fig. 3 ein Blockschaltbild der erfindungsgemäßen Vorrichtung gemäß einem bevorzugten Ausführungsbei- spiel der vorliegenden Erfindung; und

Fig. 4 ein Prinzipblockschaltbild eines typischen WeI- lenfeldsynthese-Szenarios .

Fig. 1 zeigt ein Übersichtsdiagramm einer erfindungsgemäßen Vorrichtung zum Erzeugen eines Lautsprechersignals an einem Ausgang 10 für einen Lautsprecherkanal, der einem Lautsprecher (wie beispielsweise 403) zugeordnet ist, der in einer

Wiedergabeumgebung an einer Lautsprecherposition einer Mehrzahl von Lautsprecherpositionen anbringbar ist. Im Einzelnen umfasst die in Fig. 1 gezeigte bevorzugte Ausführungsform der erfindungsgemäßen Vorrichtung eine Einrich- tung 12 zum Liefern eines Audiosignals für eine Audioquelle, die an verschiedenen Positionen und zu verschiedenen Zeiten in einer Audioszene auftreten soll. Die Einrichtung zum Liefern des Audiosignals ist typischerweise ein Speichermedium, auf dem ein Audiosignal, das z. B. einen auf- treffenden Regentropfen oder ein Geräusch eines anderen Partikels, wie beispielsweise ein sich näherndes oder sich entfernendes Raumschiff z. B. für ein Weltraum- Computerspiel, ein Hufschlag eines Pferdes oder eines Rindes in einer Pferde-/Rinderherde, etc. ist. Erfindungsgemäß wird dieses Audiosignal für die Audioquelle einmal vorzugsweise innerhalb des Wellenfeldsynthese-Renderers, wie beispielsweise eines Renderers 400 von Fig. 4, fest abgespeichert und braucht daher nicht über die Steuerdatei zugeführt werden. Natürlich kann das Audiosignal auch über die Steuerdatei dem Renderer zugeführt werden. In diesem Fall wäre die Einrichtung 12 zum Liefern des Audiosignals eine Steuerdatei samt zugeordneter Auslese- /Übertragungseinrichtung.

Die erfindungsgemäße Vorrichtung umfasst ferner einen Positionsgenerator zum Bereitstellen einer Mehrzahl von Positionen, an denen die Audioquelle auftreten soll. Der Positionsgenerator 14 ist ausgebildet, um, wenn Fig. 4 betrachtet wird, virtuelle Positionen zu generieren, die sich inner- halb oder außerhalb der Wiedergabeumgebung befinden können. Wenn davon ausgegangen wird, dass sich am oberen Ende der Wiedergabeumgebung in Fig. 4 z. B. eine Leinwand befindet, auf die ein Film projiziert wird, so können die virtuellen Positionen selbstverständlich auch hinter der Leinwand oder vor der Leinwand sein.

Je nach Implementierung kann der Positionsgenerator 14 ausgebildet sein, um beliebige (x, y) -Positionen innerhalb o-

der außerhalb der Wiedergabeumgebung zu liefern. Alternativ oder zusätzlich kann, je nach Ausführung des Lautsprecher- arrays auch eine z-Positions-Komponente erzeugt werden, also ob der Zuhörer eine Quelle über sich oder gegebenenfalls sogar unter sich lokalisieren soll. Des weiteren ist der Positionsgenerator ausgebildet, um je nach Implementierung eines nachfolgend beschriebenen Einzelimpulsantwortgenerators 16 beliebige Positionen in der Wiedergabeumgebung oder außerhalb der Wiedergabeumgebung zu liefern, oder nur Posi- tionen in einem bestimmten Raster. Die Erzeugung von Positionen nur innerhalb eines bestimmten Rasters ist dann vorteilhaft, wenn in dem nachfolgend noch beschriebenen Einzelimpulsantwortgenerator 16 eine Nachschlagtabelle eingesetzt wird, um zumindest einen Teil oder auch die komplette Einzelimpulsantwort zu erzeugen. Wird dagegen eine kontinuierliche Positionserzeugung durch den Positionsgenerator 14 vorgenommen, so kann entweder am Ausgang des Positionsgenerators 14 oder am Eingang des Einzelimpulsantwortgenerators 16 eine Positions-Rundung auf das Raster stattfinden. Al- ternativ können auch beliebig fein aufgelöste Positionen durch den Einzelimpulsantwortgenerator verarbeitet werden, um ohne weitere Positions-Rundungen/Quantisierungen die Einzelimpulsantworten zu berechnen. Eingangsseitig erhält der Positionsgenerator 14 Flächeninformationen oder VoIu- meninformationen für den dreidimensionalen Fall, die anzeigen, in welchem Bereich Positionen erzeugt werden sollen. In anderen Worten ausgedrückt definieren die Flächeninformationen eine typischerweise zur Leinwand senkrecht stehende Fläche, innerhalb derer Regen fallen soll. So könnte beispielsweise der Wunsch bestehen, einen Regen derart zu simulieren, dass die vordere Hälfte der Wiedergabeumgebung, also die vordere Hälfte der Zuschauer unter einem Blechdach angeordnet ist, während die hintere Hälfte der Zuschauer gewissermaßen „im Regen" sitzt. Hierzu würde der Positions- generator in der gesamten Wiedergabeumgebung Positionen erzeugen können, da es in der gesamten Wiedergabeumgebung regnet. Ist die Anforderung jedoch derart, dass z. B. nur in der vorderen Hälfte der Wiedergabeumgebung ein Regen

stattfinden soll, während es in der hinteren Hälfte aus irgendwelchen Gründen nicht regnen soll, so würde der Positionsgenerator 14 durch die Flächeninformationen gesteuert werden, um nur in der vorderen Hälfte, wo es regnen soll, virtuelle Positionen x, y zu erzeugen.

Die erfindungsgemäße Vorrichtung umfasst ferner einen Zeitgenerator 18 zum Bereitstellen von Auftrittszeiten, zu denen die Audioquelle auftreten soll, wobei einer Position, die vom Positionsgenerator 14 erzeugt wird, eine Zeit zugeordnet ist. Es existieren somit einander zugeordnete Paare Pi, Ti, wobei Pi eine Position mit der Nummer i darstellt, während Ti eine Zeit mit der Nummer i darstellt, zu der die Position Pi aktiv sein soll. Vorzugsweise wird der Zeitge- nerator 18 von einem Dichteparameter gesteuert, welcher e- benso wie die Flächeninformationen für den Positionsgenerator 14 von einer Parametersteuerung 19 geliefert wird. Der Zeitgenerator 18 erhält als Parameter somit die zeitliche Dichte, also die Anzahl von Auftrittsereignissen der Audio- quelle pro Zeitintervall. In anderen Worten ausgedrückt steuert die zeitliche Dichte für ein Zeitintervall von beispielsweise 10 Sekunden, wie viel Regentropfen, nämlich beispielsweise 1.000 Regentropfen, pro Sekunde auftreten sollen. Eine kleinere zeitliche Dichte führt zu weniger Tropfen, während eine größere zeitliche Dichte zu mehr Tropfen pro einem festen Zeitintervall führt. Der Zeitgenerator 18 ist ausgebildet, um innerhalb eines solchen Zeitintervalls die durch die zeitliche Dichte vorgegebenen Zeitpunkte Ti zu liefern. Wie es durch eine gestrichelte Leitung 17 dargestellt ist, wird es auch bevorzugt, die zeitliche Dichteinformation nicht nur dem Zeitgenerator 18 sondern auch dem Positionsgenerator 14 zuzuführen, damit der Positionsgenerator immer die erforderliche Menge an Po ^¬ sitionen „auswirft", denen dann die durch den Zeitgenerator 18 erzeugten Zeiten zugeordnet werden können. Es ist jedoch nicht unbedingt erforderlich, dass die Dichteinformationen dem Positionsgenerator zugeführt werden. Dies ist dann entbehrlich, wenn der Positionsgenerator ausreichend schnell

Positionen auswirft und diese Positionen zwischenspeichert, damit sie bei Bedarf, also in Zuordnung zu Zeitpunkten bzw. gesteuert von der zeitlichen Dichteinformation dem Einzelimpulsantwortgenerator 16 zugeführt werden.

Allgemein ist der Einzelimpulsantwortgenerator 16 ausgebildet, um Einzelimpulsantwortinformationen für jede Position der Mehrzahl von Positionen für einen Lautsprecherkanal zu erzeugen. Insbesondere arbeitet der Einzelimpulsantwortge- nerator basierend auf der Position und basierend auf Informationen über den Lautsprecherkanal, um den es geht. So ist es klar, dass das Lautsprechersignal für den linken unteren Lautsprecher des Szenarios in Fig. 4 anders als für den rechten oberen Lautsprecher des Szenarios in Fig. 4 ausse- hen wird. Ferner wird der Einzelimpulsantwortgenerator 16 auch ausgebildet sein, um die Positionsinformation, die vom Positionsgenerator erzeugt worden ist, zu berücksichtigen. Der Einzelimpulsantwortgenerator wird also den „Anteil", den ein bestimmter Lautsprecher der vielen Lautsprecher, die die Wiedergabeumgebung von Fig. 4 bestimmen, berechnen und als Impulsantwort ausdrücken, derart, dass dann, wenn alle Lautsprecher gleichzeitig „spielen", ein Benutzer den Eindruck hat, dass ein Regentropfen an der Position x, y, die durch den Positionsgenerator erzeugt worden ist, auf eine bestimmte Oberfläche aufgetroffen ist.

Die erfindungsgemäße Vorrichtung umfasst ferner einen Im- pulsantwortkombinierer zum Kombinieren der Einzelimpulsantwortinformationen gemäß den Auftrittszeiten, um Kombinati- ons-Impulsantwortinformationen für den Lautsprecherkanal zu erhalten. Der Impulsantwortkombinierer ist ausgebildet, um sicherzustellen, dass viele Auftrittsereignisse der Audio ^¬ quelle aufgetreten sind, und dass diese zeitrichtig, nämlich gesteuert durch die Zeitinformationen miteinander kom- biniert werden. Die bevorzugte Art der Kombination ist eine Addition. Jedoch können auch gewichtete Additionen/Subtraktionen durchgeführt werden, wenn bestimmte Effekte erzielt werden sollen. Bevorzugt wird jedoch eine

einfache Aufaddition der einzelnen Impulsantworten IAi, und zwar unter Berücksichtigung der von dem Zeitgenerator 18 erzeugten Auftrittszeiten.

Die von dem Impulsantwortkombinierer 20 erzeugten Kombina- tions-Impulsantwortinformationen werden schließlich genauso wie das Audiosignal am Ausgang der Einrichtung 12 einem Filter (bzw. einer Filtervorrichtung) 21 zugeführt. Das Filter 21 ist ein Filter mit einstellbarer Impulsantwort, also mit einstellbarer Filtercharakteristik. Während das Audiosignal am Ausgang der Einrichtung 12 typischerweise kurz sein wird, wird die kombinierte Impulsantwort, die durch den Impulsantwortkombinierer 20 ausgegeben wird, relativ lang sein und stark variieren. Prinzipiell kann die kombinierte Impulsantwort beliebig lang sein, abhängig davon, wie lange der Effektgenerator läuft. Läuft er beispielsweise 30 Minuten für einen Regen, der 30 Minuten dauert, so wird die Länge der kombinierten Impulsantwort ebenfalls in dieser Größenordnung sein.

Auf jeden Fall wird am Ausgang des Filters 21 das Lautsprechersignal erhalten, das je nach Audioszene bereits das tatsächliche Lautsprechersignal ist, das von dem Lautsprecher abgespielt wird, oder das, wenn zusätzliche Audioob- jekte von diesem Lautsprecher wiedergegeben werden, ein Lautsprechersignal ist, das mit einem anderen Lautsprechersignal für diesen Lautsprecher aufaddiert wird, um ein Gesamtlautsprechersignal zu erzeugen, wie es später noch anhand von Fig. 3 erläutert wird. Das Filter 21 ist also aus- gebildet, um das Audiosignal unter Verwendung der Kombina- tions-Impulsantwortinformationen zu filtern, um das Lautsprechersignal für den Lautsprecherkanal zu erhalten, das das Auftreten der Audioquelle an den verschiedenen Positio ^¬ nen und zu den verschiedenen Zeiten für einen bestimmten Lautsprecherkanal darstellt.

Nachfolgend wird anhand von Fig. 2a bis 2c die Funktionalität des Impulsantwortkombinierers 20 dargestellt. Lediglich

beispielhaft sind in Fig. 2a drei Einzelimpulsantwortinformationen IAl, IA2, IA3 dargestellt. Jede der drei Impulsantworten hat zusätzlich noch eine bestimmte Delay, also eine zeitliche Verzögerung bzw. ein „Gedächtnis", das der Kanal hat, der durch diese Impulsantwort beschrieben wird. Die Delay der ersten Impulsantwort IAl beträgt 1, während die Delays der zweiten und dritten Impulsantwort IA2 und IA3 gleich 2 bzw. 3 sind. Nunmehr werden, wie es in Fig. 2b ersichtlich ist, die drei Impulsantworten unter Berücksich- tigung ihrer einzelnen Delays zeitlich verschoben angeordnet. Es ist zu sehen, dass die Impulsantwort IA3 um zwei Delay-Einheiten bezüglich der Impulsantwort IAl verschoben ist. Das in Fig. 2a gezeigte Beispiel beschreibt den Fall, bei dem die Auftrittszeitpunkte Tl, Ti identisch sind, und zwar den Zeitpunkt T = O betreffend. Würde jedoch z. B. der Auftrittszeitpunkt T3 um drei Zeiteinheiten nach hinten bezüglich der Auftrittszeitpunkte der beiden anderen Impulsantworten verschoben sein, so würde die Impulsantwort IA3 erst zum Zeitpunkt 6 im oberen Teilbild von Fig. 2b star- ten.

Hierauf werden die zeitlich korrekt angeordneten Einzelimpulsantworten aufsummiert, um das Ergebnis, also die Kombi- nations-Impulsantwortinformationen zu erhalten. Insbesonde- re werden zu gleichen Zeitpunkten befindliche Werte der einzelnen Impulsantworten addiert und gegebenenfalls vor der Addition oder nach der Addition einer Gewichtung mit einem Gewichtungsfaktor unterzogen.

An dieser Stelle sei darauf hingewiesen, dass die Darstellung in den Fig. 2a und 2b nur schematisch ist. So muss die zeitliche korrekte Anordnung nicht unbedingt direkt in einem Registerspeicher eines Prozessors ausgeführt werden, bevor die Aufsummation stattfindet. Statt dessen wird es bevorzugt, die einzelnen Impulsantworten unmittelbar vor der Aufaddition zeitlichen Verschiebungsoperationen gemäß den Delays und den erforderlichen Auftrittszeitpunkten zu unterziehen.

Fig. 2c zeigt schließlich die Operation, die durch das Filter 21 mit einstellbarer Impulsantwort durchgeführt wird. Insbesondere wird die kombinierte Impulsantwort im obersten Teilbild von Fig. 2c mit dem Audiosignal im mittleren Teilbild von Fig. 2c gefaltet, um schließlich das Lautsprechersignal für einen Lautsprecherkanal zu erhalten. Die Faltung kann entweder unmittelbar im Zeitbereich als Faltung stattfinden. Alternativ können sowohl die Impulsantwort als auch das Audiosignal in den Frequenzbereich transformiert werden, sodass aus der Faltung eine Multiplikation der Frequenzbereichsdarstellung des Audiosignals und der Frequenzbereichsdarstellung der kombinierten Impulsantwort, die nunmehr die Übertragungsfunktion ist, wird.

Je nach Implementierung können auch andere typischerweise blockorientierte Faltungs-Algorithmen, wie beispielsweise die FFT-Faltung eingesetzt werden. Hierbei ist günstig, dass die Kombinations-Impulsantwort immer blockweise er- zeugt wird. So ist zu sehen, dass ohne weiteres bereits der Abschnitt der kombinierten Impulsantwort von den Zeiten 1 bis 4 bereits verwendet werden kann, während spätere Abschnitte zu späteren Zeiten gerade berechnet werden. Damit wird sichergestellt, dass das erfindungsgemäße Konzept re- lativ verzögerungsarm und damit mit einem begrenzten Aufwand an Pufferspeicher implementierbar ist.

Nachfolgend wird Bezug nehmend auf Fig. 3 auf bevorzugte Implementierungen des erfindungsgemäßen Konzepts eingegan- gen, und zwar insbesondere auf die Erzeugung der Lautsprechersignale für nicht nur einen Lautsprecherkanal, sondern für viele Lautsprecherkanäle, wobei darauf hingewiesen wird, dass die Erzeugung eines Lautsprechersignals für einen Lautsprecherkanal prinzipiell für alle anderen Laut- sprecherkanäle gleich abläuft.

Bei dem in Fig. 3 gezeigten bevorzugten Ausführungsbeispiel der Erfindung ist die Parametersteuerung 19 ausgebildet, um

Flächeninformationen als konkrete Fläche vorzugsweise in rechteckiger Form zu liefern. So werden eine Länge 1 und eine Breite b einer Fläche sowie ein Mittelpunkt M dieser Fläche bereitgestellt. Damit kann die Fläche im Wiedergabe- räum, auf die beispielsweise die Regentropfen fallen sollen, angegeben werden, und zwar dahingehend, dass entweder der gesamte Wiedergaberaum oder nur ein Teil der Wiedergabeumgebung mit Regen „beregnet" werden soll. Ferner wird eine Partikeldichte angegeben, also die Anzahl der Partikel pro einem Zeitfenster. Darüber hinaus wird ein Partikelfiltersteuersignal F geliefert, das bei dem noch später beschriebenen Block der positionsabhängigen Filterung eingesetzt wird, um eine Dekorrelation zwischen den Regentropfen zu erzeugen. Dies führt dazu, dass der insgesamte Eindruck nicht synthetisch wird, sondern realistisch wird, zumal natürlich nicht alle Regentropfen gleich klingen sondern in gewissen Grenzen bezüglich ihres Klangs voneinander abweichen. Allerdings wird erfindungsgemäß nur ein Partikelaudiosignal für eine bestimmte Zeitdauer bereitgestellt. Das Partikelfilter stellt jedoch sicher, dass unter diesen eigentlich gleichen Regentropfen Unterschiede im Klang auftreten.

Schließlich werden von der Parametersteuerung 19 noch Flä- cheneigenschaften E geliefert, die ebenfalls bei der positionsabhängigen Filterung eingesetzt werden, um z. B. zu signalisieren, dass ein Regentropfen auf eine Holzoberfläche, auf eine Blechoberfläche oder auf eine Wasseroberfläche, also auf Materien mit verschiedenen Eigenschaften fällt.

Der Zufallsgenerator 14 entspricht dem Positionsgenerator 14 von Fig. 1 und umfasst vorzugsweise ebenso wie die Zeit ^¬ steuerung 18 einen echten oder Pseudozufallsgenerator, um sowohl die einzelnen Positionen als auch die einzelnen Zeitpunkte gesteuert durch den Flächenparameter und den Dichteparameter zu erzeugen. Abhängig von einer vom Zu ^¬ fallsgenerator erzeugten Position x, y wird bei dem in Fig.

3 gezeigten bevorzugten Ausführungsbeispiel der vorliegenden Erfindung in eine Wellenfeldsynthese-Parameter- Datenbank gegangen. In dieser Wellenfeldsynthese-Parameter- Datenbank ist einem Eingangswert, nämlich der Position x, y, ein Satz von Einzelimpulsantwortinformationen zugeordnet, wobei jede Einzelimpulsantwortinformation dieses Satzes von Einzelimpulsantwortinformationen für einen Lautsprecherkanal vorgesehen ist. Für jeden einer Anzahl von N Lautsprechern bzw. für jede einer Anzahl von N Lautspre- chergruppen werden nunmehr ein Skalierungswert (Scale) und eine Verzögerung (Delay) geliefert. Dieses Paar aus Scale und Delay stellt die einfachste Form der Einzelimpulsantwortinformationen dar, die durch den Einzelimpulsantwortgenerator 16 geliefert werden. Die Impulsantwort, die durch Scale und Delay dargestellt ist, hat nur einen einzigen Wert, nämlich zum Zeitpunkt der durch Delay gegeben ist, und mit einer Amplitude, die durch Scale gegeben ist.

Es wird jedoch bevorzugt, neben dem Zugriff auf die Wellen- feldsynthese-Parameter-Datenbank 16a auch eine weitere Tabelle im Block (positionsabhängige Filterung 16b) zu verwenden. Abhängig von der Position x, y wird eine „richtige" Impulsantwort mit mehr als einem Wert ausgegeben, die die Klangfarbe des Tropfens modellieren kann. So wird ein Trop- fen, der auf ein Blechdach fällt, eine andere Impulsantwort (IR) im Block 16b bekommen als ein Tropfen, der aufgrund seiner Position nicht auf ein Blechdach sondern z. B. auf eine Wasserfläche fällt. Durch den Block „positionsabhängige Filterung" 16b wird also ein Satz von N Filter- Impulsantworten (Filter-IR) ausgegeben, und zwar wieder für jeden der einzelnen Lautsprecher. In einem Multiplikationsblock 16c findet dann eine Multiplikation pro Lautsprecherkanal statt. Insbesondere wird die durch Scale und Delay dargestellte Impulsantwort mit der für denselben Lautspre- cherkanal im Block 16b erzeugten Filter-Impulsantwort multipliziert. Wenn diese Multiplikation für jeden der N Lautsprecherkanäle durchgeführt worden ist, erhält man einen Satz von N Einzelimpulsantworten für jede Partikelposition,

also für jeden Regentropfen, wie es in einem Block 16d dargestellt ist.

Durch den Block 16b können ferner weitere Funktionalitäten implementiert werden. Zusätzlich zur Bereitstellung eines positionsabhängigen Filters, das die Klangfarbe des Regentropfens berücksichtigt, kann ferner eine weitere oder kombinierte Impulsantwort bereitgestellt werden, durch die abhängig von der Position, jedoch zufällig generiert, der Klang eines Regentropfens immer etwas modifiziert wird. Damit wird sichergestellt, dass sich nicht alle Regentropfen, die auf ein Blechdach fallen, genau gleich anhören, sondern dass sich jeder bzw. wenigstens einige der Regentropfen unterschiedlich anhören, um somit der Natur gerechter zu wer- den, bei der sich alle Regentropfen nicht identisch (aber ähnlich) anhören.

Des weiteren wird es bevorzugt, in der durch den Block 16b bereitgestellten Impulsantwort auch das Tiefpass-Artefakt der Wellenfeldsynthese zu berücksichtigen. So hat sich herausgestellt, dass der Wellenfeldsynthese-Algorithmus dazu führt, dass eine Tiefpassfilterung stattfindet, die durch eine Zuhörer wahrgenommen werden kann. Es wird daher bevorzugt, in der Filter-Impulsantwort bereits eine Vorverzer- rung durchzuführen, derart, dass eine Bevorzugung der hohen Frequenzen stattfindet, derart, dass dann, wenn der Tiefpasseffekt des Wellenfeldsynthese-Algorithmus auftritt, die Vorverzerrung möglichst genau kompensiert ist.

Für die Impulsantworten für die N Lautsprecher pro Parti ^¬ kelposition, die im Block 16d ermittelt worden sind, wird dieses Prozedere für andere Partikelpositionen wiederholt, sodass, wie es bereits anhand von Fig. 2a dargestellt wor ^¬ den ist, nunmehr für jede Partikelposition eine Filter- Impulsantwort vorhanden ist, die bereits mit dem Skalie ^¬ rungswert (Scale), der durch den Block 16a geliefert wird, skaliert ist, und der die Verzögerung (Delay) zugeordnet

ist, wie es anhand von Fig. 2a bereits erläutert worden ist .

Durch den Impulsantwortkombinierer 20, der für jeden Laut- sprecherkanal vorzusehen ist, wird dann für jeden Lautsprecherkanal die Kombinations-Impulsantwort berechnet und für jeden Lautsprecherkanal zum Filtern im Filter 21 verwendet.

Am Ausgang jedes Lautsprecherkanals, wie beispielsweise des Lautsprecherkanals 1 (Block 21 in Fig. 3) liegt dann das Lautsprechersignal für diesen Lautsprecherkanal vor. Insofern ist die in Fig. 3 gezeigte Darstellung eines Addierers 30 symbolisch zu verstehen. In der Tat existieren N Addierer, um für jeden Lautsprecherkanal das durch einen Block 21 berechnete Lautsprechersignal mit einem entsprechenden Lautsprechersignal eines anderen Partikelgenerators 31 mit anderen Eigenschaften und natürlich auch mit einem Lautsprechersignal für ein Audioobjekt, wie es durch das Steuerfile 402 von Fig. 4 dargestellt ist, zu kombinieren. Ein solches Lautsprechersignal wird durch eine herkömmliche Wellenfeldsyntheseanordnung 32 generiert. Die herkömmliche Wellenfeldsynthesevorrichtung 32 könnte beispielsweise einen Renderer 400 und einer Steuerdatei 402, wie sie in Fig. 4 dargestellt worden sind, umfassen. Am Ausgang eines Ad- dierers 30 findet sich dann nach einer Addition der einzelnen Lautsprechersignale für einen Lautsprecherkanal das resultierende Lautsprechersignal für diesen Lautsprecherkanal (Block 33) , das dann zu einem Lautsprecher, wie beispielsweise dem Lautsprecher 403 von Fig. 4, übermittelt werden kann.

Mit Hilfe der Parameter aus der Parametersteuerung erzeugt der Zufallsgenerator 14 somit Positionen, an denen Partikel auftreten sollen. Durch die angeschlossene Zeitsteuerung 18 wird die Häufigkeit der auftretenden Partikel gesteuert. Die Zeitsteuerung 18 dient als Zeitreferenz für den Zufallsgenerator 14 und die Impulsantwortgeneratoren 16a, 16b. Mit der Partikelposition aus dem Zufallsgenerator 14

werden zum einen die Wellenfeldsyntheseparameter Skalierung und Verzögerung für jeden Lautsprecher aus einer vorberechneten Datenbank (16a) erzeugt. Zum anderen wird eine Filterimpulsantwort entsprechend der Position des Partikels erzeugt, wobei die Erzeugung der Filterimpulsantwort in Block 16b optional ist. Die Filterimpulsantwort (FIR- Filter) und die Skalierung werden in Block 16c vektoriell multipliziert. Unter Berücksichtigung der Verzögerung wird dann die multiplizierte, also skalierte Filterimpulsantwort gewissermaßen in die Impulsantwort des Impulsantwortgenerators 20 „eingefügt".

Es sei darauf hingewiesen, dass diese Einfügung in die Impulsantwort des Impulsantwortgenerators sowohl basierend auf der Delay, die durch den Block 16a erzeugt wird, als auch basierend auf einer Auftrittszeit des Partikels, wie beispielsweise dem Anfangszeitpunkt, einem mittleren Zeitpunkt oder einem Endzeitpunkt erfolgt, zu dem z. B. ein Regentropfen „aktiv" ist.

Alternativ kann die Filter-Impulsantwort, die durch den Block 16b geliefert wird, auch gleich im Hinblick auf die Delay verarbeitet werden. Da die Impulsantwort, die durch den Block 16a geliefert wird, nur einen Wert hat, führt diese Verarbeitung einfach dazu, dass die Impulsantwort, die durch den Block 16b ausgegeben wird, um den Wert der Delay verschoben wird. Dieses Verschieben kann entweder bereits vor dem Einfügen im Block 20 stattfinden, oder die Einfügung in dem Block 20 kann unter Berücksichtigung die- ser Delay erfolgen, was aus Rechenzeitgründen bevorzugt wird.

Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung ist der Impulsantwortgenerator 20 ein Zeitpuffer, der ausgebildet ist, um die generierten Impulsantworten der Partikel samt Verzögerungen aufzusummieren.

Die Zeitsteuerung ist ferner ausgebildet, um immer Blöcke mit einer vorbestimmten Blocklänge dieses Zeitpuffers an die FFT-Faltung im Block 21 für jeden Lautsprecherkanal weiterzugeben. Es wird bevorzugt, für die Filterung mittels des Filters 21 eine FFT-Faltung zu verwenden, also eine schnelle Faltung, die auf der Fast Fourier Transform basiert.

Die FFT-Faltung faltet die sich ständig ändernden Impuls- antworten mit einem sich zeitlich nicht ändernden Partikel, nämlich mit dem Audiosignal, das aus dem Block Partikel- Audiosignal 12 geliefert wird. Für jeden Impuls aus dem Impulsantwortgenerator entsteht also zu dem jeweiligen Zeitpunkt in der FFT-Faltung ein Partikelsignal. Da die FFT- Faltung eine blockorientierte Faltung ist, kann das Partikelaudiosignal mit jedem Block umgeschaltet werden. Hier wird es bevorzugt, einen Kompromiss einzugehen zwischen benötigter Rechenleistung einerseits und Änderungsgeschwindigkeit des Partikelaudiosignals andererseits. Die Rechen- leistung der FFT-Faltung verringert sich mit größeren Blockgrößen, andererseits kann das Partikelaudiosignal nur mit einer größeren Verzögerung, nämlich einem Block, umgeschaltet werden. Eine Umschaltung zwischen Partikelaudiosignalen wäre beispielsweise dann vernünftig, wenn von Schnee auf Regen umgeschaltet wird, oder wenn von Regen auf Hagel umgeschaltet wird, oder wenn beispielsweise von einem leichten Regen mit „kleinen" Tropfen auf einen härteren Re ^¬ gen mit „großen" Tropfen umgeschaltet wird.

Die Ausgangssignale der FFT-Faltungen für jeden Lautsprecherkanal können mit den Standard-Lautsprechersignalen, wie es in Fig. 3 bei 30 gezeigt ist, und natürlich auch mit an ^¬ deren Partikelgeneratoren für jeweils jeden einzelnen Lautsprecherkanal aufsummiert werden, um schließlich das resul- tierende Lautsprechersignal für einen Lautsprecherkanal zu erhalten.

Das erfindungsgemäße Konzept ist dahingehend vorteilhaft, dass eine naturgetreue räumliche Wiedergabe von häufig auftretenden Schallobjekten über große Hörbereiche in Echtzeit mit Hilfe eines vergleichsweise nicht sehr rechenintensiven Rechenverfahrens erreicht werden kann.

Ferner kann ein Partikelaudiosignal pro beschriebenem Algorithmus vervielfältigt werden. Durch die eingebaute positionsabhängige Filterung wird es ferner bevorzugt, auch eine Verfremdung des Partikels zu erzielen. Ferner können verschiedene Algorithmen parallel genutzt werden, um unterschiedliche Partikel zu generieren, sodass ein effizientes und naturgetreues Schallszenario erzeugt wird.

Das erfindungsgemäße Konzept kann sowohl als Effektgerät für Wellenfeldsynthese-Systeme als auch für beliebige Sur- round-Wiedergabesysteme eingesetzt werden.

Abweichend von dem vorstehend beschriebenen zweidimensiona- len System wird es für das dreidimensionale System bevorzugt, die flächeninformationen durch Volumeninformationen zu ersetzen. Positionen sind dann dreidimensionale Raumpositionen. Die Partikeldichte wird dann zu einer Größe Partikel/ (Zeit ' Volumen)

Das erfindungsgemäße Konzept ist ferner nicht auf Wellen- feldsysteme zweidimensionaler Natur beschränkt. Auch echte dreidimensionale Systeme wie Ambisonics können mit veränderten Koeffizienten (Scale, Delay, Filter-Impulsantwort) im Einzelimpulsantwortgenerator 16 (Fig. 1) angesteuert werden. „Halbe" zweidimensionale Systeme wie sämtliche X. Y- Formate können ebenso über veränderte Koeffizienten ange ^¬ steuert werden.

Die FFT-Faltung in der Filtervorrichtung mit einstellbarer Impulsantwort 21 (Fig. 1) kann mit allen existierenden Optimierungsverfahren (halbe Blocklänge, blockweise Zerlegung der Impulsantwort) rechengünstig gestaltet werden. Bei-

spielsweise wird auf William H. Press, et al., „Numerical Receipts in C", 1998, Cambridge University Press, verwiesen.

Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren in Hardware oder in Software implementiert werden. Die Implementierung kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des Verfahrens, wenn das Compu- ter-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.