Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
APPARATUS, METHOD AND COMPUTER PROGRAM FOR IDENTIFYING ACOUSTIC EVENTS, IN PARTICULAR ACOUSTIC INFORMATION AND/OR WARNING SIGNALS
Document Type and Number:
WIPO Patent Application WO/2021/224508
Kind Code:
A1
Abstract:
The present invention relates to an apparatus and a method for identifying acoustic events, in particular acoustic information and/or warning signals, comprising an electroacoustic converter, in particular a microphone, which is designed to identify an acoustic event, in particular an acoustic information and/or warning signal, via airborne sound, a computing unit which is designed to create at least one piece of information abstracted from the acoustic event, in particular the acoustic information and/or warning signal, which piece of information is indicative for the acoustic event, in particular the acoustic information and/or warning signal, or indicates the acoustic event, in particular the acoustic information and/or warning signal, and a transmitting unit which is designed to transmit the at least one piece of abstracted information to a terminal device, in particular in order to indicate the acoustic event, in particular the acoustic information and/or warning signal, on the terminal device.

Inventors:
JAEGER HAGEN THOMAS (DE)
KÜNZL THOMAS (DE)
PLEIS JAN HINNERK (DE)
Application Number:
PCT/EP2021/062367
Publication Date:
November 11, 2021
Filing Date:
May 10, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
YOUR HOME GUIDES GMBH (DE)
International Classes:
G08B7/06; H04R3/00; H04R25/00; G08B29/18
Foreign References:
US20160360384A12016-12-08
Other References:
WANG JIA-CHING ET AL: "Mixed Sound Event Verification on Wireless Sensor Network for Home Automation", IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS, IEEE SERVICE CENTER, NEW YORK, NY, US, vol. 10, no. 1, 1 February 2014 (2014-02-01), pages 803 - 812, XP011533995, ISSN: 1551-3203, [retrieved on 20131212], DOI: 10.1109/TII.2013.2262283
BÜCHLER MICHAEL CHRISTOPH: "Algorithms for sound classification in hearing instruments", 1 January 2002 (2002-01-01), pages 1 - 150, XP055795323, Retrieved from the Internet [retrieved on 20210414], DOI: 10.3929/ethz-a-004281408
Attorney, Agent or Firm:
EISENFÜHR SPEISER PATENTANWÄLTE RECHTSANWÄLTE PARTGMBB et al. (DE)
Download PDF:
Claims:
Ansprüche

1. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, umfassend: ein elektroakustischen Wandler (110), insbesondere ein Mikrofon, das dazu einge- richtet ist, ein akustisches Ereignis (200), insbesondere ein akustisches Informations- und/oder Warnsignal, über Luftschall zu erkennen, eine Recheneinheit (120), die dazu eingerichtet ist, aus dem akustischen Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, wenigstens eine abs- trahierte Information zu erstellen, welche für das akustische Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, indikativ ist bzw. das akustische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, anzeigt und eine Sendeeinheit (130), die dazu eingerichtet ist, die wenigstens eine abstrahierte Information an ein Endgerät zu übergeben, insbesondere um auf dem Endgerät das akus- tische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, zu indi- zieren.

2. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, nach Anspruch 1 , wobei die Sendeeinheit (130) ferner dazu eingerichtet ist, die wenigstens eine abstrahierte Information an das Endgerät mittels einer Funkverbindung, die insbesondere über einen Server, eine Cloud, Blockchain oder Holochain geführt wird, zu übergeben, bevorzugt über eine Peer-to-Peer-Verbindung direkt an das Endgerät, insbesondere über eine dezentrale und stetig plausibilisierte Datenbank, bevorzugt Holochain, alternativ über einen Server oder eine Cloud.

3. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, wobei die abstrahierte Information auf dem Endgerät ein eindeutiges akustisches und/oder visuelles Signal (410) erzeugt, welches für das akustische Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, indikativ ist bzw. das akustische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, anzeigt.

4. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, ferner umfassend: einen Speicher (150), der dazu eingerichtet ist, akustische Ereignisse, insbesondere akustische Informations- und/oder Warnsignale, zu dokumentieren und/oder, insbesondere hinterlegte, Signalbilder abzuspeichern.

5. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, wobei die Recheneinheit (120) das akustische Ereignis, insbesondere das akustische In- formations- und/oder Warnsignal, mittels einer Fourier-T ransformation zerlegt, insbeson- dere um ein Spektrogramm zu erhalten, um dieses mit einem hinterlegten Signalbild abzu- gleichen.

6. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, wobei die abstrahierte Information nur erstellt wird, wenn ein bzw. das Spektogramm mit einem bzw. dem hinterlegten Signalbild im Wesentlichen übereinstimmt.

7. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, wobei die Recheneinheit (120), insbesondere mittels des Mikrofons, wenigstens dazu ein- gerichtet ist folgende Signale zu erkennen: ein akustisches Signal einer Klingel, insbesondere einer Haustürklingel, ein akustisches Signal eines Rauchmelders und/oder Gaswarngerätes, Ein akustisches Signal eines Durchgangs- bzw. Bewegungsmelders ein akustisches Signal eines persönlichen digitalen Assistenten.

8. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, ferner umfassend: eine Empfangseinheit (140), die dazu eingerichtet ist, ein vom mobilen Endgerät als Antwort auf die abstrahierte Information gesendetes Signal (A) zu empfangen und/oder eine Empfangseinheit (140), die aus einer Nutzerrückmeldung über eine Benutzer- Oberfläche auf einem bzw. dem mobilen Endgerät, insbesondere selbstständig, lernt, ob und/oder wann ein Signal richtig erkannt wurde.

9. Vorrichtung (100) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen Informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, ferner umfassend: - einen Rückkanal, der dazu eingerichtet ist, von dem Endgeräte Befehle zu empfan- gen und diese Befehle, insbesondere mittels einer Sprachnachricht, auszuführen.

10. Vorrichtung zur Erkennung von akustischen Ereignissen, insbesondere akustischen Informations- und/oder Warnsignalen, nach einem der vorstehenden Ansprüche, wobei das akustische Ereignis durch eine mechanische und/oder elektrische Vorrichtung erzeugt ist.

11 . Verfahren (1000) zur Erkennung von akustischen Ereignissen, insbesondere akus- tischen informations- und/oder Warnsignalen, umfassend die Schritte:

Aufnehmen (1100) eines Luftschalls mittels eines elektroakustischen Wandlers, ins- besondere Mikrofons, wodurch ein elektronisches Wandlersignai erhalten wird; Zerlegen (1200) des elektronischen Wandlersignals, welches bevorzugt zweidimen- sional, insbesondere mit Zeit und Amplitude aufgeführt ist, mittels einer Transformation, insbesondere einer Fourier-Transformation, bevorzugt einer Kurzzeit-Fourier-T ransfoma- tion, um eine Bildfunktion zu erhalten, insbesondere eine dreidimensionale Funktion, be- vorzugt mit Zeit, Frequenz und Amplitude;

Abgleichen (1300) der Bildfunktion, insbesondere eines Vektors, mit einer gespei- cherten Bildfunktion, insbesondere eines weiteren Vektors, und

Versenden (1400) einer Information an ein Endgerät, insbesondere ein mobiles End- gerät, wenn die Bildfunktion eine determinierte Ähnlichkeit zu der gespeicherten Bildfunk- tion aufweist.

12. Verfahren nach einem der vorstehenden Ansprüche, wobei die gespeicherte Bildfunktion eines der akustischen Signale der nachfolgenden Liste ist, umfassend: ein Türklingeln, - ein Warnsignal eines Rauch- und/oder Gasmelders, ein Informationssignal eines Durchgangs- bzw. Bewegungsmelders.

13. Verfahren nach einem der vorstehenden Ansprüche, wobei die gespeicherte Bildfunktion dadurch erzeugt wurde, dass ein akustisches Signal, insbesondere nach Anspruch 12, mittels einer Fourier-Transformation, bevorzugt einer Kurzzeit-Fourier-T ransformation zerlegt wurde.

14. Computerprogrammprodukt, insbesondere App, umfassend Befehle, die bei deren Ausführung durch einen Computer, bevorzugt ein Mobiltelefon oder ein Tabletcom puter, den Computer dazu veranlassen, ein Verfahren auszuführen, umfassend die Schritte:

Empfangen einer abstrahierten Information, welche für das akustische Ereignis, ins- besondere dem akustischen Informations- und/oder Warnsignal, indikativ ist bzw. das akustische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, an- zeigt,

Abgleichen der abstrahierten Information mit wenigstens einer in einer auf dem Com- puter hinterlegten Information und - Ausgeben eines akustischen und/oder visuellen Signals, welches für das akustische

Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, indikativ ist bzw. das akustische Ereignis, insbesondere das akustische Informations- und/oder Warn- signal, anzeigt, wenn der Abgleich der abstrahierten Information mit der auf dem Computer hinterlegten Information positiv ist. 15. Computerprogrammprodukt nach Anspruch 14, ferner umfassend weitere Befehle, die bei deren Ausführung durch einen Computer, bevorzugt ein Mobiltelefon oder ein Tab- letcomputer, den Computer ferner dazu veranlassen:

Ausgeben wenigstens eines optischen Signals, welches den Benutzer des Compu- ters dazu auffordert, die abstrahierte Information zu beantworten, bspw. um eine Nach- richte mittels einer Vorrichtung nach einem der vorstehenden Ansprüche abzuspielen oder eine Nachricht zu streamen.

Description:
VORRICHTUNG, VERFAHREN UND COMPUTERPROGRAMM ZUR ERKENNUNG VON AKUSTISCHEN EREIGNISSEN, INSBESONDERE AKUSTISCHEN INFORMATIONS- UND/ODER

WARNSIGNALEN

Die vorliegende Erfindung betrifft eine Vorrichtung und ein Verfahren zur Erkennung von akustischen Ereignissen, insbesondere von akustischen Informations- und/oder Warnsig- nalen. Ein Beispiel für ein solches akustisches Informations- und/oder Warnsignal ist das Klingeln einer Tür, eines Telefons, oder der Alarm eines Rauchmelders.

Solche akustischen Informations- und/oder Warnsignale können nicht immer von Men- schen wahrgenommen werden, bspw. weil sie aufgrund von Home-Office vertieft in ihrer Arbeit sind bspw. durch „Deep Work“ Strategien oder weil sie zu weit entfernt sind, sowie nicht, bzw, nur kaum hören können.

Üblicherweise behelfen sich vor allem letzte genannte Menschen mit teuren stationären Hilfsmitteln, die zum Teil aufwendig in der Wohnung installiert werden müssen. Andere Lösungen können im Falle eines Umzuges häufig nicht unmittelbar wiederverwendet wer- den, sodass in der neuen Wohnung ebenfalls eine erneute, kostspielige Installation vorge- nommen werden muss. Ferner besitzen diese Lösungen keinen inklusiven Ansatz, sondern trennen Menschen offensichtlich und marketingtechnisch in Alt und Jung sowie in Men- schen mit Hörbehinderung und ohne.

Aufgabe der vorliegenden Erfindung ist es daher, eines der oben genannten Probleme zu adressieren. Insbesondere soll eine, insbesondere mobile, Vorrichtung zur Verfügung ge- stellt werden, welche akustische Informations- und/oder Warnsignale für jedermann aufbe- reitet.

Erfindungsgemäß wird somit eine Vorrichtung zur Erkennung von akustischen Ereignissen, insbesondere von akustischen Informations- und/oder Warnsignalen vorgeschlagen, um- fassend: einen elektroakustischen Wandler, der dazu eingerichtet ist, ein akustisches Er- eignis, insbesondere ein akustisches Informations- und/oder Warnsignal, über Luftschall zu erfassen, eine Recheneinheit, die dazu eingerichtet ist, aus dem akustischen Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, wenigstens eine abs- trahierte Information zu erstellen, welche für das akustische Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, indikativ ist bzw. das akustische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, anzeigt und eine Sende- einheit, die dazu eingerichtet, die wenigstens eine abstrahierte Information an ein Endgerät zu übergeben, insbesondere um auf dem Endgerät das akustische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, zu indizieren.

Der elektroakustische Wandler umfasst somit bspw. ein Mikrofon oder ist als Mikrofon aus- gebildet und/oder ist dazu eingerichtet, ein elektronisches Wandlersignal aus einem akus- tischen Ereignis zu erzeugen. Bevorzugt ist der elektroakustische Wandler dazu ausgebil- det, aus einem akustischen Ereignis ein elektrisches Wandlersignal zu erzeugen.

Bevorzugt weist der elektroakustische Wandler bzw. das Mikrofon eine omnidirektionale Richtcharakteristik auf.

Bevorzugt weist der elektroakustische Wandler bzw. das Mikrofon einen Dynamikbereich zwischen 90 und 130 dB auf, bspw. 105 dB.

Bevorzugt weist der elektroakustische Wandler bzw. das Mikrofon eine THD (total harmo- nic distortions) von kleiner 1% auf, insbesondere bei einem Schalldruckpegel von oder bis 128dBSPL.

Bevorzugt ist der elektroakustische Wandler bzw. das Mikrofon hochdynamisch ausge- führt, insbesondere so, dass auch laute Geräusch, wie bspw. die Geräusche eines Rauch- melders mit 120dB, im Wesentlichen rausch- und verzerrungsfrei erfasst werden können.

Bevorzugt weist der elektroakustische Wandler bzw. das Mikrofon einen Flachfrequenz- gang auf, bspw. von unter 35Hz, bevorzugt ca. 28Hz.

In einer besonders bevorzugten Ausführungsform umfasst der elektroakustische Wandler ein MEMS-Mikrofon oder ist als MEMS-Mikrofon ausgebildet und/oder dazu eingerichtet, ein elektronisches Wandlersignal aus einem akustischen Ereignis zu erzeugen.

Unter MEMS-Mikrofonen sind insbesondere miniaturisierte (Micro Electro Mechanical Sys- tem), in SMD-Technik (surface-mounted device) ausgeführte Mikrofone zu verstehen, die bevorzugt zum direkten Einsatz auf elektronischen Platinen kommen. Besonders vorteilhaft bei MEMS-Mikrofonen sind ein hoher Signal-Rausch-Abstand, eine geringe Leistungsauf- nahme und eine große Empfindlichkeit. Insbesondere bei gleichzeitig kleiner Bauweise.

In einer besonders bevorzugten Ausführungsform erfolgt der Datentransfer vom elektroa- kustischen Wandler bzw. Mikrofon via Pulse Density Modulation (RDM). Besonders vorteil- haft hierbei ist, dass durch die Versendung der Daten im Bitstrom Rauschen vermindert und/oder die Signalübertragung unanfälliger gegen Rauschen ist.

Das elektronische Wandlersignal wird dann mittels der Recheneinheit, bspw. mittels einer Fourier-T ransformation, bevorzugt mittels mehrerer aufeinanderfolgenden Kurzzeit-Fou- rier-T ransformationen, besonders bevorzugt mittels mehrerer aufeinanderfolgenden schnellen Kurzzeit-Fourier-T ransformationen, in eine Bildfunktion zerlegt.

In einer besonders bevorzugten Ausführungsform werden aus der Bildfunktion deskriptive Merkmale bevorzugt mit A-priori-Wissen als Merkmalsvektor extrahiert. Es wird also insbe- sondere auch vorgeschlagen, nicht die gesamte Bildfunktion abzugleichen, sondern ein- zelne Merkmale mittels Vektoren miteinander abzugleichen, also einen Merkmalsvektor des erfassten Signals mit einem Zielvektor des zu identifizierenden Signals.

Die Bildfunktion bzw. der Merkmalsvektor wird dann bspw. mit einer bzw. einem, in einem Speicher hinterlegten Bildfunktion bzw. Merkmalsvektor, insbesondere des Zielsignals ab- geglichen, insbesondere um das durch das Mikrofon aufgenommene Signal zu einem Ziel- signal zuzuordnen / zu identifizieren. Auch kann ein Filter vorgesehen sein, der zwischen Wandler und Recheneinheit angeordnet ist, insbesondere um bspw. irrelevante Signale herauszufiltem, also bspw. zu kurze und/oder zu leise Signale und/oder Rauschen, wel- ches bspw. durch den elektronischen Wandler oder das akustische Umfeld verursacht wurde.

Die von der Recheneinheit erzeugte Bildfunktion bzw. der von der Recheneinheit erzeugte Merkmalsvektor wird ferner mit einer abgespeicherten Bildfunktion bzw. einem abgespei- cherten Prototypen-Merkmalsvektors eines Zielsignals über Verfahren der lernenden Vek- torquantisierung abgeglichen und sofern diese im Wesentlichen übereinstimmen, wird eine abstrahierte Information an ein Endgerät, insbesondere ein mobiles Endgerät versendet.

In einer besonders bevorzugten Ausführungsform erfolgt also der Abgleich mittels Vekto- ren und/oder einer lernenden Vektorquantisierung. Hierfür kann bspw. eine Kontaktadresse für das mobile Endgerät in der Vorrichtung hinter- legt werden.

Das mobile Endgerät ist vorzugsweise ein internetfähiges Endgerät, wie z.B. ein Smart- phone, ein Tablet, ein PC, ein Laptop, ein Kopfhörer, ein Smartspeaker, ein Smart-TV, ein Streaming-Media-Adapter und/oder -Player und/oder -Box, eine Smartwatch, eine Spiel- konsole, eine Game-Streaming-Dienst-Box, eine VR-Brille, eine AR-Brille, eine MR-Brille, eine smarte Lampe, eine smarte Brille, ein Hörgerät, eine Hörhilfe, oder weiteres loT-Gerät. Solche mobilen Endgeräte weisen ferner häufig Peripheriegeräte auf, wie bspw. Kopfhörer, die abstrahierte Information dann für den Menschen erfassbar machen, bspw. durch Video- und/oder Audiosignale.

In einer weiter bevorzugten Ausführungsform ist das mobile Endgerät ein implantiertes Hörgerät, insbesondere ein Cochlea-Implantat.

Die Vorrichtung zur Erkennung von akustischen Ereignissen ist hierfür bspw. als mobile Vorrichtung ausgebildet und kann so auf einfache Art und Weise neben einer Türklingel in einer Wohnung eines Hörbeeinträchtigten angeordnet werden, bspw. auf einer Kommode, einem Tisch, oder in einer Steckdose. Zudem sind in der Vorrichtung, bspw. in einem Spei- cher, eine Mobiltelefonnummer des Hörbeeinträchtigten und eine Bildfunktion bzw. ein Merkmalsvektor der Klingel der Wohnung hinterlegt. Die Vorrichtung nimmt durch das Mik- rofon ständig akustische Signale in der Wohnung wahr und gleicht diese mit dem hinter- legten Zielsignal ab. Sofern ein Dritter an der Tür klingelt, erkennt die Vorrichtung dieses und kontaktiert das Mobiltelefon des Hörbeeinträchtigten . Das Mobiltelefon signalisiert dann bspw. durch Vibration und/oder optischen Alarm, dass jemand an der Tür geklingelt hat.

Die Vorrichtung ermöglicht es also bspw., dass Menschen mit einer Hörbeeinträchtigung, akustische Signale, insbesondere akustische Warnsignale, wahrnehmen können.

In einer besonders bevorzugten Ausführungsform sind die Recheneinheit und die Sende- einheit zwei unterschiedliche Baugruppen, insbesondere jeweils mit einem eigenständigen Prozessor, bevorzugt zwei unterschiedliche Prozessoren. Bevorzugt sind die Sendeinheit und die Recheneinheit über einen gemeinsamen Bus bzw. ein gemeinsames Bus-System miteinander verbunden. Der Bus ist bevorzugt als I 2 C-Bus ausgeführt. Der Bus weist also einen Inter-Integrated Circuit auf, ist also für die Kommunikation zwischen eingebetteten Systemen und/oder Prozessoren eingerichtet. Vorzugsweise ist die Sendeeinheit ferner dazu eingerichtet, wenigstens eine abstrahierte Information an das Endgerät mittels einer Funkverbindung, die insbesondere über eine Peer-to-Peer-Verbindung direkt an das Endgerät über eine dezentrale und stetig plausibi- lisierte Datenbank (vgl. Blockchain, 500), alternativ über einen Server oder eine Cloud ge- führt wird, zu übergeben.

Die abstrahierte Information kann also sowohl direkt als auch indirekt an das Endgerät übermittelt werden, bspw. direkt an ein bestimmtes Telefon oder Smartphone oder indirekt über eine Cloud an ein bestimmtes Smartphone.

Bevorzugt kann eine Peer-to-Peer-Übertragung des Signals über eine dezentrale oder ver- teilte und stetig plausibilisierte Datenbank vorgesehen sein, welche als Blockchain oder als Holochain ausgeführt und/oder bezeichnet werden kann, insbesondere um die Dateninteg- rität ohne Vertrauen in eine Verwaltungsstruktur sicher zu stellen. Ein mögliches Anwen- dungsgebiet ist dabei die Validierung des Vorhandenseins eines Klingelsignals bei einer Paket-/Warenzustellung, und die Begründung der Richtigkeit und Vertrauenswürdigkeit dieser Information über den Blockchain- oder Holochain-Mechanismus.

Es wird somit auch vorgeschlagen, dass die abstrahierte Information bspw. auf einem Ser- ver gespeichert wird, insbesondere um eine Datenerhebung zu ermöglichen. Eine solche Datenerhebung kann bspw. im Einzelhandel sinnvoll sein, wo bspw. mittels der Vorrichtung ein Signal eines Durchgangs- bzw. Bewegungsmelders des Ladens dokumentiert werden kann. Optional: Alternativ oder zusätzlich kann auch eine Cloud, bzw. Cloud-Infrastruktur, vorgesehen sein, welche Bestandteil einer Blockchain ist, insbesondere um die Datenin- tegrität sicher zu stellen. Ein mögliches Anwendungsgebiet ist dabei die Validierung des Vorhandenseins eines Klingelsignals bei einer Paket-/Warenzustellung.

Vorzugsweise erzeugt die abstrahierte Information auf dem Endgerät ein eindeutiges akus- tisches und/oder visuelles Signal, welches für das akustische Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, indikativ ist, bzw. das akustische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, anzeigt.

Es wird also auch vorgeschlagen, dass die abstrahierte Information ein eindeutiges Signal erzeugt, welches eindeutig anzeigt, welches Warnsignal vorliegt. Auf diese Weise kann die Vorrichtung auch über mehrere verschiedene Informations- und Warnsignale informieren, also bspw. eine Türklingel, ein Durchgangs- bzw. Bewegungsmelder oder ein Rauchmel- der. Vorzugsweise umfasst die Vorrichtung ferner einen Speicher, der dazu eingerichtet ist, akustische Ereignisse, insbesondere akustische Informations- und/oder Warnsignale, zu dokumentieren und/oder, insbesondere hinterlegte, Signalbilder abzuspeichern.

Die Vorrichtung weist somit insbesondere auch einen Speicher auf, der dazu eingerichtet ist, eine Bildfunktion bzw. Bildbereiche und Merkmaisvektoren abzuspeichern.

Vorzugsweise zerlegt die Recheneinheit das akustische Ereignis, insbesondere das akus- tische Informations- und/oder Warnsignal, mittels einer Fourier-Transformation, insbeson- dere um ein Spektrogramm zu erhalten, um dieses mit einem hinterlegten Signalbild abzu- gleichen. Die Recheneinheit ist somit dazu eingerichtet, das akustische Signal mittels mehrerer Kurz- zeit-Fouriertransformationen in eine Bildfunktion zu zerlegen, einen Merkmalsvektor zu ext- rahieren und diesen mit einem hinterlegten Merkmalsvektor abzugleichen.

Es wird somit insbesondere vorgeschlagen, dass die Vorrichtung ein akustisches Signal mittels eines Datenabgleiches über Methoden aus der lernenden Vektorquantisierungen identifiziert, insbesondere unter Verwendung einer in einem Speicher hinterlegten Prototy- penfunktion des Merkmalsvektors eines Zielsignals.

Vorzugsweise wird die abstrahierte Information nur erstellt, wenn ein bzw. das Spektro- gramm mit einem bzw. dem hinterlegten Signalbild im Wesentlichen übereinstimmt.

Es wird also insbesondere vorgeschlagen, dass die abstrahierte Information nur erstellt wird, wenn eine determinierte Ähnlichkeit zwischen dem erzeugten Merkmalsvektor und einem hinterlegten Merkmalsvektor besteht. Umso höher die determinierte Ähnlichkeit ge- wählt wird, umso geringer ist die Wahrscheinlichkeit, dass das akustische Signal falsch erkannt wird.

Vorzugsweise ist die Recheneinheit, insbesondere mittels des Mikrofons, wenigstens dazu eingerichtet, folgende Signale zu erkennen: ein akustisches Signal einer Klingel, insbeson- dere einer Haustürklingel, ein akustisches Signal eines Rauchmelders und/oder Gaswarn- gerätes, eines Durchgangs- bzw. Bewegungsmelder und ein akustisches Signal eines per- sönlichen digitalen Assistenten. Die Vorrichtung ist somit insbesondere dazu eingerichtet und dazu vorgesehen für häusli- che Informations- und Warnsignale verwendet zu werden.

Vorzugsweise umfasst die Vorrichtung ferner eine Empfangseinheit, die dazu eingerichtet ist, ein vom mobilen Endgerät als Antwort auf die abstrahierte Information gesendetes Sig- nal zu empfangen.

Es wird somit insbesondere auch vorgeschlagen, dass die Vorrichtung einen Rückkanal aufweist, über den bspw. die Vorrichtung Informationen von dem mobilen Endgerät erhält, bspw. eine Bestätigung, dass die abstrahierte Information empfangen worden ist.

Bevorzugt umfasst die Vorrichtung eine Empfangseinheit, die aus einer Nutzerrückmel- dung über eine Benutzeroberfläche auf einem bzw. dem mobilen Endgerät (Supervized Learning), insbesondere selbstständig (Autonomous Learning), lernt, ob und/oder wann ein Signal richtig erkannt wurde.

Die Vorrichtung ist also insbesondere dazu eingerichtet selbstständig zu lernen, ob Signale richtig erkannt wurden. Hierdurch ist es insbesondere möglich, die Erkennungsleistung der Vorrichtung zu verbes- sern. Vorzugsweise umfasst die Vorrichtung ferner einen Rückkanal, der dazu eingerichtet ist, von dem Endgerät Befehle zu empfangen und diese Befehle, insbesondere mittels ei- ner Sprachnachricht, auszuführen.

Es wird somit auch vorgeschlagen, dass die Vorrichtung bspw. dazu eingerichtet ist, über die Vorrichtung einen Dialog zu führen, also bspw. auf das Klingeln der Türklingel zu ant- worten.

Vorzugsweise ist das akustische Ereignis durch eine mechanische und/oder elektrische Vorrichtung erzeugt.

Die Vorrichtung ist somit insbesondere dazu eingerichtet und dazu vorgesehen, mecha- nisch und/oder elektrisch erzeugte Signale zu erfassen und auszuwerten, wie bspw. das Signal einer elektrischen Türklingel. Bevorzugt ist die Vorrichtung nicht dazu eingerichtet und dazu vorgesehen, menschliche und/oder tierische Geräusche bspw. zu erfassen und/oder auszuwerten, wie bspw. Baby- geschrei.

Das Erfassen kann hierbei bevorzugt in Form eines permanenten Erfassens erfolgen und die so erhaltenen Daten können ferner direkt zu einem Endgerät übersendet, insbesondere gestreamt, werden bspw. zur Auswertung oder indirekt bspw. über eine Cloud welche die Daten zwischenspeichert und/oder ggf. auswertet.

Erfindungsgemäß wird ferner ein Verfahren zur Erkennung von akustischen Ereignissen, insbesondere akustischen Informations- und/oder Warnsignalen, vorgeschlagen, umfas- send die Schritte: Aufnehmen eines Luftschalls mittels eines elektroakustischen Wandlers, insbesondere Mikrofons, wodurch ein elektronisches Wandlersignal erhalten wird; Zerle- gen des elektronischen Wandlersignals mittels einer Transformation, insbesondere meh- rerer aufeinanderfolgenden Kurzzeit-Fourier-Transformationen, bevorzugt einer Kurzzeit- Fourier-T ransformation, um eine Bildfunktion zu erhalten; Extraktion eines Merkmalsvek- tors aus der Bildfunktion mit A-Priori-Wissen vom Zielsignal, Abgleichen des Merkmalsvek- tors mit einem gespeicherten Prototypen des Merkmalsvektors des Zielsignals und Ver- senden einer Information an ein Endgerät, insbesondere ein mobiles Endgerät, wenn der Merkmalsvektor eine über die Methoden der lernenden Vektorquantisierung berechnete, determinierte Ähnlichkeit zu dem gespeicherten Prototypen des Merkmalsvektors des Ziel- Signals aufweist.

Es wird also insbesondere vorgeschlagen, die Identifikation mittels Vektoren vorzunehmen, bspw. durch Extraktion markanter Stellen aus der Bildfunktion mit A-priori-Wissen zu mar- kanten Stellen aus dem Zielsignal zum Erstellen eines Merkmalsvektors aus dem vorlie- genden Signal und anschließendem Abgleich zweier Bildfunktionen, durch Vergleich von markanten Stellen, interpretierbar als Merkmalsvektoren, insbesondere mittels eines Ver- fahrens aus der lernenden Vektorquantisierung.

In einem ersten Schritt wird also aus einem Luftschall, insbesondere einem akustischen Signal, ein elektronisches Wandlersignal erzeugt, insbesondere mittels eines elektroakus- tischen Wandlers. Anschließend wird das elektronische Wandlersignal mittels einer Transformation in eine Bildfunktion zerlegt bzw. es wird aus dem elektronischen Wandlersignal eine Bildfunktion erzeugt. Aus dieser Bildfunktion wird anschließend ein Merkmalsvektor mit A-Priori-Wissen zum Zielsignal extrahiert und mit einem Prototyen des Merkmalsvektors des Zielsignals abge- glichen.

Sofern dieser Abgleich eine determinierte Ähnlichkeit aufweist, wird eine Information, ins- besondere eine abstrahierte Information, an ein mobiles Endgerät versendet, insbesondere um ein akustisches Ereignis anzuzeigen.

Vorzugsweise ist der Merkmalsvektor deskriptiv für eines der akustischen Signale: ein Tür- klingeln, ein Informationssignal eines Durchgangs- bzw. Bewegungsmelder und/oder ein Warnsignal eines Rauch- und/oder Gasmelders. Das vorstehend oder nachstehend beschriebene Verfahren wird somit insbesondere dazu verwendet, häusliche Informations- und Warnsignale, wie bspw. einer Türklingel oder eines Rauchmelders, zu identifizieren.

Vorzugsweise wurde der gespeicherte Merkmalsvektor dadurch erzeugt, dass ein akusti- sches Signal mittels einer Fourier-T ransformation, bevorzugt einer Kurzzeit-Fourier-T rans- formation zerlegt wurde, und markante Stellen der resultierenden Bildfunktion mit A-Priori- Wissen zum Zielsignal extrahiert wurden.

Der gespeicherte Prototypen-Merkmalsvektor wird insbesondere genauso erzeugt, wie der Merkmalsvektor eines aufgenommenen Luftschalls, wie vorstehend oder nachstehend be- schrieben. Dies kann bspw. dadurch erfolgen, dass man der vorstehend oder nachstehend beschriebenen Vorrichtung ein bestimmtes akustisches Warnsignal vorspielt, um hiermit die Vorrichtung zu initialisieren. Im Falle einer Türklingel, würde man also den gespeicher- ten Prototypen-Merkmalsvektor dadurch erhalten, dass man die Klingel wiederholend be- tätigt und dieses Signal als entsprechender Merkmalsvektor abspeichert.

Erfindungsgemäß wird ferner ein Computerprogrammprodukt, insbesondere App, vorge- schlagen, umfassend Befehle, die bei deren Ausführung durch einen Computer, bevorzugt ein Mobiltelefon oder ein Tabletcomputer, den Computer dazu veranlassen, ein Verfahren auszuführen, umfassend die Schritte: Empfangen einer abstrahierten Information, welche für das akustische Ereignis, insbesondere dem akustischen Informations- und/oder Warn- signal, indikativ ist bzw. das akustische Ereignis, insbesondere das akustische Inform a- tions- und/oder Warnsignal, anzeigt, Abgleichen der abstrahierten Information mit wenigs- tens einer in einer auf dem Computer hinterlegten Information und Ausgeben eines akus- tischen und/oder visuellen Signals, welches für das akustische Ereignis, insbesondere dem akustischen Informations- und/oder Warnsignal, indikativ ist bzw. das akustische Ereignis, insbesondere das akustische Informations- und/oder Warnsignal, anzeigt, wenn der Ab- gleich der abstrahierten Information mit der auf dem Computer hinterlegten Information positiv ist.

Das Computerprogrammprodukt kann hierfür bspw. auf einem Computer, insbesondere einem Mobiltelefon oder einem Tabletcomputer, installiert werden.

Wenn der Computer nun eine abstrahierte Information empfängt, bspw. von einer vorste- hend oder nachstehend beschriebenen Vorrichtung, gleicht der Computer die abstrahierte Information mit einer auf dem Computer hinterlegten Information ab, bspw. eine spezielle Bitreihenfolge, die indikativ für eine Türklingel ist.

Sofern die empfangene Information der hinterlegten Information gleicht, wird auf dem Com- puter ein akustisches und/oder visuelles Signal ausgegeben, bspw. ein Vibrationsalarm und auf einem Display ein Symbol einer Türklingel.

Der Besitzer des Computers weiß dann, dass es an seiner Tür geklingelt hat, insbesondere unabhängig davon, an welchem Ort sich der Besitzer befindet.

Vorzugsweise umfasst das Computerprogrammprodukt weitere Befehle, die bei deren Aus- führung durch einen Computer, bevorzugt ein Mobiltelefon oder ein Tabletcomputer, den Computer ferner dazu veranlassen: Ausgeben wenigstens eines optischen Signals, wel- ches den Benutzer des Computers dazu auffordert, die abstrahierte Information zu beant- worten, bspw. um eine Nachricht mittels einer Vorrichtung nach einem der vorstehenden Ansprüche abzuspielen oder eine Nachricht zu streamen.

Die vorliegende Erfindung wird nun nachfolgend exemplarisch anhand von Ausführungs- beispielen unter Bezugnahme auf die begleitenden Figuren näher erläutert, wobei für glei- che oder ähnlich Baugruppen dieselben Bezugszeichen verwendet werden.

Fig. 1 zeigt eine schematische Ansicht einer Vorrichtung zur Erkennung von akusti- schen Ereignissen in einer Ausführungsform.

Fig. 2 zeigt eine schematische Ansicht eines Verfahrens zur Erkennung von akusti- schen Ereignissen.

Fig. 3 zeigt einen schematischen Ablauf eines Verfahrens zur Erkennung von akus- tischen Ereignissen. Fig. 4 zeigt die Struktur und den Aufbau einer Blockchain-T echnologie.

Fig. 5 zeigt die Struktur und den Aufbau einer Holochain-T echnologie.

Fig. 1 zeigt eine schematische Ansicht einer Vorrichtung 100 zur Erkennung von akusti- schen Ereignissen in einer Ausführungsform.

Die Vorrichtung 100 ist bspw. neben einer Wohnungstür 300 in der Nähe einer Türklingel 200 angeordnet.

Die Vorrichtung 100 umfasst wenigstens einen elektroakustischen Wandler 110, eine Re- cheneinheit 120 und eine Sendeeinheit 130.

Die Vorrichtung 100 ist somit zur Erkennung von akustischen Ereignissen W, insbesondere Informations- und/oder Warnsignalen W, eingerichtet. Der elektroakustische Wandler 110 ist bspw. als Mikrofon ausgebildet und dazu eingerich- tet, ein akustisches Ereignis W, insbesondere ein akustisches Informations- und/oder Warnsignal, bspw. einer Türklingel 200, über Luftschall zu erkennen.

Die Recheneinheit 120 ist dazu eingerichtet, aus dem akustischen Ereignis W, insbeson- dere dem akustischen Informations- und/oder Warnsignal, wenigstens eine abstrahierte Information I zu erstellen, welche für das akustische Ereignis, insbesondere dem akusti- schen Informations- und/oder Warnsignal, indikativ ist bzw. das akustische Ereignis, ins- besondere das akustische Informations- und/oder Warnsignal.

Die Sendeeinheit 130 ist dazu eingerichtet, die wenigstens eine abstrahierte Information I an ein Endgerät 400 zu übergeben, insbesondere um auf dem Endgerät das akustische Ereignis W, insbesondere das akustische Informations- und/oder Warnsignal, zu indizie- ren. Dies erfolgt bspw. mittels eines visuellen Signals 410.

Die Übertragung bzw. das Senden der abstrahierten Information I ' von der Sendeeinheit 130 zu dem, insbesondere mobilen, Endgerät, kann direkt, bspw. über eine Funkverbin- düng, oder indirekt, bspw. über eine Cloud, erfolgen.

In einer bevorzugten Ausführungsform ist die Sendeeinheit 130 zudem mittels eines Rück- kanals dazu eingerichtet, Informationen von dem Endgerät zu empfangen, wie bspw. eine Bestätigung, dass die abstrahierte Information eingegangen ist.

Um das visuelle Signal 410 auf dem mobilen Endgerät zu erzeugen, wird also vorgeschla- gen, das akustische Ereignis W mittels des Mikrofons 110 in ein elektronisches Signal W‘ zu zerlegen.

Dieses elektronische Signal W wird durch die Recheneinheit 120 bspw. mittels einer Fou- rier-Transformation in eine Bildfunktion zerlegt, welche nach Berechnung eines assoziier- ten Merkmalsvektors B mit einer, in einem Speicher 150 hinterlegten Prototypenfunktion des Merkmalsvektors des Zielsignals B‘ abgeglichen wird.

Ist dieser Abgleich positiv, stimmen also die Signale überein, erzeugt die Recheneinheit die abstrahierte Information I, die mittels der Sendeeinheit 130 an das mobile Endgerät 400 als elektronisches Signal I ' versendet wird, um dort das visuelle Signal 410 zu erzeugen.

In einer bevorzugten Ausführungsform weist die Vorrichtung 100 zudem eine Empfangs- ein heit 140 und einen Rückkanal R auf, die es ermöglichen, mittels eines bzw. dem mobilen

Endgerät 400 mit der Vorrichtung zu interagieren.

Fig. 2 zeigt eine schematische Ansicht eines Verfahrens 1000 zur Erkennung von akusti- schen Ereignissen. Um das akustische Ereignisse W zu erkennen, werden eine Aufnahme des akustischen Ereignisses W und ein Abgleich für das akustische Ereignis W benötigt.

Für die Aufnahme des akustischen Ereignisses W wird in einem ersten Schritt 1100 der Luftschall mittels eines elektroakustischen Wandlers aufgenommen, in einem zweiten Schritt 1200 mittels einer Transformation in eine Bildfunktion B zerlegt, und mit A-Priori- Wissen zum Zielsignal ein Merkmalsvektor extrahiert.

Um diesen Merkmalsvektor B mit einem gespeicherten Prototypen eines Merkmalsvektor des Zielsignals B‘ abgleichen zu können, wurde zuvor das zu erkennende akustische Er- eignis W ebenfalls in einem ersten Schritt 1100' mehrmals aufgenommen, in einem zweiten Schritt 1200' in eine Bildfunktion zerlegt und nachfolgend ein Prototyp des Merkmalsvek- tors des Zielsignals B‘ extrahiert und in einem vierten Schritt 1300' gespeichert.

Der Abgleich 1300 des Prototypen des Merkmalsvektors des Zieisignals mit der gespei- cherten Bildfunktion kann bspw. mittels Verfahren aus der lernenden Vektorquantisierung erfolgen - ist die Distanz zwischen dem aktuellen Merkmalsvektor B zu dem gespeicherten Prototypen des Merkmalsvektors des Zielsignals B' gering genug, so ist davon auszuge- hen, dass die bestimmte akustische Information- und/oder das Warnsignal W vorliegt. Im Falle, dass bspw. ein Türklingeln einer bestimmten Tür überwacht werden soll, wird also geprüft, ob Geräusche vorliegen, die den bestimmten Türklingeln entsprechen.

Sofern der Abgleich 1300 positiv ist, also der aktuelle Merkmalsvektor mit dem gespeicher- ten Prototyp des Merkmalsvektors des Zielsignals übereinstimmt, wird eine Information an das Endgerät 400 versandt, bspw. direkt über eine Sendeeinheit 130 der Vorrichtung oder indirekt über die Sendeeinheit 130 der Vorrichtung und eine Cloud 500 bzw. einem Server, der die versandte Information zwischenspeichert und/oder ggf. auswertet.

Die Übertragung bzw. das Senden der abstrahierten Information G von der Sendeeinheit 130 zu dem, insbesondere mobilen, Endgerät 400, kann direkt, bspw. über eine Funkver- bindung, oder indirekt, bspw. über eine Cloud 500, erfolgen. Abschließend wird auf dem Endgerät 400 ein visuelles Signal 410 erzeugt.

Die Sendeeinheit 130 kann entweder integraler Bestandteil der Vorrichtung 100 sein, also bspw. als vorstehend oder nachstehend beschriebene Sende- und Empfangseinheit (kurz: SEE) ausgebildet sein oder mehrteilig ausgeführt sein, bspw. als integrale Sende- und Empfangseinheit und einem WLAN-Router mit DSL-Modern, also einer zusätzlichen Appa- ratur, welches ein Netzwerk für die Vorrichtung 100 bereitstellt.

In einer bevorzugten Ausführungsform ist die Sendeeinheit 130 zudem mittels eines Rück- kanals dazu eingerichtet, Informationen von dem Endgerät zu empfangen, wie bspw. eine Bestätigung BS, dass die abstrahierte Information eingegangen ist.

Fig. 3 zeigt einen schematischen Ablauf eines Verfahrens zur Erkennung von akustischen Ereignissen.

In einem ersten Schritt 1100 wird der Luftschall mittels eines elektroakustischen Wandlers, insbesondere eines Mikrofons, aufgenommen, um ein elektronisches Wandlersignal W zu erhalten.

Anschließend wird in einem zweiten Schritt 1200 das elektronische Wandlersignal mittels einer Transformation, insbesondere einer Fourier-Transformation, bevorzugt einer Kurz- zeit-Fourier-T ransformation, in eine Bildfunktion zerlegt und ein Merkmalsvektor B mit A- Priori-Wissen zum Zielsignal extrahiert. Dieser Merkmalsvektor B wird anschließend in einem dritten Schritt 1300 mit einem ge- speicherten Prototypen der Merkmalsfunktion des Zielsignals B' abgeglichen.

Sofern dieser Abgleich positiv + ist, also wenn der Merkmalsvektor B eine determinierte Maximaldistanz zu dem gespeicherten Prototypen der Merkmalsfunktion des Zielsignals B' aufweist, wird in einem letzten Schritt 1400 eine Information I an ein Endgerät, insbeson- dere an ein mobiles Endgerät, übersandt.

Fig. 4 zeigt eine Blockchain(-struktur) 510, wie sie bspw. im vorstehend oder nachstehend beschriebenen Verfahren zur Anwendung kommt.

Die Peer-to-Peer-Übertragung des Signals erfolgt dabei über eine dezentrale und stetig plausibilisierte Datenbank, also mittels einer dezentralen Struktur. Fig. 5 zeigt eine Holochain(-struktur) 520, wie sie bspw. im vorstehend oder nachstehend beschriebenen Verfahren zur Anwendung kommt. Die Peer-to-Peer-Übertragung des Signals erfolgt dabei über eine verteilte und stetig plau- sibilisierte Datenbank, also mittels einer verteilten Struktur.

Der wesentliche Unterschied zwischen der Blockchain und der Holochain besteht also in der Art und dem Aufbau des Netzwerkes sowie der Form der Authentifizierung.

Bezuaszeichenliste

100 Vorrichtung zur Erkennung von akustischen Ereignissen

110 elektroakustischer Wandler, insbesondere Mikrofon

120 Recheneinheit 130 Sendeinheit

140 Empfangseinheit

150 Speicher

145 Rückkanal

200 Türklingel 300 Tür

400 mobiles Endgerät

410 visuelles Signal

500 Peer-to-Peer-Verbindung / Blockchain / Cloud

510 Blockchain 520 Holochain

A Antwort des mobilen Endgerätes

B aus Bildfunktion erzeugter Merkmalsvektor

B‘ aus Bildfunktion erzeugter Prototyp des Merkmalsvektors des Zielsignals BS Bestätigung

I abstrahierte Information I ' gesendete abstrahierte Information

R Rückkanal W Warnsignal

W‘ verarbeitetes Warnsignal