Bezugnahme auf verwandte Anmeldungen

Die vorliegende Anmeldung beansprucht die Priorität der deutschen Patentanmeldung Nr. 102019218 383.2, eingereicht am 27. November 2019, die in vollem Umfang durch Bezugnahme in das vorliegende Dokument aufgenommen wird.

Die Erfindung betrifft die automatisierte laufende Überwachung und Qualitätskontrolle von Bautätigkeiten und sonstigen Arbeiten, die auf Baustellen oder in Industrieanlagen ausgeführt werden.

Stand der Technik

Die Errichtung eines Bauwerks ist typischerweise ein länger andauerndes Vorhaben, an dessen Ausführung eine Vielzahl von Personen beteiligt sind. Insbesondere beim Arbeiten im Schichtbetrieb und der Nutzung / Bedienung durch unterschiedliche Arbeitsgruppen wechseln häufig die Personenkreise, die mit der Ausführung bestimmter Tätigkeiten betraut sind. Damit das am Ende realisierte Bauwerk physisch der vor der Bauausführung festgelegten und genehmigten Planung entspricht, ist eine laufende Überwachung der Bauausführung erforderlich. Ansonsten könnten Fehler möglicherweise erst zu einem Zeitpunkt erkannt werden, zu dem eine Korrektur nur noch mit unverhältnismäßigem Aufwand, oder überhaupt nicht mehr, möglich ist. Diese Überwachung wird derzeit zu einem großen Teil von Menschen, wie beispielsweise Polieren und Bauleitern, durchgeführt. Hierbei ist insbesondere der immer wieder notwendige Wissenstransfer von Mensch zu Mensch ein Engpass. So ist es beispielsweise schwierig, Erfahrungswissen des Poliers, das vielfach nicht schriftlich niedergelegt ist, an andere Mitarbeiter weiterzugeben. Auch kann beispielsweise ein Bauleiter nur insoweit in die Bauausführung eingreifen, wie ihm die Fakten bekannt sind. Vielfach muss sich der Bauleiter auf den Polier verlassen. Außerdem findet die Überwachung ausschließlich in Form einer visuellen Überwachung statt.

Aufgabe und Lösung

Es ist daher die Aufgabe der vorliegenden Erfindung, eine automatisierte und zugleich objektivierte Überwachung der Ausführung von Bautätigkeiten und sonstigen Arbeiten, die auf Baustellen und in Industrieanlagen zur Verfügung zu stellen.

Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren gemäß Hauptanspruch sowie durch ein weiteres Verfahren zum Trainieren eines Machine Learning-Moduls gemäß Nebenanspruch. Weitere vorteilhafte Ausgestaltungen ergeben sich aus den darauf rückbezogenen Unteransprüchen.

Offenbarung der Erfindung Im Rahmen der Erfindung wurde ein Verfahren zur Überwachung mindestens einer Tätigkeit entwickelt. Bei der Tätigkeit kann es sich insbesondere um eine Bautätigkeit oder sonstige Arbeit handeln, die auf einer Baustelle oder in einer Industrieanlage ausgeführt wird. Bautätigkeiten können hierbei nicht nur auf Baustellen ausgeführt werden, sondern auch in bestehenden Industrieanlagen. Beispiele für eine derartige Bautätigkeit sind der Bau einer neuen Produktionslinie sowie die Überholung und/oder Erneuerung einer Produktionslinie im Rahmen eines „Tumaround“ -Projekts. Dabei bezeichnet der Begriff „Tätigkeiten“ im Kontext dieser Erfindung insbesondere solche Aktivitäten, deren Ausführung auf der Baustelle oder in einer Industrieanlage durch hierzu beauftragte Personen vorgesehen ist. Nicht beabsichtigt ist im Rahmen dieses Verfahrens hingegen die Erkennung und Verfolgung von Dieben oder Einbrechern, die sich unbefugt auf der Baustelle oder in der Industrieanlage aufhalten und keine Absicht haben, an bestimmungsgemäßen Arbeiten bzw. am Baufortschritt mitzuwirken. Im Rahmen des Verfahrens wird mindestens eine Audioaufnahme, in der bei der Ausführung der Tätigkeit abgegebener Schall sensorisch erfasst ist, beschafft.

Hierbei bedeutet „beschafft“ insbesondere, dass das sensorische Erfassen und das im Folgenden näher erläuterte Verarbeiten an verschiedenen Orten und/oder auch von verschiedenen Entitäten durchgeführt werden können. Es kann also beispielsweise ein Bauunternehmer Audioaufnahmen auf der Baustelle sensorisch erfassen und die Auswertung von einem anderen Unternehmer als Dienstleistung einkaufen.

Die Audioaufnahme wird zu einer Klassifikation der Tätigkeit verarbeitet. Alternativ oder auch in Kombination hierzu kann die Audioaufnahme zu einem Wert mindestens einer Kenngröße verarbeitet werden, der die Ausführung der Tätigkeit, und/oder einen Zustand mindestens eines bei dieser Ausführung verwendeten Betriebsmittels, charakterisiert.

So kann beispielsweise klassifiziert werden, ob in dem durch die Audioaufnahme erfassten Zeitraum ein Meißel, eine Bohrmaschine oder eine Säge genutzt wurde. Eine Kenngröße, die die Ausführung der Tätigkeit charakterisiert, kann beispielsweise die Nutzungsdauer oder eine Dreh- oder Schlagzahl eines genutzten Elektrowerkzeugs sein. Kenngrößen müssen sich aber nicht unbedingt nur auf individuelle Tätigkeiten beziehen, die auf der Baustelle ausgeführt werden, sondern können sich auch summarisch auf alle auf der Baustelle ausgeführten Tätigkeiten beziehen. Eine solcher Kenngröße ist der Geräuschpegel, der beispielsweise für die Minderung von Lärm-Emissionen relevant sein kann. Weiterhin kann aus dem Gesamtgeräusch beispielsweise hervorgehen, inwieweit es auf der Baustelle ein Echo oder einen Hall gibt. Ein Echo oder ein Hall kann Rückschlüsse auf die Beschaffenheit der Baustelle insgesamt zulassen.

Die Klassifikation der Tätigkeit, bzw. der Wert der Kenngröße, wird mit einem während der Ausführung der Tätigkeit vorgesehenen Nominalzustand abgeglichen. Anhand des Ergebnisses dieses Abgleichs wird ermittelt, · ob die Ausführung der Tätigkeit, und/oder das Betriebsmittel, fehlerhaft ist, und/oder

• inwieweit die Ausführung der Tätigkeit effizient ist, und/oder

• wie weit die Ausführung der Tätigkeit fortgeschritten ist. Es wurde erkannt, dass sich auf diese Weise mit vergleichsweise geringem apparativem Aufwand die Tätigkeiten auch auf einer ausgedehnten Baustelle zumindest zu einem großen Anteil kontrollieren lassen. Die Nutzung von Audioaufnahmen zu diesem Zweck hat mehrere spezifische Vorteile gegenüber beispielsweise Videoaufnahmen: · Schall breitet sich auch ohne direkte Sichtverbindung auf der Baustelle aus.

Es sind daher nur wenige Mikrofone nötig, um die Baustelle zu überwachen. Hingegen wäre es vergleichsweise aufwändig, jeden Winkel der Baustelle, die während der Bautätigkeit auch noch täglich ihr Layout ändert, mit Kameras zu überwachen. · Die Nutzung von Audioaufnahmen ist datenschutzrechtlich weit weniger problematisch als eine Kameraüberwachung, die am Arbeitsplatz als reine Routinemaßnahme ohne konkreten Anlass bis auf wenige Ausnahmefälle verboten ist. • Die Erfassung von Audioaufnahmen ist technisch weniger anspruchsvoll. Es können nicht nur gut ausgeleuchtete Bereiche überwacht werden.

• Audioaufnahmen haben ein weitaus geringeres Datenvolumen als Videoaufnahmen, was insbesondere dann wichtig ist, wenn die Aufnahmen von der Baustelle für die Auswertung zu einem externen Dienstleister und/oder in eine Cloud weiterzuleiten sind. Gerade auf Baustellen ist in der Regel noch keine festinstallierte Internetverbindung verfügbar, so dass etwa auf Mobilfunkverbindungen zurückgegriffen werden muss, die volumenabhängig bepreist sind oder bei Überschreiten eines vertraglich vereinbarten Volumens in der Bandbreite gedrosselt werden.

Auf einen Fehler bei der Ausführung der Tätigkeit kann es beispielsweise hindeuten, wenn aus der Audioaufnahme vorgeht, dass eine falsche Tätigkeit ausgeführt wurde, dass eine Tätigkeit am falschen Ort auf der Baustelle ausgeführt wurde, dass eine vorgegebene Arbeitsmethodik nicht beachtet wurde oder dass ein falsches Werkzeug für die Erledigung der Arbeit genutzt wurde. Zur Ausführung der falschen Tätigkeit, bzw. zur Ausführung von Tätigkeiten am falschen Ort, kann es beispielsweise bei Missverständnissen der Planungsunterlagen oder bei Verwendung einer veralteten Version dieser Planungsunterlagen kommen. Die Nichtbeachtung der Arbeitsmethodik und die Verwendung falscher Werkzeuge können ebenfalls die Folge von Irrtümem sein, entspringen jedoch auch immer wieder dem Wunsch der auf der Baustelle Beschäftigten, durch eine scheinbar „schlaue“ Abkürzung Zeit zu sparen und so beispielsweise Verspätungen aufzuholen. Beispielsweise können auf der Audioaufnahme noch vor Ablauf einer eigentlich zwingend einzuhaltenden Trocknungs- oder Aushärtungszeit die für den nächsten Arb eits schritt charakteristischen Geräusche zu hören sein. Ebenso lässt sich beispielsweise aus einer zu geringen Anzahl von mit einer Ramme auf einen Pfahl ausgeführten Schlägen schließen, dass dieser Pfahl nicht bis auf die für die Gründung des Gebäudes vorgesehene Tiefe in den Boden getrieben worden sein kann, sondern wesentlich weniger tief im Boden steckt. Dass der Pfahl dann an seinem oberen Ende einfach mit einer Flex abgeschnitten wurde, um den Pfusch zu kaschieren, wird ebenfalls erkannt, denn beim Rammen sollte laut Plan keine Flex zu hören sein.

Die Audioaufnahme enthält weiterhin wertvolle Hinweise, inwieweit die Ausführung der Tätigkeit effizient ist. So kann beispielsweise Stille über einen längeren Zeitraum, in dem eigentlich gearbeitet werden sollte, beispielsweise darauf hindeuten, dass bei der Arbeit ein technisches Problem aufgetreten oder das benötigte Material ausgegangen ist. Ebenso kann beispielsweise erkannt werden, dass bestimmte Tätigkeiten besonders lange dauern. Es kann also eine Art zeitliches „Profiling“ der Tätigkeiten ausgewertet mit dem Ziel, Optimierungspotential bei den Arbeitsabläufen ausfindig zu machen. Wenn es beispielsweise immer wieder lange dauert, Verteilschläuche an eine Schalung anzuschließen, können technische Veränderungen vorgenommen werden, die die Handhabung und das Anschließen der Schläuche erleichtern. Wenn beispielsweise das Ausrichten von Teilen, die durch das Einschlagen von Bolzen verbunden werden sollen, immer wieder lange dauert, kann eine Hydraulik oder ein anderes Hilfsmittel vorgesehen werden, die das Ausrichten beschleunigt.

Weiterhin lässt sich die Überwachung vorteilhaft auch auf die verwendeten Betriebsmittel, wie etwa Elektrowerkzeuge, ausdehnen, so dass diese einer besseren Wartung und Pflege unterzogen werden können und ungeplante Ausfallzeiten vermieden werden. Während etwa ein Heimwerker eine hochwertige Bohrmaschine hegt und pflegt, damit er lange etwas von seiner Investition hat, ist bei Arbeitern auf Baustellen zuweilen in diesem Punkt eine Gleichgültigkeit nach dem Motto „ist ja nicht meins“ zu beobachten. Beispielsweise wird eine Bohrmaschine, die mit ungewöhnlichen Geräuschen auf ein Lagerproblem aufmerksam macht, bedenkenlos weitergenutzt, weil das Abgeben der Maschine zur Reparatur Zeit kostet und man möglicherweise fürchtet, dass einem der Defekt vorgeworfen wird. Im Ergebnis ist dann aber nicht nur das Lager defekt, sondern auf Grund der erhöhten Beanspruchung brennt auch noch der Motor durch. Auch ist es beispielsweise für Gerüste in Industrieanlagen, die über einen längeren Zeitraum genutzt werden, vorgeschrieben, dass diese Gerüste regelmäßig technisch überprüft und erneut freigegeben werden. Hier wird bislang häufig nur eine menschliche visuelle Prüfung durchgeführt. Die Audioaufnahme hingegen kann beispielsweise ein Klappern von Gerüstteilen enthalten, was daraufhindeutet, dass sich Befestigungen am Gerüst gelockert haben.

Schließlich lässt sich auch zumindest summarisch überwachen, wie weit die Ausführung der Tätigkeit fortgeschritten ist. Beispielsweise lässt sich mit mehreren Mikrofonen orten, woher bestimmte Arbeitsgeräusche kommen. Wenn der Ort, von dem ein bestimmtes Geräusch kommt, langsamer wandert als er dies laut Plan tun sollte, hinkt der Bau möglicherweise dem Plan hinterher. Auch sollten während bestimmter Bauphasen immer nur bestimmte Arbeiten und Werkzeuge zu hören sein.

Das Verarbeiten der Audioaufnahme kann insbesondere beispielsweise beinhalten, einzelne Geräusche und/oder Vibrationen in der Audioaufnahme zu identifizieren und/oder zu quantifizieren. Anhand dieser Geräusche und/oder Vibrationen wird dann die Klassifikation der Tätigkeit, bzw. der Wert der Kenngröße, ermittelt. So lässt sich insbesondere beispielsweise ermitteln, welche Arbeiten in welchen Zeiträumen jeweils parallel ausgeführt wurden. In Zeiträumen, in denen kaum Arbeiten parallel ausgeführt werden, gibt es möglicherweise technische Engpässe. Der Einsatz von mehr Personal ist dann möglicherweise nicht das richtige Instrument, um den Baufortschritt zu beschleunigen, weil auch das zusätzliche Personal auf die gleichen Engpässe warten muss. Zielführender könnte es hingegen sein, die Engpässe an der Wurzel anzugehen und beispielsweise eine Maschine durch ein höherwertiges Modell mit mehr Durchsatz zu ersetzen. Die gemäß dem Verfahren mögliche Automatisierung und Objektivierung ermöglicht eine in wesentlich höherem Maße zielgerichtete Suche als das „Ausprobieren“ von Hypothesen auf der Basis von Erfahrungswissen. Die einzelnen Geräusche und/oder Vibrationen können insbesondere beispielsweise eine oder mehrere der folgenden umfassen:

• Betriebsgeräusche, Signale und/oder Vibrationen, die mindestens ein Gerät oder eine Maschine bei der Benutzung emittiert;

• Geräusche und/oder Vibrationen, die beim Bewegen bestimmter Geräte, Materialien oder Bauteile emittiert werden;

• Geräusche und/oder Vibrationen, die beim Betätigen von Befestigungsmitteln zur Verbindung von Bauteilen untereinander emittiert werden;

• Trittschall und/oder Vibrationen, die durch die Bewegung von auf der Baustelle oder in der Industrieanlage tätigen Personen emittiert werden; sowie

• mündliche Äußerungen von auf der Baustelle tätigen Personen. So kann beispielsweise lautes Schimpfen daraufhindeuten, dass ein Arbeitsschritt oder ein Betriebsmittel nicht oder nur mit Mühe funktioniert und an diesem Punkt möglicherweise angesetzt werden kann, um die Effizienz zu steigern.

Weiterhin kann beispielsweise erkannt werden, ob bestimmte Gerüstaufbauten an einem konkreten Einsatzort noch benutzt werden oder einer anderen Verwendung zugeführt werden können. Gerade in komplexen Industrieanlagen wird nicht nur beim Bau, sondern auch bei späteren allfälligen Wartungs- und Reparaturarbeiten eine Vielzahl unterschiedlicher Gerüstaufbauten verwendet. Nicht benutzte Gerüste können so identifiziert werden. Weiterhin kann beispielsweise auch überwacht werden, ob das Gerüst an der richtigen Stelle aufgebaut worden ist oder ob sich Beschäftigte durch einen Aufbau am falschen Standort, von dem aus sie die eigentliche Arbeitsstelle in der Höhe nur mit Mühe erreichen können, die Arbeit unnötig schwer machen. Ebenso kann die unbefugte Benutzung von für Wartungszwecke oder aus anderen Gründen gesperrten Gerüsten erkannt werden. Da die Sperrung in der Regel aus Sicherheitsgründen erfolgt, führt die Benutzung gesperrter Gerüste zu einem vermeidbaren Sicherheitsrisiko.

In einer besonders vorteilhaften Ausgestaltung ist mindestens eines der Bauteile ein Bauteil für ein Gerüst oder eine Schalung. Hier kann beispielsweise kontrolliert werden, ob Befestigungsmittel für derartige Bauteile untereinander sachgerecht verwendet werden, so dass die Bauteile einerseits mit der nötigen Festigkeit aneinandergehalten werden und andererseits die Befestigungsmittel geschont werden. Beispielsweise kann für Befestigungsschlösser von Elementen einer Wandschalung spezifiziert sein, dass diese mit einer bestimmten Anzahl von Hammerschlägen zu schließen sind. Wenn die Schlösser mit einer übermäßigen Zahl von Schlägen traktiert werden, kann dies erkannt werden, und die Mitarbeiter können entsprechend instruiert werden.

Beispiele für Geräusche und/oder Vibrationen, die im Rahmen des Verfahrens erkannt werden können, sind Geräusche und/oder Vibrationen, die

• das Handhaben, Anziehen oder Lösen von Verbindungsmitteln einer Ab Schalung,

• das Schließen einer Abschalung,

• Anhängen eines Schalelementes an einen Kran,

• Versetzen eines Schalelementes durch den Kran,

• das Betätigen einer Stockwinde, · einen Schweißprozess,

• das Betätigen eines Schlagschraubers,

• das Betätigen eines Hydraulikzylinders,

• das Betätigen eines Dampfstrahlers,

• das Betätigen eines Betonmeißels, • das Betätigen eines Bohrers,

• das Einwirken von Schlägen auf ein Befestigungsmittel,

• ein von einem Steuergerät emittiertes akustisches Signal,

• die Bewegung einer Maschine auf der Baustelle,

• das Fließen von Beton in eine Schaltung, oder

• das Ab senken einer Verstrebung charakterisieren. Dieser Satz an Geräuschen und/oder Vibrationen deckt insbesondere die wichtigsten Aktivitäten im Hinblick auf die Arbeit mit Gerüsten und Schalungen ab, wobei die letztere Anwendung vom Einschalen über das Betonieren bis hin zum Ausschalen erfasst wird.

In einer weiteren besonders vorteilhaften Ausgestaltung beinhaltet der Abgleich mit dem Nominalzustand oder Plan eine Prüfung, ob eine Tätigkeit ausgeführt wird, die einer Problembehebung auf der Baustelle oder in der Industrieanlage dient. In Antwort auf die Feststellung, dass eine solche Tätigkeit ausgeführt wird, wird festgestellt, dass

• eine vorangegangene Tätigkeit auf der Baustelle oder in der Industrieanlage fehlerhaft oder nicht effizient ausgeführt wurde, und/oder

• bei dieser vorangegangenen Tätigkeit ein Fehler mindestens eines Betriebsmittels Vorgelegen hat.

Wenn sich beispielsweise auf Grund ungenügender Reinigung Beton an einem Einlassstutzen einer Schalung festgesetzt hat und hart geworden ist, macht sich dies bemerkbar, indem ein Betonmeißel, der bei der normalen Arbeit nicht zum Einsatz kommt, genutzt werden muss, um den Stutzen wieder frei zu bekommen. Ist also das Geräusch des Betonmeißels in der Audioaufnahme zu hören, deutet dies daraufhin, dass am Tag zuvor unsauber mit dem Beton gearbeitet wurde. Dies ist ein Stück weit analog zur Beobachtung im Haushalt, dass das Geräusch von Scherben auf einem Handfeger eigentlich nur dann zu hören ist, wenn man zuvor im Umgang mit Zerbrechlichem einen Fehler gemacht hat. In einer weiteren besonders vorteilhaften Ausgestaltung wird in Antwort auf die Feststellung, dass die Ausführung einer Tätigkeit, und/oder ein Betriebsmittel, fehlerhaft ist, eine für auf der Baustelle oder in der Industrieanlage tätige Personen wahrnehmbare physikalische Wameinrichtung angesteuert. Dies kann insbesondere beispielsweise in nahezu Echtzeit geschehen, denn der Lerneffekt für die Vermeidung künftiger Fehler ist am größten, wenn es ein Feedback in unmittelbarem zeitlichen Zusammenhang mit dem Fehler gibt. Ertönt beispielsweise direkt nach dem Betreten eines gesperrten Gerüsts ein Gong gefolgt von der Mitteilung „Bitte prüfen Sie, ob das Gerüst, auf dem Sie stehen, freigegeben ist“, fühlt sich der betreffende Mitarbeiter zu Recht ertappt und wird bei der nächsten Gelegenheit, bei der er zu einem gesperrten Gerüst kommt, daran zurückdenken.

Alternativ oder auch in Kombination hierzu kann mindestens ein Betriebsmittel mit einem Blockierungswunsch angesteuert werden, so dass es für die Benutzung durch auf der Baustelle oder in der Industrieanlage tätige Personen ganz oder teilweise gesperrt wird. Wenn beispielsweise das hörbare Anlaufen eines Elektrowerkzeugs dahingehend zu deuten ist, dass jemand im Begriff ist, dieses Werkzeug für eine dafür eigentlich nicht vorgesehene Aufgabe „zweckzuentfremden“, dann kann die Stromversorgung des Werkzeugs unterbrochen werden, um die Aktion zu verhindern.

Nach dem zuvor Gesagten kann in Antwort auf die Feststellung, dass • die Audioaufnahme ungeplante Zeiträume enthält, in denen der

Geräuschpegel einen vorgegebenen Schwellwert unterschreitet, und/oder • eine Zeitdauer, für die eine bestimmte Tätigkeit ausweislich der Auswertung der Audioaufnahme ausgeführt wird, einen vorgegebenen Schwellwert überschreitet, festgestellt werden, dass die Ausführung von Tätigkeiten auf der Baustelle oder in der Industrieanlage nicht effizient ist. Zu wenig Geräusch deutet auf ein Stocken der Arbeit hin, während beispielsweise zu langes Arbeiten mit bestimmten Werkzeugen daraufhindeuten kann, dass das Werkzeug für die aktuelle Aufgabe nicht geeignet oder möglicherweise abgenutzt ist. In einer weiteren besonders vorteilhaften Ausgestaltung wird aus der Audioaufnahme zusätzlich mindestens eine für die laufende Ausführung der Tätigkeit, und/oder für die Beurteilung der Qualität des mit dieser Tätigkeit erzielten Ergebnisses, relevante physikalische Messgröße ausgewertet. Auf diese Weise lässt sich in die laufende Überwachung zumindest eine kursorische Qualitätskontrolle integrieren. Wird hierbei ein Problem angezeigt, kann gezielt nachgeforscht werden.

Im Betonbau ist beispielsweise die Viskosität von Beton, der im Rahmen der Tätigkeit verarbeitet wird, eine wichtige physikalische Messgröße. Die Viskosität kann beispielsweise über das Geräusch, das der Beton beim Fließen durch einen Schlauch oder in eine Schalung emittiert, erschlossen werden.

In einer weiteren besonders vorteilhaften Ausgestaltung erfolgt das Verarbeiten der Audioaufnahme zu der Klassifikation der Tätigkeit, und/oder zu dem Wert der Kenngröße, zumindest teilweise mit einem trainierten Machine Learning-Modul. Dieses Machine Learning-Modul kann insbesondere ein künstliches neuronales Netzwerk, KNN, umfassen oder sein.

Ein solches Machine Learning-Modul kann insbesondere eine Funktion beinhalten, deren Verhalten durch einstellbare Parameter charakterisiert ist. Es zeichnet sich durch eine große Kraft zur Verallgemeinerung aus. Das heißt, nach einem Training mit einer begrenzten Anzahl Situationen, die eine hinreichende Variabilität untereinander aufweisen, ist das Modul in der Lage, das erlernte Wissen, und/oder das erlernte Erkennen von bekannten Mustern, auch auf viele Situationen anzuwenden, die nicht Gegenstand des Trainings waren. Für das systematische Erkennen von Mustern aus sehr großen Datenmengen können insbesondere „Big Data“-Analysemethoden verwendet werden, die auch beispielsweise dem Machine Learning-Modul vorgeschaltet sein können.

Die Verwendung eines Machine Learning-Modul s ist für die Erkennung von Tätigkeiten oder Werten von Parametern aus Geräuschen oder Vibrationen besonders vorteilhaft. Wenn unter ansonsten gleichen Umständen ein und dieselbe Tätigkeit, wie etwa das Anwerfen einer Bohrmaschine, mehrfach wiederholt wird, dann werden keine zwei Audioaufnahmen dieser Aktionen genau identisch sein. Hat hingegen ein Machine Learning-Modul beim Training eine Vielzahl von Audioaufnahmen erhalten zusammen mit der Information, dass die zugehörige Tätigkeit jeweils das Anwerfen einer Bohrmaschine ist, dann wird es auch eine neue Audioaufnahme eines weiteren Anwerfens einer Bohrmaschine richtig klassifizieren. Insbesondere sind Machine Leaming-Module sehr gut dazu geeignet, eine Mischung aus mehreren Geräuschen, wie sie auf einer Baustelle oder in einer Industrieanlage die Regel ist, in ihre verschiedenen Geräuschbestandteile aufzuschlüsseln. So sind gängige

Klassifikationsalgorithmen dafür ausgelegt, für mehrere der möglichen Klassen (hier etwa: Tätigkeiten) jeweils anzugeben, mit welcher Konfidenz die eingegebene Audioaufnahme zur jeweiligen Klasse gehört. Gleiche Konfidenzen etwa sowohl für das Anwerfen einer Bohrmaschine als auch für das Sägen mit einer Kreissäge lassen sich dann so deuten, dass beide Tätigkeiten parallel zueinander ausgeführt werden.

Um eine große Variabilität der für das Training verwendeten Audioaufnahmen zu erzielen, können insbesondere beispielsweise Audioaufnahmen von einer Mehrzahl von Baustellen verwendet werden. Daher bezieht sich die Erfindung auch auf ein Verfahren zum Trainieren eines Machine Leaming-Moduls für den Einsatz in dem zuvor beschriebenen Verfahren.

Bei diesem Verfahren werden Lern-Audioaufnahmen, in der bei der Ausführung von Tätigkeiten auf einer Mehrzahl von bzw. in Baustellen und/oder Industrieanlagen abgegebener Schall jeweils sensorisch erfasst ist, beschafft. Die Lern- Audioaufnahmen werden jeweils mit Soll-Klassifikationen oder Soll-Werten annotiert, auf die das Machine Learning-Modul die Lern-Audioaufnahmen jeweils abbilden soll. So kann beispielsweise eine Lem-Audioaufnahme, die eine Mischung verschiedener Geräusche beinhaltet, mit allen in dieser Mischung enthaltenen Einzelgeräuschen annotiert werden.

Parameter, die das Verhalten des Machine Learning-Moduls charakterisieren, werden optimiert mit dem Ziel, dass das Machine Learning-Modul die Lern- Audioaufnahmen nach Maßgabe einer vorgegebenen Kostenfunktion möglichst zutreffend auf die jeweils durch das Annotieren zugeordneten Soll-Klassifikationen bzw. Soll-Werte abbildet. Nach Abschluss des Trainings ist zu erwarten, dass neue Audioaufnahmen, die nicht Gegenstand des Trainings waren, in sachlich zutreffender Weise auf Tätigkeiten bzw. Werte abgebildet.

Die Parameter sind somit das Ergebnis des Trainings. Wer diese Parameter besitzt, kann das Machine Learning-Modul unmittelbar nutzen, ohne zuerst das Training absolvieren zu müssen. Daher sind die Parameter ein eigenständiges werthaltiges Produkt, das insbesondere beispielsweise als Download vertrieben werden kann. Daher bezieht sich die Erfindung auch auf einen Parametersatz von Parametern, die das Verhalten eines trainierbaren Machine Leaming-Moduls charakterisieren und mit dem zuvor beschriebenen Verfahren erhalten wurden.

Die Verfahren können insbesondere computerimplementiert durchgeführt werden und zu diesem Zweck beispielsweise in einer Software verkörpert sein. Daher bezieht sich die Erfindung auch auf ein oder mehrere Computerprogramme mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den einen oder die mehreren Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen.

Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder ein Downloadprodukt mit dem Parametersatz, und/oder mit dem einen oder den mehreren Computerprogrammen. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.

Spezieller Beschreibungsteil Nachfolgend wird der Gegenstand der Erfindung anhand von Figuren erläutert, ohne dass der Gegenstand der Erfindung hierdurch beschränkt wird. Es ist gezeigt:

Figur 1: Ausführungsbeispiel des Verfahrens 100; Figur 2: Beispielhafte Zusammensetzung einer Audioaufnahme 4 aus Einzelgeräuschen 4a.1 bis 4a.14;

Figur 3: Auffmden einer Unterbrechung U im Arbeitsablauf anhand einer Audioaufnahme 4;

Figur 4: Ausführungsbeispiel des Verfahrens 200.

Figur 1 ist ein Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100. In Schritt 110 wird eine Audioaufnahme beschafft, in der Schall 3, den die Ausführung mindestens einer Tätigkeit 2 auf einer Baustelle la oder in einer Industrieanlage lb erzeugt, sensorisch erfasst ist. In Schritt 120 wird diese Audioaufnahme 4 zu einer Klassifikation 5a der Tätigkeit 2 verarbeitet. Alternativ oder auch in Kombination hierzu kann die Audioaufnahme 4 auch zu einem Wert 5b mindestens einer Kenngröße verarbeitet werden, die die Ausführung der Tätigkeit 2, und/oder den Zustand mindestens eines Betriebsmittels 6, charakterisiert. Die Audioaufnahme 4 wird weiterhin in Schritt 170 dazu verwendet, eine für die Qualität des mit der Tätigkeit 2 erzielten Ergebnisses relevante physikalische Messgröße 9 auszuwerten.

In Schritt 130 wird die Klassifikation 5a, bzw. der Wert 5b der Kenngröße, mit einem Nominalzustand 7a der Baustelle la, mit einem Nominalzustand 7b der

Industrieanlage lb, und/oder mit einem Plan 7c für die Ausführung der Tätigkeit 2, abgeglichen. Anhand des Ergebnisses 130a dieses Abgleichs 130 wird ermittelt,

• ob ein Fehler 140a in der Ausführung der Tätigkeit 2 und/oder in einem Betriebsmittel 6 vorliegt, · inwieweit die Tätigkeit 2 mit Effizienz 140b ausgeführt wird, und/oder

• wie groß der Fortschritt 140c der Tätigkeit 2 ist.

Speziell in Antwort darauf, dass ein Fehler 140a vorliegt, kann in Schritt 150 eine Warneinrichtung 8 angesteuert werden, um das Personal, das die Tätigkeit 2 ausführt, auf den Fehler hinzuweisen. Alternativ oder auch in Kombination hierzu kann in Schritt 160 ein Betriebsmittel 6 mit einem Blockierwunsch 6a angesteuert werden, um dieses Betriebsmittel 6 ganz oder teilweise für die Benutzung zu sperren.

Innerhalb des Kastens 120 ist beispielhaft dargestellt, wie die Verarbeitung 120 zur Klassifikation 5a, bzw. zu dem Wert 5b, erfolgen kann. Gemäß Block 121 können einzelne Geräusche 4a und/oder Vibrationen 4b in der Audioaufnahme 4 identifiziert und/oder quantifiziert werden. Gemäß Block 122 kann die Klassifikation 5a, bzw. der Wert 5b der Kenngröße, anhand dieser Geräusche 4a und/oder Vibrationen 4b ermittelt werden. Die Verarbeitung 120 kann gemäß Block 123 insbesondere mit einem trainierten Machine Learning-Modul erfolgen. Innerhalb des Kastens 130 ist beispielhaft dargestellt, wie der Abgleich 130 mit dem Nominalzustand 7a, 7b, bzw. mit dem Plan 7c für die Ausführung der Tätigkeit 2, realisiert werden kann.

Gemäß Block 131 kann geprüft werden, ob die richtige Tätigkeit 2 ausgeführt wird. Gemäß Block 132 kann geprüft werden, ob die Tätigkeit 2 am richtigen Ort ausgeführt wird. Gemäß Block 133 kann geprüft werden, ob die richtigen Betriebsmittel 6 verwendet werden. Gemäß Block 134 kann geprüft werden, ob Betriebsmittel 6 richtig gehandhabt werden.

Gemäß Block 135 kann geprüft werden, ob eine Tätigkeit 2 ausgeführt wird, die einer Problembehebung auf der Baustelle la oder in der Industrieanlage lb dient. In Antwort auf die Feststellung 136 (Wahrheit s wert 1), dass eine solche Tätigkeit 2 ausgeführt wird, kann in Block 141 ein Fehler oder eine Ineffizienz in einer vorangegangenen Tätigkeit 2 diagnostiziert werden. Alternativ oder in Kombination hierzu kann in Block 142 ein Fehler mindestens eines bei einer vorangegangenen Tätigkeit 2 verwendeten Betriebsmittels 6 diagnostiziert werden. Gemäß Block 137 kann geprüft werden, ob die Audioaufnahme 4 ungeplante

Zeiträume mit besonders niedrigem Geräuschpegel enthält. Gemäß Block 138 kann geprüft werden, ob die Ausführung einer Tätigkeit 2 besonders lange anhält. Ist mindestens eine dieser Bedingungen erfüllt (Wahrheitswert jeweils 1), kann gemäß Block 143 eine Ineffizienz bei der aktuellen Tätigkeit 2 diagnostiziert werden.

Figur 2 zeigt beispielhaft die Zusammensetzung eines Audiosignals 4 aus 14 Einzelgeräuschen 4a.1 bis 4a.14. Aufgetragen sind ohne Rücksicht auf unterschiedliche Frequenzbereiche jeweils die Amplituden der Geräusche 4a.1 bis 4a.14 als Funktionen der Zeit t. Eine derartige Vielfalt von Geräuschen muss nicht unbedingt nur von einer einzigen Arbeitsstelle auf der Baustelle la oder in der Industrieanlage lb kommen. Vielmehr ist es wahrscheinlich, dass sich an einem Ort, wo die Audioaufnahme 4 aufgenommen wird, Geräusche von mehreren Arbeitsstellen in der Nähe mischen. Figur 3 zeigt beispielhaft, wie anhand einer Audioaufnahme 4 eine Unterbrechung U in einem Arbeitsablauf erkannt werden kann. Aufgetragen ist die Amplitude als Funktion der Zeit t.

Zunächst wird eine vergleichsweise laute Tätigkeit 2.1 ausgeübt. Später werden weitere Tätigkeiten 2.2 und 2.3 ausgeübt, die jeweils andere Zeitverläufe der Amplitude haben, aber genau wie die Tätigkeit 2.1 zumindest vorübergehend zu hohen Ausschlägen der Amplitude führen. Die Unterbrechung U zeichnet sich durch einen längeren Zeitraum ohne hohe Ausschläge der Amplitude aus. Figur 4 zeigt ein Ausführungsbeispiel des Verfahrens 200 zum Trainieren eines Machine Leaming-Moduls. In Schritt 210 werden Lern-Audioaufnahmen 4' von einer Mehrzahl Baustellen la und/oder Industrieanlagen lb beschafft. In Schritt 220 werden diese Lern-Audioaufnahmen 4' mit Lern-Klassifikationen 5a', bzw. mit Lern- Werten 5b', annotiert. Auf diese Lern- Klassifikationen 5a', bzw. Lern-Werte 5b', soll das Machine Leaming-Modul im trainierten Zustand die Lern-Audioaufnahmen 4' abbilden. In Schritt 230 werden Parameter 10, die das Verhalten des Machine Learning-Moduls charakterisieren, mit dem Ziel optimiert, dass genau dieser Zustand erreicht wird. Die Parameter 10 werden also immer wieder geändert, und es wird jeweils anhand einer vorgegebenen Kostenfunktion 11 geprüft, ob die Lem- Klassifikationen 5a', bzw. Lern-Werte 5b', besser reproduziert werden. Ist ein vorgegebenes Abbruchkriterium erreicht, werden die fertig trainierten Parameter 10* ausgegeben. Bezugszeichenliste la Baustelle lb Industrieanlage 2 Tätigkeit

2.1-3 Einzeltätigkeiten

3 Schall 4 Audioaufnahme

4' Lem-Audioaufnahme

4a Geräusch in Audioaufnahme 4

4a.l-14 Einzelgeräusche

4b Vibration in Audioaufnahme 4 5a Klassifikation der Tätigkeit 2 5b Wert einer Kenngröße 6 Betriebsmittel, verwendet bei Tätigkeit 2

6a Blockierwunsch für Betriebsmittel 6

7a Nominalzustand der Baustelle la 7b Nominalzustand der Industrieanlage lb 7c Plan für Ausführung der Tätigkeit 1 8 Warneinrichtung

9 Messgröße

10 Parameter eines trainierbaren Moduls 10* trainierter Zustand der Parameter 10

11 Kostenfunktion 100 Verfahren zur Überwachung der Tätigkeit 2 110 Beschaffen der Audioaufnahme 4 120 Verarbeiten der Audioaufnahme 4 121 Identifizieren/Quantifizieren von Geräuschen 4a/Vibrationen 4b 122 Auswerten der Geräusche 4a/Vibrationen 4b

123 Verarbeitung mit Machine Learning-Modul

130 Abgleich mit Nominalzustand 7a, 7b, oder Plan 7c 130; Ergebnis des Abgleichs 130

131 Prüfung, ob richtige Tätigkeit 2 ausgeführt

132 Prüfung, ob Tätigkeit 2 am richtigen Ort ausgeführt

133 Prüfung, ob richtige Betriebsmittel 6 verwendet werden

134 Prüfung, ob Betriebsmittel 6 richtig gehandhabt werden

135 Prüfung, ob Problembehebung durchgeführt wird

136 Feststellung, dass Problembehebung durchgeführt wird

137 Prüfung auf Zeiträume mit niedrigem Geräuschpegel

138 Prüfung auf langanhaltende Tätigkeiten 2 140 Ermitteln der Schlussfolgerungen 140a- 140c Fehler in Tätigkeit 2 oder Betriebsmittel 6 Effizienz der Tätigkeit 2 Fortschritt der Tätigkeit 2

141 Diagnose eines Fehlers oder einer Ineffizienz in einer Tätigkeit 2

142 Diagnose eines Fehlers in einem Betriebsmittel 6

143 Diagnose einer Ineffizienz in der aktuellen Tätigkeit 2 150 Ansteuem der Warneinrichtung 8 160 Blockieren des Betriebsmittels 6 170 Auswerten der Messgröße 9 aus Audioaufnahme 4 200 Verfahren zum Trainieren 210 Beschaffen von Lern-Audioaufnahmen 4' 220 Annotieren mit Lern-Klassifikationen 5a', Lern-Werten 5b' 230 Optimieren der Parameter 10 nach Maßgabe der Kostenfunktion 11 U Unterbrechung im Arbeitsablauf t Zeit