Die Erfindung betrifft ein am Körper tragbares Gerät , insbesondere Handgerät , zur Visualisierung einer Distanz von einem Referenzobjekt mittels wenigstens einer Markierung, ein Verfahren zur Visualisierung einer Distanz von einem Referenzobjekt mittels wenigstens einer Markierung unter Verwendung eines am Körper tragbaren Geräts , insbesondere Handgeräts , ein Computerprogramm ( insbesondere App ) zur Durchführung des Verfahrens und ein Datensignal zur Übertragung des Computerprogramms .

Ein bevorzugter Einsatz zweck der Erfindung liegt auf dem Gebiet des Ballsports , insbesondere des Fußballspiels . Nachfolgende Erläuterungen gehen daher primär auf diese Anwendungsmöglichkeit der Erfindung ein . Die Erfindung ist allerdings für alle Anwendungen geeignet , bei denen es darauf ankommt , schnell und genau eine Distanz von einem Referenzobj ekt zu bestimmen und zu markieren .

Während eines Fußballspiels kann es aus verschiedenen Gründen erforderlich sein, eine genaue Distanz von einem Referenzobjekt in Form des Fußballs zu bestimmen .

Ein Beispiel stellt die Situation eines vom Schiedsrichter einer der beiden Mannschaften gewährten Freistoßes dar, bei welchem es der anderen Mannschaft gestattet ist , zur Abwehr eines Torerfolges des Freistoßschützes durch Aufstellen in einem bestimmten Mindestabstand zum Ball eine sogenannte „Mauer" zu bilden . Derzeit beträgt dieser Mindestabstand 9 , 15 Meter ( entspricht 10 yards ) . Im Fußball geht es um viel Geld und Standardsituationen wie der Freistoß werden immer relevanter, um enge Spiele zu entscheiden . Eine Unterstützung des Schiedsrichters zur möglichst objektiven und schnellen Bestimmung dieses Mindestabstands ist bereits seit langem Ziel der technischen Entwicklung.

So zeigt GB 2 401231 A ein Handgerät zur Messung der Distanz von einem bestimmten Punkt zu einem Referenzobjekt in Form eines Fußballes und zur Erkennung eines weiteren Objekts zwischen dem besagten Punkt und dem Referenzobjekt sowie einer Visualisierungsvorrichtung zur Visualisierung der durch die Distanzbestimmungsvorrichtung bestimmten Distanz.

Ähnliche Handgeräte gehen aus WO 2013 108 003 A1 und WO 2020 014 694 A1 hervor.

Problematisch am Stand der Technik ist die Tatsache, dass die Genauigkeit der durch das Handgerät bestimmten Distanz zum Referenzobjekt wesentlich von einer genauen Erfassung des Referenzobjekts durch einen Bediener des Handgeräts abhängt. Diese genaue Erfassung ist zum einen über die Distanz sehr problematisch, wenn man bedenkt, dass der Schiedsrichter dieses in der Hand hält und dabei sein Puls oftmals weit über dem Ruhepuls liegt. Wird das Referenzobjekt vom Bediener nicht genau erfasst, kann es mitunter zur Visualisierung einer falsch bestimmten Distanz kommen. Ebenso ist die Anwendung in der Praxis verhältnismäßig aufwändig, dauert zu lange und ist für den Bediener mühsam. Das Ergebnis der Messung ist also vom Bediener abhängig und daher subjektiv beeinflusst.

Aufgabe der Erfindung ist die Bereitstellung eines am Körper tragbaren Geräts, insbesondere Handgeräts, zur Visualisierung einer Distanz von einem Referenzobjekt mittels wenigstens einer Markierung und eines Verfahrens zur Visualisierung einer Distanz von einem Referenzobjekt mittels wenigstens einer Markierung unter Verwendung eines am Körper tragbaren Geräts, insbesondere Handgeräts, bei welchen eine rasche, genaue und objektive Bestimmung der Distanz zum Referenzobjekt möglich ist, welches in den Ablauf des Schiedsrichters einfach integriert werden kann.

Diese Aufgabe wird durch ein am Körper tragbares Gerät, insbesondere Handgerät, mit den Merkmalen des Anspruchs 1, ein Verfahren mit den Merkmalen des Anspruchs 13, ein Computerprogramm nach Anspruch 14 und ein Datensignal nach Anspruch 15 gelöst. Vorteilhafte Ausführungsformen der Erfindung werden anhand der abhängigen Ansprüche definiert.

Ein erfindungsgemäßes am Körper tragbares Gerät, insbesondere Handgerät, weist wenigstens auf:

- eine Bilderfassungseinrichtung zum Erfassen wenigstens eines Bildes des Referenzobjekts

- eine Objekterkennungseinrichtung, welche das Referenzobjekt im von der Bilderfassungseinrichtung erfassten wenigstens einen Bild selbsttätig identifiziert

- eine Distanzbestimmungsvorrichtung zur Bestimmung der Distanz in Bezug auf das von der Objekterkennungseinrichtung identifizierte Referenzobjekt

- eine Visualisierungsvorrichtung zur Visualisierung der durch die Distanzbestimmungsvorrichtung bestimmten Distanz mittels wenigstens einer Markierung in Abhängigkeit von der durch die Distanzbestimmungsvorrichtung bestimmten Distanz

Bei einem erfindungsgemäßen computerimplementierten Verfahren ist vorgesehen, dass

- wenigstens ein Bild des Referenzobjekts erfasst wird

- das Referenzobjekt im erfassten wenigstens einen Bild durch eine Objekterkennungseinrichtung selbsttätig identifiziert wird

- die Distanz in Bezug auf das von der Objekterkennungseinrichtung identifizierte Referenzobjekt bestimmt wird

- eine Visualisierung der durch die Distanzbestimmungsvorrichtung bestimmten Distanz mittels wenigstens einer Markierung erfolgt Bei der wenigstens einen Markierung kann es sich beispielsweise um eine auf den Boden projizierte Laserlinie und/oder um eine (virtuelle) Markierung auf einem Display handeln.

Der Einsatz einer Objekterkennungseinrichtung zum selbsttätigen Erfassen des Referenzobjekts und die Bestimmung der Distanz in Bezug auf das von der Objekterkennungseinrichtung identifizierte Referenzobjekt objektivieren die Messung der Distanz, weil es nun nicht mehr auf eine genaue Erfassung des Referenzobjekts durch den Bediener ankommt.

Grundsätzlich findet die Erfindung dort Anwendung, wo bei einer definierten Zieldistanz zu einem Referenzobjekt eine weitere Aktion stattfindet, z. B. die Bildung der oben erwähnten Mauer. Bevorzugt ist die definierte Zieldistanz editierbar.

Im Folgenden wird das am Körper tragbares Gerät der Einfachheit halber stets als „Handgerät" bezeichnet.

Der Bediener bewegt sich entweder vom Referenzobjekt weg oder zu diesem hin und richtet das Handgerät zur Entfernungsmessung auf das Referenzobjekt.

Bevorzugt ist vorgesehen, dass sich das Handgerät beim Einschalten in einem Dauermessmodus befindet, sodass eine Veränderung der Distanz durch die Bewegung des Bedieners live visualisiert, z. B. an einem Display abgelesen, werden kann z., B. in Form „xy cm to target" ..

Es kann vorgesehen sein, dass in Bezug auf eine vorgegebene oder vorgebbare Zieldistanz ein Toleranzbereich definiert ist. Befindet sich der Bediener im definierten Toleranzbereich, wird die Visualisierungsvorrichtung aktiv, z. B. schaltet wird als Markierung eine Laserlinie sichtbar oder eine virtuelle Markierung erscheint auf dem Display, welche die aktuelle Position des Handgeräts auf dem Boden markiert. Bevorzugt erhält der Bediener akustisch (Ton) und/oder visuell (Laserlinie blinkt, oder farbliche Darstellung auf dem Display) eine Information über die Nähe zur Zielentfernung. Ist die Zielentfernung erreicht, wird dies ebenfalls auf gleichem Wege signalisiert. Der Toleranzbereich lässt sich bevorzugt editieren.

Bei einem Ausführungsbeispiel der Erfindung ist vorgesehen, dass die Distanzbestimmungsvorrichtung wenigstens eine Laserdiode zur Abgabe von Lasersignalen und eine Empfangseinheit zum Empfang von vom Referenzobjekt reflektierter Lasersignale aufweist und die Distanzbestimmungsvorrichtung dazu konfiguriert ist, die Distanz zum Referenzobjekt durch eine Laufzeitmessung oder Laserinterferometrie zu bestimmen. Die Entfernung wird dabei durch Auftreffen eines Laserpunktes auf dem Referenzobjekt ermittelt.

Bei einem Ausführungsbeispiel der Erfindung ist vorgesehen, dass beim Einschalten des Handgeräts die Entfernungsmessung mittels Dauermessung erfolgt. Zur einfachen und objektiven Erfassung des Referenzobjektes ist das Handgerät mit einer Objekterkennungseinrichtung ausgestattet, welche das vorab trainierte und im Anwendungsfall wiederkehrende Referenzobjekt erkennt, erfasst und den Laserpunkt zur Entfernungsmessung auf das Referenzobjekt ausrichtet Wenn der Laser ein Raster abfährt, könnte hier auch die für das Objekt relevanten Entfernungen ausgewählt werden (das ist z.B. für die Solid State Sensoren der Fall). Eine Visualisierung erfolgt durch eine optische Markierung auf dem Boden mit Hilfe einer Laserdiode. Dabei wird bevorzugt der erzeugte Laserpunkt mit Hilfe einer Zylinderlinse auf eine Linie aufgefächert . Um die Sicherheit von in der Nähe stehenden Personen nicht zu gefährden, kann bei einem Ausführungsbeispiel der Erfindung vorgesehen sein, dass die Laserdiode nur dann eine Laserlinie projiziert, wenn sie in einem vorbestimmten Winkel (z. B. von etwa 4° bis etwa 10°) gehalten wird und somit sichergestellt ist, dass die Laserlinie auf den Boden zeigt.

In einer anderen Ausführungsform kann vorgesehen sein, dass die Laserlinie in einem Bereich von 90° schwenkbar angeordnet ist, sodass sie die Position einer vorbestimmten Zieldistanz bereits während der Bewegung des Bedieners anzeigt. Dabei bleibt die Laserlinie am Boden fixiert - nur der Bediener bewegt sich.

Es kann vorgesehen sein, dass sich das Handgerät nach einer vorgegebenen Zeit, z. B. eine Minute nach dem Einschalten automatisch wieder ausschaltet.

Grundsätzlich kann das Handgerät in Form eines eigenständigen Geräts ausgebildet sein, welches alle für den Betrieb erforderlichen Vorrichtungen in einem gemeinsamen Gehäuse integriert .

Es kann aber auch vorgesehen sein, dass das Handgerät in Form eines mittels des Computerprogramms (z. B. einer App) konfigurierten Smartphones, Tablets oder einer Augmented-Reality-Einrichtung (z. B. in Form einer Brille) ausgebildet ist. Eine an sich nicht bei einem solchen Gerät vorhandene Vorrichtung, wie beispielsweise die erwähnte Laserdiode, eine weiter unten diskutierte LIDAR-Anordnung oder eine Halterung für einen Markierspray kann in Form eines Aufsatzes bereitgestellt werden.

Die Bilderfassungseinrichtung kann auf unterschiedliche Weise funktionieren. Sie kann beispielsweise eine optische Kamera und/oder einen LIDAR-Sensor aufweisen. Entwicklungen im Bereich LIDAR nehmen zu. Vor allem getrieben von der Fahrzeugindustrie finden sie immer mehr Einsatz in Messsystemen. Zum Einsatz kommen dabei unter anderem sogenannte Solid State Sensoren. Als Beispiele dazu lassen sich die Lidar Sensoren „Velabit" oder „Velarray" von Velodyne oder „OS0" von Ouster nennen. Entfernungsbildsysteme, bei denen LIDAR Sensoren in Smartphones und Tablets integriert werden, sind aktuell schon in den neuesten Generationen verfügbar.

Im nachfolgenden werden unterschiedlichen Funktionsweisen anhand eines mittels des Computerprogramms (App) konfigurierten Smartphones erläutert, welches über die App ein Live-Kamerabild anzeigt, dessen Inhalte analysiert, ausgewertet und visualisiert werden. Dies ist jedoch nicht einschränkend zu verstehen, denn es kann vorgesehen sein, dass ein nur für diesen Anwendungszweck zu verwendendes Handgerät bereitgestellt wird.

Weist die Bilderfassungseinrichtung wenigstens eine optische Kamera auf und ist sie zur Aufnahme wenigstens eines Farbbildes und eines Entfernungsbildes konfiguriert, können (beispielhaft anhand einer zu bildenden Mauer in einer Freistoßsituation) folgender Ablauf und folgende Funktionsweise vorgesehen sein:

Ablauf:

- Der Schiedsrichter hat sich mehr als 9,15 Meter vom Ball entfernt und hält die Kamera des Smartphone in Richtung Ball - Ball samt Abstand von 9,15m müssen im Blickfeld der Kamera sein.

- Linie wird visuell angezeigt (Kamerabild oder Laserlinie am Boden) und optional erfolgt ein Vibrationssignal, da man ein akustisches Signal im Stadion eventuell nicht hört.

- Schiedsrichter merkt sich die Position der Linie anhand einer Grasnarbe oder durch Abstellen des Fußes mit der Fußspitze.

- Schiedsrichter markiert dort die Position der Mauer. Funktionsweise:

Die Aufzeichnung und Analyse der Bilder und Tiefeninformationen erfolgt pro Frame, was die Anzahl Bilder pro Sekunde beschreibt. Handelsübliche Smartphones der gehobenen Kategorie erzeugen z. B. 60 Bilder pro Sekunde. Entfernungsbilder und Farbbilder werden dabei möglichst gleichzeitig aufgenommen. In vielen Fällen stellen die Devicehersteller bereits

Softwareschnittstellen zur Verfügung, die direkt kolorisierte Tiefenbilder liefern.

- Anschließend wird der Ball durch die Objekterkennungseinrichtung im Farbbild detektiert, was z. B. mittels maschinellem Lernen (z. B. KI basierte Segmentierung und Klassifizierung) durchgeführt werden kann.

Im Anschluss werden alle für das Objekt relevanten 3D Punkte im Tiefenbild bestimmt. Hierfür wird jeder Tiefenpunkt mit Hilfe einer Transformation in das 2D Pixelkoordinatensystem der Farbkamera transformiert. 3D Punkte, die in den Bereich des Balles im 2D Farbbild fallen, sind dann entsprechende 3D Punkte des Balles. Dies erfolgt durch Transformation der einzelnen 3D Punkte in Pixelpunkte. Hierfür werden, wenn notwendig, die Kalibrierungsparameter des Kamerasystems herangezogen.

- Es kann vorgesehen sein, dass eine Plausibilitätsprüfung der Punkte in Nachbarschaft in Bezug auf einen definierten Range (z. B. nearest neigbour - statistische Auswertung) erfolgt, z. B. unter Verwendung eines Outlier Filters.

- Mithilfe der Mittelung der Entfernungspunkte bzw. mit Hilfe von statistischer Auswertung kann nun der Abstand von Smartphone zum Ball ermittelt werden.

- Referenzlinie wird am Boden (falls ein entsprechender Aufsatz vorhanden ist) und/oder am Smartphone angezeigt.

Bei einer Variante ist die Verwendung von Multiframes vorgesehen, d. h. es werden als Ausgangsgröße mehrere Frames herangezogen, deren Ergebnis gemittelt wird. Diese Variante ist dann vorteilhat, wenn die Datenqualität der Hardware (z. B. Lidar Sensor) nicht ausreichend ist. Die einzelnen Frames müssen in diesem Fall zeitnah, z. B. innerhalb einer Sekunde, aufgenommen werden und übereinander gelegt aufeinander liegen.

Bei einer weiteren Variante erfolgt ein sogenannter „Trajectory Ansatz". Voraussetzung ist eine Hardware, die Informationen hinsichtlich Ausrichtung und Bewegung liefert. Handelsübliche Tablets der gehobenen Kategorie sind entsprechend ausgestattet. Ein solches Gerät erfasst diese Informationen und übermittelt somit Position- und Orientierungsinformation - Trajectory / Pose. Pose ist die aktuelle eigene Position und Orientierung des Gerätes zu jedem Zeitpunkt im Raum.

Ablauf bei dieser Variante:

- Der Schiedsrichter befindet sich in der Nähe des Balls und hält die Kamera des Smartphones/Tablets in Richtung Ball.

- Schiedsrichter entfernt sich von Ball - Smartphone/Tablet zeigt schräg nach vorne oder auf den Boden.

- Sobald die Kamera in den Abstandsbereich blickt, wird die Referenzlinie angezeigt.

- Referenzlinie bleibt trotz Bewegung des Schiedsrichters immer auf der gewünschten Position.

- Schiedsrichter nähert sich exakt der eingeblendeten Referenzlinie und markiert dort die Position der Mauer.

Funktionsweise dieser Variante:

- Sobald die Kamera den Ball erfasst, wird dessen Position im Koordinatensystem (3D Koordinaten) erkannt.

- Die Entfernungsbestimmung erfolgt gleich wie in einer der vorgenannten Varianten. - Zusätzlich werden Informationen zur 3D Position des Balles im Entfernungsbild und die aktuelle Geräte-Pose erfasst.

- Es erfolgt die unmittelbare Berechnung der aktuellen Position und relative Anzeige zur Position des Balles.

- Anhand der ermittelten relativen Position zum Ball wird die Referenzlinie angezeigt.

Bei einer weiteren Variante erfolgt eine Generierung imagebasierter 3D Daten: Durch die Fotokamera im Dauermodus aufgenommenen Farbbilder werden mittels Bildverarbeitung aufbereitet und ausgewertet. Mit Hilfe von „structure for motion" werden aus den Bildern 3D Informationen durch Überlappung versetzter Bilder gewonnen.

Da der relevante Parameter, der Öffnungswinkel der Kamera, bekannt ist, besteht die Möglichkeit durch die Objekterkennungseinrichtung eine automatische Objekterkennung der folgenden Form zu nutzen. Der Ball, dessen Form und Größe vorab gelernt oder hinterlegt wurden, wird als solcher erkannt und die Distanz zu diesem über die lineare Größenänderung ermittelt.

Eine andere Möglichkeit der Ermittlung der Entfernung ist die Berechnung der Trajectory über Bildpunkte zur Bestimmung der Entfernung anhand von fixen Bildstrukturen (good feature to track) oder durch Triangulierung.

Für alle Varianten gilt:

Nachdem der Ball erfasst, seine Position definiert und die Entfernung zur aktuellen Position bestimmt wurde, soll dem Schiedsrichter die exakte Position der Mauer in 9,15 Meter Abstand zum Ball angezeigt werden. Dies kann bei Verwendung eines Smartphones, eines Tablets oder einer AR-Brille beispielsweise durch zwei Arten erfolgen: Visualisierung Möglichkeit 1: Smartphone plus App plus Aufsatz Linienlaser

Entfernungsmessung gemäß eine der vorgenannten Varianten. Die Linie im Abstand wird über einen Aufsatz erzeugt. Der Aufsatz wird über die jeweiligen mechanischen Schnittstellen Micro-USB, USB-C, Lightning Buchse oder ähnliches mit dem Smartphone verbunden. Im Aufsatz ist wenigstens eine Laserdiode platziert, welche ggf. unter Verwendung einer Zylinderlinse zur Abgabe einer Markierung am Boden in Form einer Laserlinie ausbildet ist.

Visualisierung Möglichkeit 2: Smartphone plus App plus Projizierung einer virtuellen Linie ins Live-Kamerabild

Entfernungsmessung gemäß eine der vorgenannten Varianten. Es wird eine virtuelle Linie, die den definierten Abstand zu Ball anzeigt, in das Live-Kamerabild projiziert. Dabei wird der Bereich um den Ball herum aus dem Tiefenbild extrahiert und als die Referenzfläche angenommen um dann die virtuelle Linie als Markierung im 3D Bild zu berechnen und über extrinsik und intrinsic ins Farbbild zu projizieren. Ist der Abstand des Schiedsrichters zum Ball noch zu gering, um die Linie ins Sichtfeld kommen zu lassen, so wird er durch Informationen auf dem Display entsprechend navigiert.

Ausführungsformen der Erfindung werden anhand der Figuren 1 bis 8 diskutiert .

Figur 1 zeigt den Einsatz eines Handgeräts 1, zur Visualisierung einer Distanz von einem Referenzobjekt 2 in Form eines Fußballes mittels wenigstens einer Markierung 3.

Im Ausführungsbeispiel der Figuren 2 und 3 sind in einem gemeinsamen Gehäuse 4 vorgesehen: - eine Bilderfassungseinrichtung (Empfangseinheit 9) zum Erfassen wenigstens eines Bildes des Referenzobjekts 2 mit einer optischen Kamera

- eine Objekterkennungseinrichtung, welche das Referenzobjekt im von der Bilderfassungseinrichtung erfassten wenigstens einen Bild selbsttätig identifiziert, diese ist in der Auswerteeinheit 10 ausgebildet

- eine Distanzbestimmungsvorrichtung zur Bestimmung der Distanz in Bezug auf das von der Objekterkennungseinrichtung identifizierte Referenzobjekt, diese wird durch eine der Laserlichtquellen 6, die Sendeoptik 7, eine Empfangseinheit 9 zum Empfang reflektierter Lasersignale 8 und die Auswerteeinheit 10 gebildet

- eine Visualisierungsvorrichtung zur Visualisierung der durch die Distanzbestimmungsvorrichtung bestimmten Distanz mittels einer Referenzliniel9, welche von der Laserlichtquelle 6 in Verbindung mit der Zylinderlinse 13 erzeugt wird

Über das Bedienfeld 11 können eine Zieldistanz und ein Toleranzbereich eingegeben oder editiert werden.

Figur 4 zeigt eine Variante unter Verwendung eines Farbbildes und eines Entfernungsbildsystems pro Frame wie oben beschrieben.

Figur 5 zeigt eine Variante unter Verwendung eines Trajectory- Ansatzes wie oben beschrieben.

Figur 6 zeigt eine Variante unter Verwendung eines Smartphones 14 mit Projektion einer virtuellen Referenzlinie 19 in einem Live- Kamerabild wie oben beschrieben. Erkennbar sind sowohl das Referenzobjekt 2 in Form des realen Fußballes als auch der Ball 17 im Live-Bild auf dem Display 12 des Smartphones. Figuren 7a und 7b zeigen eine Variante unter Verwendung eines Smartphones 14 und eines Aufsatzes 15 zur Kontaktierung mittels einer mechanischen Schnittstelle 16 zur Erzeugung einer Referenzlinie 19 am Boden in Form einer Laserlinie.

BezugsZeichen:

1 Handgerät

2 Referenzobjekt

3 Markierung

4 Gehäuse

5 Gehäuseöffnung

6 Laserlichtquelle

7 Sendeoptik

8 reflektierte Lasersignale

9 Empfangseinheit

10 Auswerteeinheit

11 Bedienfeld

12 Display

13 Zylinderlinse

14 Smartphone

15 Aufsatz

16 mechanische Schnittstelle

17 Referenzobjekt in Live-Bild auf Display

18 Abstandsanzeige

19 Referenzlinie