Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR GENERATING THREE-DIMENSIONAL TRAINING DATA FOR A DETECTION DEVICE FOR DETECTING THREAT OBJECTS IN LUGGAGE ITEMS
Document Type and Number:
WIPO Patent Application WO/2022/194749
Kind Code:
A1
Abstract:
The invention relates to a method for generating three-dimensional training data for a detection device (100) for detecting threat objects (AO) in luggage items (G), having the following steps: - providing an object image (OA) of an isolated threat object (AO), - providing a luggage item image (GA) of a luggage item (G), - combining the luggage item image (GA) and the object image (OA) in order to form a combination image (KA), and - generating a three-dimensional combination volume (KV) from the combination image (KA).

Inventors:
HEILMANN GEERT (DE)
FISCHER PHILIPP (DE)
RAZAVI MOHAMMAD (DE)
Application Number:
PCT/EP2022/056479
Publication Date:
September 22, 2022
Filing Date:
March 14, 2022
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SMITHS DETECTION GERMANY GMBH (DE)
International Classes:
G06V10/774; G06V20/52
Foreign References:
US20190369034A12019-12-05
DE102014109214A12016-01-07
Other References:
NAJLA MEGHERBI ET AL: "Radon transform based automatic metal artefacts generation for 3D threat image projection", PROCEEDINGS OF SPIE, vol. 8901, 16 October 2013 (2013-10-16), US, pages 89010B, XP055224962, ISBN: 978-1-62841-730-2, DOI: 10.1117/12.2028506
Attorney, Agent or Firm:
MATHYS & SQUIRE EUROPE PATENTANWÄLTE PARTNERSCHAFT MBB (DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren zum Erzeugen von dreidimensionalen Trainingsdaten für eine Erkennungsvorrichtung (100) zur Erkennung von Alarmobjekten (AO) in Gepäckstücken (G), aufweisend die folgenden Schritte:

- Zurverfügungstellen einer Objektaufnahme (OA) eines freigestellten Alarmobjektes (AO),

- Zurverfügungstellen einer Gepäckaufnahme (GA) eines Gepäckstückes (G),

- Kombinieren der Gepäckaufnahme (GA) und der Objektaufnahme (OA) zu einer Kombinationsaufnahme (KA),

- Erzeugen eines dreidimensionalen Kombinationsvolumens (KV) aus der Kombinationsaufnahme (KA).

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Objektaufnahme (OA) und/oder die Gepäckaufnahme (GA) einzelne Aufnahmeabschnitte, insbesondere ein Sinogramm, aufweisen.

3. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Objektaufnahme (OA) und die Gepäckaufnahme (GA) in gleicher oder im Wesentlichen gleicher Form, insbesondere in Form von Sinogrammen, zur Verfügung gestellt werden.

4. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass bei der Gepäckaufnahme (GA) eine Erkennung der Grenzen des Gepäckstückes (G) durchgeführt wird, wobei anschließend die Objektaufnahme (OA) mit dem Alarmobjekt (AO) innerhalb der erkannten Grenzen des Gepäckstückes (G) mit der Gepäckaufnahme (GA) kombiniert wird.

5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass bei der Gepäckaufnahme (GA) eine Erkennung von Freiräumen innerhalb des Gepäckstückes (G) durchgeführt wird, wobei anschließend die Objektaufnahme (OA) mit dem Alarmobjekt (AO) innerhalb des erkannten Freiraums mit der Gepäckaufnahme (GA) kombiniert wird.

6. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Alarmobjekt (AO) relativ zum Gepäckstück (G) positioniert wird indem die Objektaufnahme (OA) zeitlich versetzt wird.

7. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass bei der Kombinationsaufnahme (KA) eine Erkennung von Bereichen einer Materialdichte oberhalb eines vorgegebenen Grenzwertes durchgeführt wird, wobei bei der Erzeugung des dreidimensionalen Kombinationsvolumens (KV) die Bereiche mit einer Materialdichte oberhalb des Grenzwertes mit einem Anpassungsfaktor kombiniert werden.

8. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Objektaufnahme (OA) und/oder die Gepäckaufnahme (GA) aus einer Aufnahmendatenbank (22) ausgewählt werden.

9. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass zumindest die Schritte des Zurverfügungsteilens der Objektaufnahme (OA) und der Gepäckaufnahme (GA), des Kombinierens der Objektaufnahme (OA) mit der Gepäckaufnahme (GA) und der Erzeugung des dreidimensionalen Kombinationsvolumens (KV) mehrfach durchgeführt werden.

10. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Gepäckaufnahme (GA) in einer Erkennungsvorrichtung (100) an einem realen Gepäckstück (G) erzeugt wird.

11. Erzeugungsvorrichtung (10) zum Erzeugen von dreidimensionalen

Trainingsdaten für eine Erkennungsvorrichtung (100) zur Erkennung von Alarmobjekten (AO) in Gepäckstücken (G), aufweisend ein Aufnahmenmodul (20) für ein Zur Verfügung stellen einer Objektaufnahme (OA) eines freigestellten Alarmobjektes (AO) und ein Zur Verfügung stellen einer Gepäckaufnahme (GA) eines Gepäckstückes (G), weiter aufweisend ein Kombinationsmodul (30) zum Kombinieren der Gepäckaufnahme (GA) und der Objektaufnahme (OA) zu einer Kombinationsaufnahme (KA) und ein Erzeugungsmodul (40) zum Erzeugen eines dreidimensionalen Kombinationsvolumens (KV) aus der Kombinationsaufnahme (KA).

12. Erzeugungsvorrichtung (10) nach Anspruch 11 , dadurch gekennzeichnet, dass das Aufnahmenmodul (20), das Kombinationsmodul (30) und/oder das Erzeugungsmodul (40) für die Ausführung eines Verfahrens mit den Merkmalen eines der Ansprüche 1 bis 10 ausgebildet ist.

13. Erzeugungsvorrichtung (10) nach einem der Ansprüche 11 oder 12, dadurch gekennzeichnet, dass das Aufnahmenmodul (20) eine Aufnahmendatenbank (22) aufweist, in welcher eine Vielzahl von Objektaufnahmen (OA) und/oder von Gepäckaufnahmen (GA) gespeichert sind.

14. Computerprogrammprodukt umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen die Schritte eines Verfahrens mit den Merkmalen eines der Ansprüche 1 bis 10 durchzuführen.

Description:
VERFAHREN ZUM ERZEUGEN VON DREIDIMENSIONALEN TRAININGSDATEN FÜR EINE ERKENNUNGSVORRICHTUNG ZUM ERKENNEN VON ALARMOBJEKTEN IN GEPÄCKSTÜCKEN

Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen von dreidimensionalen Trainingsdaten für eine Erkennungsvorrichtung zum Erkennen von Alarmobjekten in Gepäckstücken, eine Erzeugungsvorrichtung zum Durchführen eines solchen Verfahrens sowie ein entsprechendes Com puterprogramm produkt.

Es ist bekannt, dass sogenannte neuronale Netzwerke als künstliche Intelligenz (Kl) trainiert werden müssen, um die gewünschten Erkennungsfunktionen zur Verfügung zu stellen. Um ein neuronales Netzwerk zu trainieren ist eine große Anzahl von sogenannten gelabelten, also markierten, Trainingsdaten erforderlich. Weiter ist es auch bekannt, dass bei der Erkennung von Alarmobjekten in Gepäckstücken solche trainierten neuronalen Netze eingesetzt werden sollen. Weiter ist es bekannt, dass Trainingsdaten in Form von Trainingsbildern dem Bedienpersonal an Sicherheitsschleusen in den täglichen Kontrollablauf integriert werden, um das Bedienpersonal zu prüfen und die Aufmerksamkeit hoch zu halten.

Problematisch bei den bekannten Lösungen ist es, eine hohe und signifikante Anzahl von Trainingsdaten zur Verfügung zu stellen. Dies ist üblicherweise nur der Fall, bei zweidimensionalen Trainingsdaten. Um eine hohe Anzahl von Trainingsdaten zur Verfügung zu stellen, ist es bekannt, diese generisch zu erzeugen. Dies funktioniert grundsätzlich bei zweidimensionalen Trainingsdaten relativ gut. Werden jedoch dreidimensionale Trainingsdaten generisch erzeugt, insbesondere durch die Kombination von freigestellten Objekten mit realen Gepäckaufnahmen, so führt dies in der Kombination zu unrealistischen dreidimensionalen Kombinationsvolumen, welche für ein Training eines neuronalen Netzwerks und/oder die Überprüfung des Bedienpersonals an einer Sicherheitsschleuse nicht geeignet sind. Dies beruht insbesondere auf der Tatsache, dass entsprechende optische Artefakte, wie sie bei der realen Erkennung von Objekten in einer dreidimensionalen Objektaufnahme entstehen würden, bei der bekannten generischen Erzeugung nicht zur Verfügung gestellt werden. Damit ist es bisher nicht möglich dreidimensionale Trainingsdaten für neuronale Netzwerke in einer Qualität zur Verfügung zu stellen, die so realitätsnah ist, dass ein vernünftiges und zielgerichtetes Training der neuronalen Netzwerke und/oder die Kontrolle des Bedienpersonals möglich ist. Wie bereits erläutert, ist es neben einem Training von neuronalen Netzwerken bisher auch bekannt, manuelle Trainingsdaten zu erzeugen, welche im laufenden Betrieb am Sicherungsband eines Flughafens eingesetzt werden, um das aktuell aktive Betriebspersonal zu prüfen und zu kontrollieren, ob ein Alarmobjekt erkannt werden würde. Die bekannten Lösungen erlauben es, zweidimensionale Objekte in eine zweidimensionale Kombinationsaufnahme zu integrieren und auf diese Weise eine virtuelle Alarmsituation für das Bedienpersonal zu schaffen. Bei dreidimensionalen Überwachungslösungen ist dies bisher nicht möglich, da die Realitätstreue solcher virtueller Alarmsituationen nicht ausreicht, um von dem Bedienpersonal an einer Sicherheitsschleuse als realistisch wahrgenommen zu werden.

Es ist Aufgabe der vorliegenden Erfindung, die voranstehend beschriebenen Nachteile zu beheben. Insbesondere ist es Aufgabe der vorliegenden Erfindung in kostengünstiger und einfacher Weise Trainingsdaten in automatischer Weise mit hoher Qualität und/oder realistischer Darstellung zu erzeugen.

Die voranstehende Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1 , eine Erzeugungsvorrichtung mit den Merkmalen des Anspruchs 11 sowie ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 14.

Weitere Merkmale und Details der Erfindung ergeben sich aus den Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten Merkmale und Details, die im Zusammenhang mit dem erfindungsgemäßen Verfahren erläutert sind, selbstverständlich auch im Zusammenhang mit der erfindungsgemäßen Erzeugungsvorrichtung sowie dem erfindungsgemäßen Computerprogrammprodukt und jeweils umgekehrt, sodass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird beziehungsweise werden kann.

Erfindungsgemäß ist ein Verfahren zum Erzeugen von dreidimensionalen Trainingsdaten für eine Erkennungsvorrichtung zur Erkennung von Alarmobjekten in Gepäckstücken ausgestattet. Hierfür weist das Verfahren die folgenden Schritte auf:

Zurverfügungstellen einer Objektaufnahme eines freigestellten

Alarmobjekts,

Zurverfügungstellen einer Gepäckaufnahme eines Gepäckstücks, Kombinieren der Gepäckaufnahme und der Objektaufnahme zu einer

Kombinationsaufnahme,

Erzeugen eines dreidimensionalen Kombinationsvolumens aus der

Kombinationsaufnahme.

Ein erfindungsgemäßes Verfahren basiert auf der grundsätzlichen Vorgehensweise bei einer Erkennungsvorrichtung im Einsatz an einer Sicherheitsschleuse. So werden dort häufig Überprüfungsaufnahmen zur Verfügung gestellt, welche zum Beispiel durch ein rotierendes Erfassungsmodul erzeugt werden. Werden beispielsweise elektromagnetische Strahlen eingesetzt, können diese von einem Emitter zu einem mitrotierenden Detektor gesendet werden, sodass rotierende Überprüfungsbilder entstehen. Diese Überprüfungsbilder in der Bildebene werden anschließend algorithmisch in ein dreidimensionales Überprüfungsvolumen umgewandelt, sodass die entsprechende Auswertung und/oder Anzeige für das Bedienpersonal an einer Sicherheitsschleuse in dreidimensionaler Weise erfolgen kann.

Im Rahmen der vorliegenden Erfindung handelt es sich bei der Überprüfungsaufnahme, der Objektaufnahme, bei der Gepäckaufnahme und/oder bei der Kombinationsaufnahme insbesondere um eine Kombination aus mehreren Transmissionsaufnahmen. Diese einzelnen Transmissionsaufnahmen können entweder eindimensional oder auch zweidimensional sein.

Erfindungsgemäß wird nun die Kombination eines Gepäckstücks mit einem Alarmobjekt auf der zweidimensionalen Ebene durchgeführt. Um dies zu ermöglichen, sind zwei Ausgangsinformationen notwendig. Dabei handelt es sich zum einen, um eine Objektaufnahme eines freigestellten Alarmobjekts. So ist es grundsätzlich denkbar, zum Beispiel in Form einer Datenbank, eine Vielzahl von solchen Objektaufnahmen zur Verfügung zu stellen. Ein Aufnehmen einer solchen Objektaufnahme eines freigestellten Alarmobjekts ist beispielsweise dadurch möglich, dass das Alarmobjekt einzeln, also unabhängig von einem Gepäckstück, mit einem entsprechenden Erfassungsmodul aufgenommen wird. Dies kann für verschiedene Orientierungen eines Alarmobjekts, aber auch für unterschiedliche Alarmobjekte der Fall sein. Alarmobjekte können zum Beispiel unerwünschte Materialen, zum Beispiel Sprengstoff, aber auch unerwünschte Objekte, zum Beispiel in Form von Waffen, sein. Neben der ersten Basisinformation in Form der Objektaufnahme ist als zweite Basisinformation eine Gepäckaufnahme notwendig. Dabei ist es für die Funktionalität eines erfindungsgemäßen Verfahrens unerheblich, ob diese Gepäckaufnahme ebenfalls aus einer Datenbank zur Verfügung gestellt wird oder aber im laufenden Betrieb an einer Sicherheitsschleuse ein aktuell real in der Sicherheitsschleuse geprüftes Gepäckstück dargestellt. Auch hier kann eine Datenbank einfach und kostengünstig eine Vielzahl von Aufnahmen unterschiedlicher Gepäckstücke zur Verfügung gestellt werden.

Erfindungsgemäß wird nun in einem anschließenden Schritt eine Kombination der Objektaufnahme und der Gepäckaufnahme auf zweidimensionale Ebene zur Verfügung gestellt. Diese Kombination ist grundsätzlich durch das Übereinanderlegen der Objektaufnahme und der Gepäckaufnahme erzielbar. So können beispielsweise bei der Verwendung elektromagnetischer Strahlung die einzelnen entsprechenden Pixelinformationen, welche auf Basis von physikalischen Rahmenbedingungen durch die Absorption der entsprechenden Objekte beziehungsweise Inhalte eines Gepäckstücks entstehen, übereinandergelegt werden. So können Farbinformationen, aber auch Flelligkeitsinformationen, zum Beispiel in Form eines Material-Lumineszenz-Bildes, für die Objektaufnahme und für die Gepäckaufnahme in der Kombinationsaufnahme integriert werden.

Im Ergebnis dieses Kombinationsschrittes steht eine Kombinationsaufnahme, welche die Objektaufnahme in die Gepäckaufnahme integriert hat. Diese Kombinationsaufnahme entspricht dabei einer real durchgeführten Aufnahme in einer Sicherheitsschleuse, bei welchem in einem Gepäckstück ein solches Objekt aufgenommen ist. Ähnlich einer realen Situation an einer Sicherheitsschleuse wird nun diese Kombinationsaufnahme einem Erzeugungsschritt unterzogen, weicher ein dreidimensionales Kombinationsvolumen erzeugt. Dieses dreidimensionale Kombinationsvolumen wird nun auf Basis einer realitätsnahen Kombinationsaufnahme erzeugt, sodass die bei der Erzeugung der dreidimensionalen Kombinationsvolumens entstehenden optischen Artefakte und Defekte in gleicher Weise entstehen, wie sie bei einem realen Objekt in einem realen Gepäckstück entstehen würden.

Basierend auf der voranstehenden Erläuterung wird ersichtlich, dass durch den erfindungsgemäßen Kerngedanken die Realitätstreue beim Erzeugungsschritt des dreidimensionalen Kombinationsvolumens deutlich erhöht wird. Insbesondere wird es auf diese Weise möglich, dreidimensionale Kombinationsvolumen zur Verfügung zu stellen, welche anschließend die dreidimensionalen Trainingsdaten ausbilden können. Dabei ist es in einem ersten Schritt unerheblich, ob das dreidimensionale Kombinationsvolumen ein einzelnes dreidimensionales Trainingsdatum für den Einsatz einer Sicherheitsschleuse zur Kontrolle des Bedienpersonals ist oder aber in einer großen Anzahl zum automatisierten Training eines neuronalen Netzwerks eingesetzt werden soll.

Erfindungsgemäß wird es auf diese Weise also möglich, mit hoher Realitätsnähe Trainingsdaten in dreidimensionaler Weise zur Verfügung zu stellen, da der Schritt des Erzeugens des dreidimensionalen Kombinationsvolumens auf ähnliche Weise durchgeführt wird wie bei einer realen Erkennungssituation. Im Gegensatz zu den bekannten Lösungen kann auf diese Weise einfach, kostengünstig und schnell eine Erzeugung einzelner, aber auch einer Vielzahl dreidimensionaler Trainingsdaten zur Verfügung gestellt werden. Die dreidimensionalen Trainingsdaten sind dabei eine Kombination von Voxeln in dem entsprechenden Kombinationsvolumen, welches anschließend, zum Beispiel als Überprüfungsvolumen, entsprechenden Auswertschritten zur Verfügung gestellt werden kann.

Es kann Vorteile mit sich bringen, wenn bei einem erfindungsgemäßen Verfahren die Objektaufnahme und/oder die Gepäckaufnahme einzelne Aufnahmeabschnitte, insbesondere ein Sinogramm, aufweisen. Bevorzugt sind diese einzelnen Aufnahmeabschnitte der Objektaufnahme und/oder der Gepäckaufnahme auch in einer entsprechend zugrundeliegenden Datenbank der Aufnahmen angeordnet. Als einzelne Aufnahmeabschnitte können Videosequenzen, abschnittsweise zur Verfügung gestellte Bilder oder Frames von entsprechenden Aufnahmen möglich sein. Dies erlaubt es eine einfache und vor allem auch in bekannter Weise durchgeführte Erzeugung der Objektaufnahmen und der Gepäckaufnahmen durchzuführen. Auch ist es möglich auf bereits vorhandene Gepäckaufnahmen und/oder Objektaufnahmen zurückzugreifen, welche mit einem erfindungsgemäßen Verfahren der Erzeugung von dreidimensionalen Trainingsdaten zugrunde gelegt werden können.

Ebenfalls vorteilhaft ist es, wenn bei einem erfindungsgemäßen Verfahren die Objektaufnahme und die Gepäckaufnahme in gleicher oder in wesentlicher gleicher Form, insbesondere in Form von Sinogrammen, zur Verfügung gestellt werden. Die Identität der Form der Objektaufnahme und der Gepäckaufnahme führt dazu, dass die Kombination zur Kombinationsaufnahme noch leichter erfolgen kann. Insbesondere ist es auf diese Weise unnötig eine Anpassung beziehungsweise Korrelation unterschiedlicher Formen von Objektaufnahme und Gepäckaufnahme durchzuführen. In einfachster Weise kann eine mathematische Addition zwischen Objektaufnahme und Gepäckaufnahme zur Verfügung gestellt werden. Unter einem Sinogramm ist dabei die Verwendung elektromagnetischer Strahlung zu verstehen, welche zum Beispiel durch Computertomographie die gewünschte Objektaufnahme und die gewünschte Gepäckaufnahme zur Verfügung stellt. Auch hier ist nochmals darauf hinzuweisen, dass mit Hilfe einer Rotation einer entsprechenden Erfassungsvorrichtung einzelne Frames, Bilder, aber auch Videosequenzen zur Verfügung stellbar sind. Objektaufnahme und Gepäckaufnahme sind dabei, wie bereits erläutert worden ist, eine Reihe von eindimensionalen und/oder zweidimensionalen Daten.

Weitere Vorteile kann es mit sich bringen, wenn bei einem erfindungsgemäßen Verfahren bei der Gepäckaufnahme eine Erkennung der Grenzen des Gepäckstücks durchgeführt wird, wobei anschließend die Objektaufnahme mit dem Alarmobjekt innerhalb der erkannten Grenzen des Gepäckstücks mit der Gepäckaufnahme kombiniert wird. Während es ein grundsätzlicher Kerngedanke der vorliegenden Erfindung ist, das Alarmobjekt in dem Gepäckstück zu platzieren, wird durch diese Ausführungsform sichergestellt, dass sich das Alarmobjekt auch tatsächlich optisch innerhalb der Grenzen des Gepäckstücks befindet. Mit anderen Worten wird das erfindungsgemäße Verfahren hier dadurch verbessert, dass eine definierte Relativpositionierung des Alarmobjekts zum Gepäckstück durchgeführt wird. Beispielsweise ist es möglich durch Dichtesprünge der einzelnen benachbarten Voxel beziehungsweise der einzelnen benachbarten Pixel der Gepäckaufnahme zu erkennen, wo die Grenze des jeweiligen Gepäckstücks liegt. Sobald diese Grenze bestimmt worden ist, kann das Alarmobjekt in der gewünschten Weise relativ zum Gepäckstück innerhalb desselben platziert werden, sodass unrealistische Kombinationsaufnahmen beziehungsweise damit auch unrealistische Kombinationsvolumen vermieden werden, bei welchen das Alarmobjekt außerhalb der Grenzen des Gepäckstücks oder sogar eine solche Grenze überschreitend, angeordnet wären. Die Realitätsnähe und die Sicherheit kann auf diese Weise noch weiter mit dieser Ausführungsform erhöht werden. Um eine solche Relativpositionierung durchzuführen, kann beispielsweise ein zeitlicher Versatz zur Verfügung gestellt werden, welcher bei der Kombination der Gepäckaufnahme und der Objektaufnahme berücksichtigt wird. Auch ist es denkbar, dass explizit eine passende Objektaufnahme verwendet wird, um zum Beispiel quer zu einer Erkennungsachse die Kombination zwischen Objektaufnahme und Gepäckaufnahme in realitätsnaher Weise zur Verfügung zu stellen.

Weiter von Vorteil ist es, wenn bei einem erfindungsgemäßen Verfahren bei der Gepäckaufnahme eine Erkennung von Freiräumen innerhalb des Gepäckstücks durchgeführt wird, wobei anschließend die Objektaufnahme mit dem Alarmobjekt innerhalb des erkannten Freiraums mit der Gepäckaufnahme kombiniert wird.

Ähnlich dem voranstehenden Absatz wird auf diese Weise eine noch größere Realitätsnähe erzeugt, da ein Konflikt von vorhandenen Inhalten des Gepäckstücks mit dem Alarmobjekt vermieden wird. Auch hier kann wieder die Dichte des Materials in jedem Pixel des Gepäckstücks Aufschluss geben, welche Bereiche des Gepäckstücks in der Gepäckaufnahme als Freiraum definiert werden können. Um eine hohe Realitätsnähe zu gewährleisten, kann bei dieser Ausführungsform auch eine definierte Grenze vorgegeben werden beziehungsweise ein Grenzwert vorgegeben werden, ab welchem ein Freiraum als solcher definiert wird. Um ein Anpassen und Integrieren des Alarmobjektes in das Gepäckstück in realitätsnaher Weise zur Verfügung zu stellen, kann hier wiederum entlang der Erkennungsachse durch Zeitversatz bei der Kombination mit der Objektaufnahme diese verschoben werden. Auch ist es denkbar, eine Objektaufnahme aus einer entsprechenden Datenbank passend zum entsprechenden Freiraum im Gepäckstück der Gepäckaufnahme auszuwählen.

Vorteilhaft ist es weiter, wenn bei einem erfindungsgemäßen Verfahren das Alarmobjekt relativ zum Gepäckstück positioniert wird, indem die Objektaufnahme zeitlich versetzt wird. Wie bereits erläutert worden ist, können Gepäckaufnahmen und Objektaufnahmen insbesondere in einzelnen Frames zur Verfügung gestellt sein. Somit ist es möglich diesen zeitlichen Versatz entlang einer Erkennungsachse einer Erkennungsvorrichtung so zur Verfügung zu stellen, dass sich das Alarmobjekt hinsichtlich seiner Relativposition entlang dieser Erkennungsachse relativ zum Gepäckstück verschieben lässt. Der zeitliche Versatz führt durch die frameweise beziehungsweise abschnittsweise Zurverfügungstellung der Objektaufnahme, also zu einer Verschiebung der Relativposition des Alarmobjekts zum Gepäckstück. Das entsprechende Sinogramm beziehungsweise die entsprechende Objektaufnahme bleibt dabei gleich. Dies kann sowohl als Versatz entlang der Erkennungsachse für eine Positionierung relativ zu den Grenzen des Gepäckstücks, aber auch für eine Positionierung innerhalb eines Freiraums innerhalb des Gepäckstücks verwendet werden. Sofern keine passende Positionierung mit dieser Methode möglich ist, kann, zum Beispiel durch Iteration in einem erfindungsgemäßen Verfahren, auch eine andere Objektaufnahme ausgewählt werden, um die gewünschte realitätsnahe Relativpositionierung zu gewährleisten.

Ebenfalls von Vorteil ist es, wenn bei einem erfindungsgemäßen Verfahren bei der Kombinationsaufnahme eine Erkennung von Bereichen einer Materialdichte oberhalb eines vorgegebenen Grenzwerts durchgeführt wird, wobei bei der Erzeugung des dreidimensionalen Kombinationsvolumens die Bereiche mit einer Materialdichte oberhalb des Grenzwertes mit einem Anpassungsfaktor kombiniert werden. Insbesondere bei Bereichen mit metallischen Bauteilen kann es zu dem sogenannten Beam-Hardening kommen. Dies führt dazu, dass eine Veränderung der Absorptionssituation innerhalb des Gepäckstücks beziehungsweise des Alarmobjekts stattfindet. Um auch solche Situationen des Beam-Hardenings bei der virtuellen Erzeugung der dreidimensionalen Trainingsdaten zu berücksichtigen, kann bei einem vorgegebenen Grenzwert beziehungsweise bei dessen Überschreiten ein entsprechender Anpassungsfaktor die Realitätsnähe gewährleisten. Bei der Erzeugung des dreidimensionalen Kombinationsvolumens ist dabei dieser Anpassungsfaktor insbesondere kleiner als 1 , reduziert also bei der Erzeugung des Kombinationsvolumens die entsprechenden Parameter.

Weitere Vorteile kann es mit sich bringen, wenn bei einem erfindungsgemäßen Verfahren die Objektaufnahme und/oder die Gepäckaufnahme aus einer Aufnahmendatenbank ausgewählt werden. Damit wird es zum Beispiel möglich, wie dies bereits erläutert worden ist, passende Alarmobjekte an Grenzen oder Freiräume eines Gepäckstücks anzupassen. Darüber hinaus wird es möglich, eine hohe Anzahl unterschiedlicher Kombinationsmöglichkeiten im Wesentlichen automatisiert zur Verfügung zu stellen, um eine hohe Anzahl unterschiedlicher Kombinationsvolumen und damit eine hohe Anzahl von dreidimensionalen Trainingsdaten für das Training eines neuronalen Netzwerks zur Verfügung zu stellen. Dies ist insbesondere in automatisierter Weise iterativ durchführbar. Weitere Vorteile bringt es mit sich, wenn bei einem erfindungsgemäßen Verfahren zumindest die Schritte des Zurverfügungsteilens der Objektaufnahme, der Gepäckaufnahme, des Kombinierens der Objektaufnahme mit der Gepäckaufnahme und der Erzeugung des dreidimensionalen Kombinationsvolumens mehrfach durchgeführt werden. Dabei werden vorzugsweise unterschiedliche Objektaufnahmen mit unterschiedlichen Gepäckaufnahmen kombiniert, sodass im Ergebnis eine Vielzahl unterschiedlicher Kombinationsvolumen erzeugt wird. Dadurch, dass dieses Verfahren nun insbesondere mit Hilfe einer entsprechenden Aufnahmendatenbank automatisiert durchgeführt werden kann, kann eine hohe Anzahl an einzelnen dreidimensionalen Trainingsdaten für das Training einer künstlichen Intelligenz in Form eines neuronalen Netzwerks zur Verfügung gestellt werden. Dabei wird insbesondere zurückgegriffen auf eine entsprechende eindeutige Zusatzinformation der einzelnen Objektaufnahmen, um was es sich dabei exakt handelt. Dabei kann grundsätzlich das Label des vorhandenen Alarmobjekts verwendet werden, aber auch detailreichere Informationen, welche Form eines Alarmobjektes hier aktuell in das Kombinationsvolumen integriert worden ist. Hier wird nochmals gut ersichtlich, wie in besonders einfacher, kostengünstiger und effizienter Weise eine sehr hohe Anzahl von realitätsnahen dreidimensionalen Trainingsdaten erzeugt werden kann.

Vorteilhaft ist es darüber hinaus, wenn bei einem erfindungsgemäßen Verfahren die Gepäckaufnahme in einer Erkennungsvorrichtung an einem realen Gepäckstück erzeugt wird. Zum Beispiel kann ein erfindungsgemäßes Verfahren an einer realen Sicherheitsschleuse eingesetzt werden, um das dort aktive Betriebspersonal zu kontrollieren. Befindet sich beispielsweise ein Gepäckstück auf einem Förderband durch eine entsprechende Erkennungsvorrichtung hindurch, so kann nun mit Hilfe eines erfindungsgemäßen Verfahrens ein Alarmobjekt virtuell in das reale Gepäckstück hineinprojiziert werden. Auf dem zugehörigen Überwachungsmonitor des Bedienpersonals erscheint also das reale Gepäckstück mit einem integrierten virtuellen Alarmobjekt. Damit wird sichergestellt, dass die Aufmerksamkeit des Kontrollpersonals beziehungsweise des Bedienpersonals überwachbar ist. Durch die erfindungsgemäße Ausgestaltung des Verfahrens ist dies mit einer hohen Realitätsnähe erzielbar, sodass nicht durch ein unrealistisches Abbild diese Trainingssituation als solche vom Bedienpersonal erkannt werden kann. Ebenfalls Gegenstand der vorliegenden Erfindung ist eine Erzeugungsvorrichtung zum Erzeugen von dreidimensionalen Trainingsdaten für eine Erkennungsvorrichtung zur Erkennung von Alarmobjekten in Gepäckstücken. Eine solche Erzeugungsvorrichtung weist ein Aufnahmenmodul für ein Zurverfügungstellen einer Objektaufnahme eines freigestellten Alarmobjektes sowie ein Zurverfügungstellen einer Gepäckaufnahme eines Gepäckstücks zur Verfügung. Weiter ist ein Kombinationsmodul zum Kombinieren der Gepäckaufnahme und der Objektaufnahme zu einer Kombinationsaufnahme vorgesehen. Die Erzeugungsvorrichtung weist weiter ein Erzeugungsmodul zum Erzeugen eines dreidimensionalen Kombinationsvolumens aus der Kombinationsaufnahme auf. Das Aufnahmemodul, das Kombinationsmodul und/oder das Erzeugungsmodul sind dabei vorzugsweise für die Ausführung eines erfindungsgemäßen Verfahrens ausgebildet. Damit bringt eine erfindungsgemäße Erzeugungsvorrichtung die gleichen Vorteile mit sich, wie sie ausführlich mit Bezug auf ein erfindungsgemäßes Verfahren erläutert worden sind.

Weiter von Vorteil kann es sein, wenn bei einer erfindungsgemäßen Erzeugungsvorrichtung das Aufnahmenmodul eine Aufnahmendatenbank aufweist, in welcher eine Vielzahl von Objektaufnahmen und/oder von Gepäckaufnahmen gespeichert sind. Auch eine Kombination mit realen Gepäckstücken ist beim Einsatz einer realen Sicherheitsschleuse grundsätzlich denkbar. Die Verwendung von entsprechend großen Datenbanken erlaubt es, eine hohe Anzahl von Kombinationsmöglichkeiten zur Verfügung zu stellen, um die entsprechend hohe Anzahl von einzelnen dreidimensionalen Trainingsdaten für das Training eines neuronalen Netzwerks zur Verfügung zu stellen.

Ebenfalls Gegenstand der vorliegenden Erfindung ist ein Com puterprogramm produkt umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen die Schritte eines Verfahrens gemäß der vorliegenden Erfindung durchzuführen.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Ausführungsbeispiele im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Es zeigen schematisch: Fig. 1 eine Ausführungsform eines erfindungsgemäßen

Verfahrensschritts,

Fig. 2 ein Schritt eines erfindungsgemäßen Verfahrens,

Fig. 3 ein Schritt eines erfindungsgemäßen Verfahrens,

Fig. 4 ein Schritt eines erfindungsgemäßen Verfahrens,

Fig. 5 ein Schritt eines erfindungsgemäßen Verfahrens,

Fig. 6 ein Beispiel einer erfindungsgemäßen Erzeugungsvorrichtung und

Fig. 7 ein Beispiel einer erfindungsgemäßen Erzeugungsvorrichtung.

Figur 1 zeigt schematisch wie der Kerngedanke der vorliegenden Erfindung zur Verfügung gestellt wird. Dabei ist darauf hinzuweisen, dass es sich bei der Objektaufnahme OA und der Gepäckaufnahme GA um eine Vielzahl von Einzelbildern handelt, welche zum Beispiel als Kombination von mehreren Transmissionsaufnahmen zusammengesetzt sind. Die einzelnen Transmissionsaufnahmen können eindimensional und/oder zweidimensional sein.

Als Ausgangspunkt sind hier eine Objektaufnahme OA und eine Gepäckaufnahme GA vorgesehen. In der Objektaufnahme OA ist ein freigestelltes Alarmobjekt AO vorgesehen. Die Objektaufnahme OA kann dabei zum Beispiel in expliziter Weise erzeugt werden, sodass in einmaliger Weise durch die Verwendung von elektromagnetischen Erfassungssystemen eine Vielzahl von unterschiedlichen Alarmobjekten AO eingesetzt und gescannt wird, um eine Vielzahl von unterschiedlichen Objektaufnahmen OA zur Verfügung zu stellen.

In gleicher Weise ist es auch denkbar für eine Aufnahmendatenbank 22 eine Vielzahl von unterschiedlichen Gepäckstücken G zu scannen und auf diese Weise eine entsprechend hohe Anzahl an Gepäckaufnahmen GA zur Verfügung zu stellen.

Ausgehend von den zur Verfügung gestellten Objektaufnahmen OA und Gepäckaufnahmen GA wird nun in einem weiteren Schritt eine Kombination zu einer Kombinationsaufnahme KA durchgeführt. Wie in der Figur 1 schematisch gut zu erkennen ist, wird durch diese Kombination das Alarmobjekt AO in dem Gepäckstück G integriert. Erst anschließend, also nach der Kombination, wird diese Kombination aus Gepäckstück G und Alarmobjekt AO in einem Erzeugungsschritt in ein dreidimensionales Kombinationsvolumen KV übersetzt. In diesem dreidimensionalen Kombinationsvolumen KV befindet sich nun weiter das Alarmobjekt AO in dem Gepäckstück G. Dieses dreidimensionale Kombinationsvolumen KV kann nun zur Überprüfung des Bedienpersonals an einer Erkennungsvorrichtung 100, aber auch in entsprechender Anzahl zum Training neuronaler Netzwerke eingesetzt werden.

Die Figur 2 zeigt eine schematische Anordnung zum Training beziehungsweise zur Kontrolle des Bedienpersonals an einer realen Sicherheitsschleuse. Hier ist schematisch eine Erkennungsvorrichtung 100 dargestellt, welche mit elektromagnetischer Strahlung mittels eines Erfassungsmoduls 110 Gepäckaufnahmen GA von realen Gepäckstücken G zur Verfügung stellen kann. Die Gepäckstücke G bewegen sich dabei entlang einer Erkennungsachse EA. Beispielsweise ist es möglich, dass das Erfassungsmodul 110 dabei um diese Erkennungsachse EA rotiert und auf diese Weise rotierende Gepäckaufnahmen GA erzeugt. Bei dieser Ausführungsform der Figur 2 wird die Objektaufnahme OA aus einer Aufnahmendatenbank 22 zur Verfügung gestellt. Ähnlich der Figur 1 wird nun aus der realen Gepäckaufnahme GA und der virtuell aus der Datenbank 22 zur Verfügung gestellten Objektaufnahme OA eine Kombinationsaufnahme KA erzeugt. Ähnlich wiederum wie zur Figur 1 wird nun anschließend ein Kombinationsvolumen KV erzeugt, welches beispielsweise auf dem Monitor dem Bedienpersonal der realen Sicherheitsschleuse zu Kontrollzwecken beziehungsweise zu Trainingszwecken angezeigt wird.

In der Figur 3 ist schematisch dargestellt, wie die einzelnen Aufnahmen Objektaufnahmen OA und Gepäckaufnahmen GA beziehungsweise Kombinationsaufnahmen KA scheibenweise beziehungsweise abschnittsweise aufgebaut sein können. So zeigt die Figur 3 eine scheibenweise Darstellung eines Sinogramms in schematischer Weise für eine Objektaufnahme OA und entsprechend für eine Gepäckaufnahme GA. In einfacher Addition beziehungsweise Kombination werden nun scheibenweise die Objektaufnahme OA und die Gepäckaufnahme GA zu einer gemeinsamen Kombinationsaufnahme KA kombiniert. Dabei handelt es sich um eine besonders einfache und kostengünstige Variante die Kombinationsaufnahme KA zur Verfügung zu stellen. Anhand der Figuren 4 und 5 ist gut zu erkennen, wie eine Positionierung relativ zwischen dem Alarmobjekt AO und dem Gepäckstück G erfolgen kann. So zeigt die Figur 4 ein leeres Gepäckstück G an einer Gepäckaufnahme GA. Die Figur 5 zeigt die entsprechende Kombinationsaufnahme KA, wobei hier nun in das Gepäckstück G ein Alarmobjekt AO integriert worden ist. Dabei wurde jedoch in einem Zwischenschritt ermittelt, wo sich innerhalb des Gepäckstücks G ein Freiraum befindet, sodass zum Beispiel durch einen zeitlichen Versatz der Objektaufnahme OA bei der Kombination eine Verschiebung des Alarmobjekts AO in den erkannten Freiraum durchgeführt wurde. Dies führt zu einer deutlich realistischeren Darstellung und insbesondere zu einer Vermeidung unerwünschter Positionskonflikte.

Anhand der Figur 6 ist schematisch dargestellt, wie eine erfindungsgemäße Erzeugungsvorrichtung 10 ausgebildet sein kann. Über ein Aufnahmenmodul wird hier das Zurverfügungstellen der einzelnen Aufnahmen GA und OA zur Verfügung gestellt. Das Kombinationsmodul 30 erzeugt die Kombinationsaufnahme KA wobei anschließend das Erzeugungsmodul 40 das Kombinationsvolumen KV erzeugt. Gemäß der Figur 7 ist zu erkennen, dass dies auch in einer automatisierten Weise in hoher Anzahl zur Verfügung gestellt werden kann, indem auf eine Aufnahmedatenbank 22 zurückgegriffen werden kann. Auf diese Weise wird es möglich eine hohe Anzahl von Kombinationsvolumen KV zu erzeugen, welche anschließend in der hohen Anzahl ein dreidimensionales Trainingsdatenset für das Training eines neuronalen Netzwerks zur Verfügung stellt.

Die voranstehende Erläuterung beschreibt die vorliegende Erfindung ausschließlich im Rahmen von Beispielen. Selbstverständlich können einzelne Merkmale der Ausführungsformen, sofern technisch sinnvoll, frei miteinander kombiniert werden, ohne den Rahmen der vorliegenden Erfindung zu verlassen.

Bezugszeichenliste

10 Erzeugungsvorrichtung 20 Aufnahmenmodul 22 Aufnahmendatenbank 30 Kombinationsmodul 40 Erzeugungsmodul

100 Erkennungsvorrichtung 110 Erfassungsmodul

AO Alarmobjekt G Gepäckstück OA Objektaufnahme GA Gepäckaufnahme KA Kombinationsaufnahme KV Kombinationsvolumen EA Erkennungsachse