Die Erfindung betrifft ein Motor-Steuergerät für einen Verbrennungsmotor eines Fahrzeugs, welches eine Steuereinheit zum Einstellen von einer oder mehreren Regelgrößen basierend auf einer oder mehreren Messgrößen gemäß einem abgespeicherten Steuerschema.

Moderne Motor-Steuergeräte in (Antriebs-)Verbrennungsmotoren von Fahr- zeugen steuern oder regeln den Verbrennungsmotor basierend auf einem

Steuerschema. Dieses Steuerschema, was beispielsweise in Form eines hochdimensionalen Kennfeldes für die Motor-Betriebsparameter (oder, allgemeiner, mit einem solchen Betriebsparameter-Kennfeld) vorliegen kann, entspricht einer mathematischen Abbildung einer Anzahl von Messgrößen, wel- ehe auch als Eingangs-Motorbetriebsparameter bezeichnet werden können, auf eine Anzahl von Regelgrößen, welche auch als Ausgangs-Motor- Betriebsparameter bezeichnet werden können. Die Regelgrößen werden von der entsprechenden Steuereinheit des Motor- Steuergeräts dabei typischerweise als Voltspannung ausgegeben, wobei sowohl die Höhe der entsprechenden Voltspannung, als auch der Zeitpunkt des Anliegens, das „Timing", der entsprechenden Voltspannung den entsprechenden Regelgröße bestimmt. So kann beispielsweise die Größe der entsprechenden Voltspannung für eine Drosselklappenstellung als Ausgangsmotor- Betriebsparameter einen jeweiligen Drosselklappen-Winkel codieren. Der Zündzeitpunkt als Ausgangsmotor-Betriebsparameter wird hingegen üblicherweise über das Timing der entsprechenden Voltspannung, d. h. den genauen Zeitpunkt einer entsprechenden Spannungsspitze in dem zugehörigen Steuerkanal eingestellt, wobei der Zeitpunkt als Relativ-Zeitpunkt bezogen auf einem Arbeitszyklus des Verbrennungsmotors vorgegeben sein kann, beispielsweise auf bezogen einen oberen Totpunkt. Die Eingangsmotor- Betriebsparameter können sowohl als (analoge) Voltspannungen als auch als kodiertes digitales Signal („Signalfolge" oder „Befehl") vorliegen, beispielsweise als Datensignal von entsprechenden Sensoren oder als Datensignal, welches basierend auf entsprechenden Sensorwerten berechnete Werte aus einer entsprechenden Recheneinheit enthält. Das Steuerschema, beispielsweise in Form eines mehrdimensionalen Betriebsparameter-Kennfelds, bildet dann einen höherdimensionalen Messgrößenraum von beispielsweise neun Dimensionen auf einen niederdimensionalen Regelgrößenraum von beispielsweise drei Dimensionen ab.

Das ideale Steuerschema für einen Verbrennungsmotor hängt hier im Allgemeinen auch von Faktoren ab, die nicht explizit in dem Steuerschema berücksichtigt sind oder berücksichtigt werden. Beispielsweise verändert auch eine Spritqualität, ein Luftdruck, eine Luftfeuchtigkeit, eine Umgebungstemperatur oder sonstige Umfeld-Parameter, welche im Betrieb des Verbrennungsmotors variieren können und oft beim Auslegen des Motor-Steuergeräts nicht vorhersehbar sind, oder ein Verschleiß ein Verhalten des Verbrennungsmotors. In der Praxis wird entsprechend ein Universal-Steuerschema in den Motor- Steuergeräten hinterlegt, welches für unterschiedliche Umfeld-Parameter, d.h. variierende, unterschiedliche Werte eines oder mehrerer Umfeld- Parameter, stabil akzeptable Ergebnisse hinsichtlich beispielsweise einer Drehmomentantwort, eines Spritverbrauchs oder einer Abgaszusammenset- zung des Verbrennungsmotors liefert. Eine Drehmomentantwort beschreibt hier den Verlauf eines bereitgestellten Ist-Drehmoments des Verbrennungsmotors in Antwort auf ein angefordertes Soll-Drehmoment.

Eine erste Voraussetzung, um für Verbrennungsmotoren unter Realbedingungen eine verbesserte Motorsteuerung zu erzielen, ist in der US 2004/133 336 Al beschrieben, in welcher eine Verbrennungsleistung eines Fahrzeuges aus der Ferne identifiziert wird, um so eine Fernüberwachung der Fahrzeugleistung zu ermöglichen.

Entsprechend ist es eine Aufgabe der vorliegenden Erfindung, eine verbesserte Steuerung für einen Verbrennungsmotor bereitzustellen, welche es ermöglicht, reale Umfeldbedingungen, insbesondere sich verändernde Umfeldbedingungen, des Verbrennungsmotors besser bei dessen Steuerung zu berücksichtigen.

Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und der Figur.

Ein Aspekt betrifft ein Motor-Steuergerät für einen Verbrennungsmotor eines Fahrzeugs, mit einer Steuereinheit zum Einstellen von einem oder mehreren Regelgrößen basierend auf einem oder mehreren Messgrößen gemäß einem abgespeicherten Steuerschema. Das Steuerschema kann beispielsweise in Form eines (Betriebsparameter-)Kennfeldes vorliegen oder ein solches umfassen. Die Steuereinheit steuert den Verbrennungsmotor somit mittels der Regelgrößen. Der oder die Regelgrößen können dabei insbesondere eine Drosselklappenstellung und/oder eine Einspritz-Spritzmenge und/oder einen Zündzeitpunkt und/oder einen Ventilöffnungs- und Ventilschließzeitpunkt und/oder einen Turbolader-Aufladedruck umfassen oder sein. Die zumindest eine Messgröße umfasst oder ist bevorzugt eine Motor-Drehzahl und/oder eine Drosselklappenstellung und/oder eine Einspritz-Spritzmenge und/oder eine Verbrennungs-Restgasmenge und/oder einen Zündzeitpunkt und/oder einen Ventilöffnungs- und Ventilschließzeitpunkt und/oder eine Motor- Temperatur und/oder einen ansaugseitigen Gasgemisch-Druck und/oder einen Druck im Verbrennungsraum und/oder einen abgasseitigen Gasgemisch- Druck und/oder ein Motor-Drehmoment und/oder eine Motor-Laufleistung. Das Einstellen kann ein Regeln und/oder ein Steuern umfassen.

Die Steuereinheit ist dabei ausgebildet, das abgespeicherte Steuerschema während des bestimmungsgemäßen Gebrauchs mit dem arbeitenden, von dem Motor-Steuergerät gesteuerten Verbrennungsmotor gemäß einem vorgegebenen Lernalgorithmus zu verändern. Dieses Verändern, welches, da es gemäß dem Lernalgorithmus erfolgt, auch als Lernen bezeichnet werden kann, erfolgt anhand zumindest eines an die Steuereinheit bereitgestellten, mit einem jeweiligen Optimierungskriterium assoziierten Rückmelde- oder Feedback-Parameters. Die Steuereinheit und damit das abgespeicherte Steuerschema werden also mittels des Rückmelde-Parameters, welcher über das oder die Optimierungskriterien bewertet wird, im laufenden Betrieb des Verbrennungsmotors modifiziert oder verändert, also beispielsweise bei fahrendem Fahrzeug. Beispielsweise kann so eine Einstellung für den Verbrennungsmotor gelernt werden, welche unter realen Bedingungen einen spezifischen Schadstoffausstoß minimiert, wenn der Rückmelde-Parameter eine Abgaszusammensetzung umfasst und das Optimierungskriterium eine Verringerung des besagten Schadstoffes belohnt.

Das hat den Vorteil, dass das für das Einstellen des Verbrennungsmotors genutzte Steuerschema flexibel und dynamisch an sich ändernde Bedingungen, welche einen Einfluss auf das Verhalten des Verbrennungsmotors haben, berücksichtigen kann. Dabei ist keinerlei steuernde oder regelnde Außeneinwirkung erforderlich, da der Regelgrößenraum selbständig durch das lernende Steuergerät exploriert werden kann. Dabei kann das Motor-Steuergerät auch ein ganz spezifisches Nutzerverhalten mitberücksichtigen, sowie entsprechende spezifische Konstanten in der realen Umgebung des Verbrennungsmotors oder aber eben Veränderungen in diesen Konstanten, so dass werksseitig auch weniger Aufwand beim Abwägen der unterschiedlichen Nutzungsszenarien für die Verbrennungsmotoren und damit für das jeweilige Motor- Steuergerät getroffen werden müssen. Es wird eine verbesserte Steuerung für einen Verbrennungsmotor unter realen Umfeldbedingungen erreicht.

In einer besonders vorteilhaften Ausführungsform umfasst der Lernalgorithmus einen -bevorzugt modellfreien- Algorithmus für „bestärkendes Lernen" oder „verstärkendes Lernen", welches auch als „Reinforcement Learning" bekannt ist. Bei dem Reinforcement Learning lernt, verändert und damit optimiert die Steuereinheit selbständig anhand des Rückmelde-Parameters, um durch das jeweilige Optimierungskriterium bestimmte erhaltene Belohnungen zu maximieren. Bei einem derartigen Lernalgorithmus erfolgt auch zur Laufzeit, d.h. bei laufendem Betrieb des Verbrennungsmotors und damit des Lernprozesses implizit ein ständiges graduelles Abwägen zwischen Exploitation, d.h. der Wahl der besten bekannten Strategie, vorliegend dem Einstellen gemäß einem unveränderten Teil des abgespeicherten Steuerschemas, und Exploration, d.h. dem Gewinnen neuer Erkenntnisse, vorliegend dem Verändern des abgespeicherten Steuerschemas vorgenommen. Somit wird das Steuerschema stellvertretend für die allgemein aus dem Reinforcement Learning bekannte Regelstrategie durchgehend den jeweils aktuellen Umfeldbedingungen angepasst. Dadurch kann auch das Moto r-Steuerge rät in besonders effektiver Weise an ein sich veränderndes Umfeld angepasst werden und eine bessere Steuerung des Verbrennungsmotors auch unter Realbedingungen erreicht werden. Die Steuereinheit kann entsprechend ausgebildet sein, eine oder mehrere der Regelgrößen gezielt anzupassen oder zu variieren, um Stichproben mit erhöhtem Informationsgehalt für das Lernverfahren zu erzeugen. Für das gezielte Anpassen oder Variieren der Regelgröße(n) sind dabei Grenzen vorgegeben, beispielsweise in Form der unten noch erläuterten verbotenen Wertebereiche. Damit kann die Betriebssicherheit gewährleistet werden.

In einer vorteilhaften Ausführungsform ist vorgesehen, dass der zumindest eine Rückmelde-Parameter ein Drehmoment des Verbrennungsmotors und/oder einen Spritverbrauch des Verbrennungsmotors und/oder eine Abgaszusammensetzung des Verbrennungsmotors und/oder einer oder mehrere der Messgrößen umfasst oder ist. Besonders vorteilhaft ist es, wenn der Rückmelde-Parameter als Messgröße den Druck im Verbrennungsraum umfasst, bevorzugt den Druck in jedem Zylinder des Verbrennungsmotors. Anhand der Druckmessungen aus den Zylindern kann auf den jeweils vorliegenden Brennvorlauf rückgeschlossen und somit der Verbrennungsverlauf optimiert werden. Das ist besonders in Kombination mit dem unten beschriebenen fortwährenden Bereitstellen des Rückmeldeparameters vorteilhaft. Zum Bereitstellen des Rückmelde-Parameters kann das Motor-Steuergerät eine entsprechende Sensoreinheit oder eine entsprechende Sensor- Datenschnittstelleneinheit aufweisen. Die genannten Parameter haben sich hier als Rückmelde-Parameter für ein Verbessern der Steuerung des Verbrennungsmotors und der Realbedingungen besonders bewährt.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das Optimierungskriterium für jeden Rückmelde-Parameter einen jeweiligen Soll- Zielwert oder eine jeweilige Trendvorgabe umfasst. Dies kann je nach der Natur des Rückmelde-Parameters gewählt werden, beispielsweise kann für einen Drehmoment als Rückmelde-Parameter als Soll-Zielwert ein entsprechender Drehmomentabruf eines Nutzers vorgegeben sein, wohingegen beispielsweise für einen Spritverbrauch allgemein eine Trendvorgabe vorgegeben sein kann, welche einen möglichst geringen Spritverbrauch belohnt. Insbesondere kann für jeden Rückmelde-Parameter auch ein jeweiliger Wichtungsfaktor und/oder eine jeweilige Priorisierung gegenüber einem oder mehreren anderen Rückmelde-Parametern in dem Optimierungskriterium vorgegeben sein. Damit kann das zu lernende Steuerschema besonders genau an ein jeweiliges Idealbild angepasst werden. Auch kann beispielsweise über unterschiedliche Wichtungsfaktoren bzw. Priorisierungen das Lernen an unterschiedliche Fahrmodi des Fahrzeugs angepasst werden: beispielsweise kann in einem Sportmodus ein Wichtungsfaktor des Spritzverbrauchs als Rückmelde- Parameter oder eine jeweilige Priorisierung des Spritverbrauchs gegenüber dem Drehmoment zurückgesetzt werden, wohingegen beispielsweise in einem Eco-Modus genau Umgekehrtes gewählt werden kann. Grundsätzliche können mit Wichtungsfaktoren und/oder Priorisierungen beliebige hierarchische Strukturen der Optimierungskriterien im Lernprozess implementiert werden. Auch dies trägt somit zur besseren Steuerung des Verbrennungsmotors in unterschiedlichen Settings bei.

In einer besonders vorteilhaften Ausführungsform ist vorgesehen, dass die Steuereinheit dafür ausgebildet ist, dass der zumindest eine Rückmelde- Parameter während des Arbeitens des Verbrennungsmotors fortwährend (unbestimmt oft wiederholt mit seinem jeweils aktuellen Wert) bereitgestellt wird, sowie für ein entsprechendes fortwährendes Verändern des Steuerschemas, solange das Verändern gemäß dem Optimierungskriterium sinnvoll ist, also in Übereinstimmung mit dem Optimierungskriterium erfolgen kann. Insbesondere kann hier vorgesehen sein, dass der Rückmelde-Parameter pro Zündung oder Zündvorgang oder Zündzyklus (Arbeitsspiel) des Verbrennungsmotors einmal bereitgestellt wird. Bevorzugt ist die Steuereinheit ausgebildet für ein auf jedes Bereitstellen des zumindest einen Rückmelde- Parameters einmal erfolgendes Verändern des Steuerschemas, solange das Verändern dem Optimierungskriterium gemäß sinnvoll ist. Damit lernt die Steuereinheit schnellstmöglich, da jede Veränderung bzw. Bestätigung des Rückmelde-Parameters, welches mit dem Bereitstellen des Rückmelde- Parameters erfolgt, einen Lernschritt nach sich zieht. Entsprechend ist ein häufiges, fortwährendes, idealerweise für jeden Verbrennungsvorgang erfolgendes Bereitstellen des oder der Rückmelde-Parameter ideal für ein schnelles Lernen und damit Anpassen des Motor-Steuergerätes an die Umfeldbedingungen.

In einer besonders vorteilhaften Ausführungsform ist vorgesehen, dass die Steuereinheit eine vortrainierte Steuereinheit ist, in welcher das abgespeicherte Steuerschema bereits vor dem bestimmungsgemäßen Gebrauch mit einem realen Verbrennungsmotor in einem Kraftfahrzeug gemäß dem vorgegebenen Lernalgorithmus oder aber auch einem anderen Lernalgorithmus im Rahmen einer Simulation, welche somit einem Vortraining entspricht, verändert wurde. Das Verändern ist dann anhand zumindest eines an die Steuereinheit bereitgestellten, mit dem Optimierungskriterium assoziierten simulierten Rückmelde-Parameter in Verbindung mit einem oder mehreren simulierten Messgrößen erfolgt. Die entsprechende Verbrennungsmotor-Simulation berechnet dann bei dem Vortraining der Steuereinheit aus dem oder den von der Steuereinheit des Motor-Steuergerätes bereitgestellten Regelgrößen den oder die simulierten Rückmelde-Parameter sowie den oder die entsprechenden simulierten Messgröße, welche dann wieder dem Motor-Steuergerät zur Verfügung gestellt werden. Das hat den Vorteil, dass der Lernalgorithmus vor dem Einsatz mit einem realen Verbrennungsmotor bereits geeicht ist, so dass das Anpassen an die realen Umfeldbedingungen tatsächlich nur noch einer Feineinstellung entspricht. So kann verhindert werden, dass die Steuereinheit eventuell versucht, den realen Verbrennungsmotor mit für diesen schädlichen oder für Nutzer des Verbrennungsmotors gefährlichen Regelgrößen einzustellen. Außerdem wird so auch die Lernzeit der Steuereinheit während des Betriebs verkürzt, was wiederum die Steuerung des Verbrennungsmotors in ei- nem sich ändernden Umfeld verbessert.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass für den oder die Regelgrößen in der Steuereinheit, insbesondere in dem Lernalgorithmus, jeweilige verbotene Wertebereiche vorgegeben sind, so dass Werte aus den verbotenen Wertebereichen nicht eingestellt und/oder nicht gelernt werden können. Das hat den Vorteil der erhöhten Betriebssicherheit und des beschleunigten Lernens, da somit schädliche oder gefährliche Regelgrößen von vornherein ausgeschlossen werden können, und somit auch geeignete Regelgrößen durch den Lernalgorithmus leichter gefunden werden können.

Ein weiterer Aspekt betrifft auch einen Verbrennungsmotor oder ein Fahrzeug mit einem Motor-Steuergerät nach einer der beschriebenen Ausführungsformen.

Schließlich betrifft ein Aspekt auch ein Verfahren zum Betreiben eines Motor- Steuergeräts für einen Verbrennungsmotor eines Fahrzeugs, welches eine Steuereinheit zum Einstellen von einer oder mehreren Regelgrößen, basierend auf einer oder mehreren Messgrößen gemäß einem abgespeicherten Steuerschema, aufweist. Ein Verfahrensschritt ist hier ein Verändern des abgespeicherten Steuerschemas gemäß einem vorgegebenen Lernalgorithmus während des bestimmungsgemäßen Gebrauchs des Motor-Steuergeräts mit dem arbeitenden Verbrennungsmotor, und zwar anhand zumindest eines an die Steuereinheit bereitgestellten, mit einem Optimierungskriterium assoziierten Rückmelde-Parameters.

Vorteile und vorteilhafte Ausführungsformen des Verfahrens entsprechen hier Vorteilen und vorteilhaften Ausführungsformen des Motor-Steuergeräts.

Die vorstehend in der Beschreibung, auch im einleitenden Teil, genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in der Figur nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.

Anhand der in der nachfolgenden Figur gezeigten schematischen Zeichnungen soll der erfindungsgemäße Gegenstand näher erläutert werden, ohne diesen auf die hier gezeigten spezifischen Ausführungsformen einschränken zu wollen.

Dabei zeigt Fig. 1 eine schematische Darstellung einer beispielhaften Ausführungsform eines lernenden Motor-Steuergeräts mit selbständiger Exploration eines Betriebsparameterraums. Das Motor-Steuergerät 1 ist mit einem Verbrennungsmotor 2 eines nicht dargestellten Fahrzeugs gekoppelt ist. Das Motor-Steuergerät 1 weist eine Steuereinheit 3 zum Einstellen von einer oder mehreren Regelgrößen 4, basierend auf einer oder mehreren Messgrößen 5 gemäß einem abgespeicherten Steuerschema auf. Dabei ist die Steuereinheit 3 ausgebildet, das abgespeicherte Steuerschema während des bestimmungsgemäßen Gebrauchs mit dem arbeitenden, vorliegend im Fahrzeug arbeitenden, von dem Motor-Steuergerät 1 gesteuerten Verbrennungsmotor 2 gemäß einem vorgegebenen Lernalgorithmus zu verändern und zwar anhand zumindest eines an die Steuereinheit 3 bereitgestellten, mit einem Optimierungskriterium assoziierten Rückmelde-Parameter 6. Der Rückmelde-Parameter kann wie im gezeigten Beispiel von dem Verbrennungsmotor 2 rückgemeldet werden, alternativ oder ergänzend von einer weiteren Einheit, wie beispielsweise einer Sensoreinheit 7.

Da der oder die Rückmelde-Parameter 6 vorliegend fortlaufend also unbestimmt oft wiederholt, insbesondere einmal pro Zündung des Verbrennungsmotors erhoben und an die Steuereinheit 3 bereitgestellt werden, kann das lernende Motor- Steuergerät 1 sich schnell und selbständig an verändernde Umfeldbedingungen, wie beispielsweise eine sich verändernde Luftfeuchtigkeit oder ein sich verändernder Luftdruck anpassen und somit die Steuerung des Verbrennungsmotors 2 entsprechend dem Optimierungskriterium verbessern.