Mithilfe von künstlicher Intelligenz (KI) und neuesten Technologien der Computervision wird dieses von der EU geförderte Projekt erstmals Blickverfolgung und Gestenerkennung von Piloten in einem Framework kombinieren. Ziel ist, durch die Überwachung von Pilotinnen und Piloten die Zusammenarbeit zwischen Mensch und Maschine in den heutigen komplexen Flugabläufen in Cockpits zu verbessern. Das Monitoring der Piloten soll die Effizienz der Crew und die Pilotenausbildung verbessern oder in die Entwicklung zukünftiger Cockpits einfliessen.

Seit der ersten Demonstration eines Autopiloten im Jahr 1914 sind Piloten durch komplexe automatische Systeme, Knöpfe und Instrumente im Cockpit immer mehr mit ihren Flugzeugen «verbunden». Die stetige Weiterentwicklung von Assistenzsystemen soll die Sicherheit der Luftfahrt verbessern und den Piloten einen Teil ihrer Arbeit abnehmen.

Paradoxerweise liefern die Assistenzsysteme bei untypischen Ereignissen aber so viele Informationen, dass Piloten oftmals überfordert sind. Es ist daher wichtig, das Bewusstsein der Piloten für die Situation und die Beziehung zwischen Crew und Flugzeugsteuerung zu optimieren.

PEGGASUS optimiert die Zusammenarbeit von Mensch und Maschine

Mit Unterstützung der Clean Sky 2 Initiative verfolgt das Europäische Projekt PEGGASUS das Ziel, diesem «Hilfsmittelparadoxon» entgegenzuwirken. Es will das Verhalten der Crew verstehen und eine multimodale Interaktion im Cockpit ermöglichen, damit Pilotinnen und Piloten mehr Kontrolle gewinnen. «Wir müssen erkennen können, wenn die Aufmerksamkeit, das Denken oder die Fähigkeit, Entscheidungen zu treffen durch Verwirrung oder Müdigkeit eingeschränkt ist», erklärt Andrea Dunbar, Leiterin Embedded-Vision-Systeme beim CSEM. «Unsere neue Schnittstelle wird zudem eine intuitivere und natürlichere Interaktion ermöglichen, damit Pilotinnen und Piloten in jeder Situation schnelle und fundierte Entscheidungen treffen können, auch wenn sie unter Stress stehen.»

Das CSEM und die drei anderen Partner vereinen das nötige Know-how um eine massgeschneiderte Lösung zu entwickeln und dem Projekt zum Erfolg zu verhelfen. «Wir freuen uns, das Expertenwissen einer Airline ins Konsortium einzubringen», sagt Christoph Amman, Vizepräsident und Leiter Crew-Training bei Swiss International Air Lines, einem Mitglied der Lufthansa Group. «Der Austausch mit Forschungs- und Industriepartnern hilft uns dabei, unsere Ausbildungsstandards zu reflektieren und neue Applikationen auszudenken.»

In einer früheren Zusammenarbeit haben die Airline und die ETH Zürich – ebenfalls ein Konsortionalpartner – neue Techniken der Blickrichtungsverfolgung entwickelt, um die kognitive Verfassung und das Situationsbewusstsein von Piloten zu überwachen. Diese Methoden wurden insbesondere im Hinblick darauf entwickelt, die Interaktion zwischen Pilot und Flugzeug effektiver und effizienter zu gestalten. Gleichzeitig schaffen sie neue Möglichkeiten in der Pilotenausbildung. Das Konsortium wird bei der Entwicklung von PEGGASUS auf diesen reichen Erfahrungsschatz und bereits erhobene Daten aufbauen.

Integration im Cockpit  

«Die Luftfahrt stellt unser Team vor einzigartige Herausforderungen», sagt Andrea Dunbar: «Unsere Vision-Systeme and Machine-Learning-Algorithmen müssen beide anwesenden Piloten im Auge behalten. Die Technologie muss während des ganzen Flugs akkurat und robust bleiben, auch bei sich verändernden Umweltfaktoren, wie Lichtverhältnisse und Vibrationen.» Konsortium-Partner Serma Ingénierie wird die Resultate von PEGGASUS für Testzwecke in einen Cockpitprototypen integrieren.

Die Arbeit des Konsortiums wird ebenfalls von Thales unterstützt, einem federführenden Unternehmen in Clean Sky 2. Programm-Manager Thierry Maret von Thales ist stolz, dass PEGGASUS ein weiterer Schritt in Richtung des Ziels ist «Piloten neue Formen der Interaktion mit dem Flugzeug zu bieten, damit sich diese einfach und effizient den komplexen und sich verändernden Anforderungen der Bordelektronik des 21. Jahrhunderts anpassen können.»

«Die Luftfahrt stellt unser Team vor einzigartige Herausforderungen», sagt Andrea Dunbar: «Unsere Vision-Systeme and Machine-Learning-Algorithmen müssen beide anwesenden Piloten im Auge behalten. Die Technologie muss während des ganzen Flugs akkurat und robust bleiben, auch bei sich verändernden Umweltfaktoren, wie Lichtverhältnisse und Vibrationen.» Konsortium-Partner Serma Ingénierie wird die Resultate von PEGGASUS für Testzwecke in einen Cockpitprototypen integrieren.

Die Arbeit des Konsortiums wird ebenfalls von Thales unterstützt, einem federführenden Unternehmen in Clean Sky 2. Quelle: CSEM