Fraunhofer-Center für Maritime Logistik und Dienstleistungen
Fraunhofer-Center für Maritime Logistik und Dienstleistungen

Test von NEMO im Schiffsführungssimulator

© Fraunhofer CML

NEMO Benutzeroberfläche

NEMO – Dialogbasierte Befehlseingabe an Bord

NEMO ist eine sprachbasierte Mensch‑Schiff‑Schnittstelle des Fraunhofer CML für Navigation und Lagebild auf der Brücke. Sprache ersetzt Tastatureingaben durch sichere Closed‑Loop‑Dialoge – auch ohne permanente Konnektivität.

Projektdarstellung

Projektbeschreibung und Hintergrund

NEMO ist die dialogbasierte Mensch‑Schiff‑Schnittstelle des Fraunhofer CML (Team Maritime Informatics) für Navigation und Lagebild auf der Brücke. Sie ersetzt Tastatureingaben durch schnelle, intuitive Sprachbefehle, arbeitet weitgehend offline und kann optional Stimmbiometrie zur Authentisierung nutzen. Um die Informationsflut zahlreicher Displays und Warnhinweise zu reduzieren, priorisiert NEMO relevante Daten und gibt sie verbal aus. Sicherheit ist gewährleistet durch Closed‑Loop‑Kommunikation (Readback), mehrstufige Transkription und klassische NLP‑Verfahren mit geringer Halluzinationsneigung. Vor der Ausführung prüft NEMO verfügbare Kapazitäten und die nautische Situation (z. B. umgebende Schiffe) und liefert ein Lagebild mit kritischen Abständen sowie der Zeit bis zur nächsten Annäherung. Die Oberfläche integriert u. a. ECDIS und zeigt Kurs und Geschwindigkeit; trainiert wird mit SMCP (Standard Marine Communication Phrases) und typischer Brückenkommunikation. NEMO wird im Schiffssimulator des Fraunhofer CML validiert – Ziel ist die zuverlässige Abdeckung einer breiten Befehlspalette unter Aufsicht der Schiffsführung.

So funktioniert NEMO:

  1. Audioaufnahme über Brücken‑Mikrofon
  2. Mehrstufige Transkription in Echtzeit
  3. NLP: Intent‑/Entitäten‑Erkennung
  4. Sicherheitslogik: Prüfung von Kapazitäten/Handlungsspielräumen (nautische Situation, umgebende Schiffe)
  5. Closed‑Loop‑Bestätigung (Readback)
  6. Ausführung/Visualisierung (z. B. ECDIS‑Anzeige) und verbales Feedback

Fakten auf einen Blick

Aspekt Inhalt
Nutzen Schnelle, intuitive Befehle und Abfragen; Entlastung in komplexen Brückensituationen
Sicherheit Closed‑Loop‑Kommunikation (Bestätigung/Readback), Kapazitäts‑ und Situationsprüfung vor Ausführung
Technik Mehrstufige Transkription (Echtzeit‑ASR) + klassische NLP‑Verfahren mit geringer Halluzination
Training Standard Marine Communication Phrases (SMCP) und typische Brückenkommunikation
Integration ECDIS‑Anzeige, NEMO‑UI mit Kurs/Geschwindigkeit, Mikrofon‑Eingabe
Betrieb Lokal lauffähig, weitgehend unabhängig von Konnektivität; Option Stimm‑Biometrie
Entwicklung Fraunhofer CML, Team Maritime Informatics; Validierung in der CML‑Schiffssimulatorumgebung
Status/Ziel Ziel: Verständnis „aller denkbaren“ Anweisungen/Fragen und Ausführung unter Aufsicht der Schiffsführung

Projektstatus

  • In Entwicklung und Simulatorvalidierung; Ziel: breite Befehlspalette, sichere Ausführung unter Aufsicht