Hochschule Rhein-Waal entwickelt hybride Mensch-Maschine-Kommunikation
Die Kommunikation zwischen Mensch und Maschine wird in Zeiten von Smartphone und Smart Home zunehmend einfacher und direkter. Tastbare Schnittstellen werden immer häufiger durch neuartige Schnittstellen – etwa Sprach- oder Gesichtserkennungssysteme – ersetzt. Im Projekt M³S entwickelte die Hochschule Rhein-Waal nun zur Verbesserung der Mensch-Maschine-Kommunikation eine hybride Schnittstelle insbesondere für gelähmte Menschen.
Für eine erfolgreiche Integration berührungsloser Schnittstellen bei der Kommunikation zwischen Mensch und Maschine in den Alltagsgebrauch müssen vorhandene Systeme für jedermann ohne lange Trainingsphasen nutzbar sein. Im Rahmen des M3S Verbundprojektes mit Partnern aus Forschung und Industrie (Universität Bielefeld; polyoptics GmbH und MediaBlix-IIT GmbH) entwickelte die Hochschule Rhein-Waal dafür eine neue hybride, alltagstaugliche und nicht-invasive Gehirn-Maschine-Schnittstelle (Brain-Machine Interface – BMI). Sie kombiniert die Messung von Gehirnsignalen und Augenbewegungen. Die Kombination beider Signale in einem hybriden System verbessert die Verlässlichkeit und erhöht die intuitive Nutzbarkeit des BMI und damit auch dessen Einsatzmöglichkeit.
Das System ermöglicht insbesondere Menschen mit Einschränkungen, selbstbestimmt am öffentlichen und sozialen Leben teilzunehmen. Sie können damit sicher und schnell mit anderen Menschen kommunizieren sowie beispielsweise Haushaltsgeräte eigenständig steuern. Diese – für Menschen ohne Einschränkungen als selbstverständlich empfundene – Unabhängigkeit von externer Hilfe und Pflege kann eine große Bereicherung im Alltag sein. In Abhängigkeit von der Art und dem Grad der Einschränkung der Nutzer*innen kann der prozentuale Beitrag von Augenbewegungen und Gehirnsignalen (Elektroenzephalografie – EEG) individuell angepasst werden. So sind beispielsweise bei dem sogenannten Locked-In Syndrom fast alle Augenmuskeln gelähmt. Je nach Ausprägung sind nur vertikale oder gar keine Augenbewegungen mehr möglich. Hier liegt der Fokus des Systems dann auf der Messung von Gehirnsignalen.
Dafür wurde eine besonders zuverlässig zu messende Form von Gehirnsignalen (EEG) – die sogenannten Steady State Visually Evoked Potentials (SSVEP) – genutzt. Diese Signale treten immer dann auf, wenn die Netzhaut großflächig mit einem wechselnden visuellen Signal stimuliert wird. Fällt der Blick zum Beispiel direkt auf eine mit einer bestimmten Frequenz hinterlegten Stelle auf einen Monitor, so findet sich genau diese Frequenz prominent in den EEG-Signalen der Sehrinde wieder. Anhand der jeweils gemessenen Frequenz können so unterschiedliche Kommandos kodiert und eine Aktion entsprechend ausgewählt werden. Die dabei gemessenen EEG-Signale werden daraufhin im nächsten Schritt in Echtzeit von speziell angepassten Algorithmen analysiert. Die Algorithmen wurden in der Arbeitsgruppe von Professor Dr.-Ing. Ivan Volosyak, Professor für Biomedizin und Engineering und Projektleiter, entwickelt.
Damit eine möglichst hohe Zahl unterschiedlicher Frequenzen dargestellt werden kann, wurde im Projektverlauf in der Arbeitsgruppe Kognitronik und Sensorik der Universität Bielefeld unter der Leitung von Professor Dr.-Ing. Ulrich Rückert in Zusammenarbeit mit dem Unternehmen polyoptics aus Kleve ein spezieller Monitor entwickelt. Auf diesem lassen sich, im Gegensatz zu einem normalen Monitor, in verschiedenen abgetrennten Bereichen auf dem Bildschirm unabhängig voneinander unterschiedliche Bildwiederholfrequenzen gleichzeitig darstellen. Schaut der Betrachter nun auf diese Bereiche, so werden jeweils SSVEP-Gehirnsignale unterschiedlicher Frequenz erzeugt, die dann für die Steuerung verschiedener Aktionen oder Geräte genutzt werden können.
Um die Zuverlässigkeit des Interfaces weiter zu erhöhen, wurde die Messung der Gehirnsignale mit der Messung von Augenbewegungen (Eyetracking) kombiniert. Die Kombination beider Signale kann die Selektionsgeschwindigkeit und -varianz der Steuerungsoptionen reduzieren. Dazu wurde der freie, quelloffene Eyetracker des Unternehmens Mediablix-IIT aus Bielefeld unter der Leitung von Professor Dr. Kai Essig, Professor für Human Factors, Interactive Systems, integriert. Ganz im Sinne aktueller Open Source und Open Access Initiativen ist die Software Libretracker auf der Onlineplattform GitHub frei verfügbar. Mit offenen, patentfreien Lösungen lassen sich kostengünstige Systeme für eine breite Bevölkerungsschicht entwickeln. Die in diesem Kontext besonders wichtige Datensicherheit und Privatsphäre kann bei Open-Source Lösungen durch Inspektion und Analyse von unabhängigen Experten besser garantiert werden. Die innovative Kombination von EEG und Eyetracking stellt daher eine neue, besonders unempfindliche Neurotechnologie dar, welche zugleich kostengünstig realisiert werden kann.
Das M³S-Forschungsprojekt wird im Rahmen des Programmes “NRW 2014 – 2020” aus dem Europäischen Fond für Regionale Entwicklung (EFRE) „Investitionen in Wachstum und Beschäftigung“ und der Landesregierung Nordrhein-Westfalen (Kennzeichen IT-1-2-001) gefördert. Verantwortlich für das Förderprogramm ist die LeitmarktAgentur.NRW mit Sitz im Forschungszentrum Jülich.
