KI Forschungsprojekt

Videokonferenzen sind inzwischen ein unverzichtbares Tool im Berufs- und Privatleben. Da die Interaktion rein virtuell stattfindet, fehlen wichtige nonverbale Signale, die in der realen Welt entscheidend sind. Das macht die Kommunikation oft unpersönlich und erschwert es, das Engagement der Teilnehmer richtig einzuschätzen – insbesondere in großen Konferenzen mit vielen Zuhörern.

Durch den Einsatz von Künstlicher Intelligenz soll es möglich werden, das Engagement der Teilnehmer zu messen. Dies könnte den Rednern helfen, die Dynamik in der Gruppe besser zu verstehen und KI-gestützte Funktionen, wie etwa die automatische Anpassung des Fokus auf aktive Sprecher, zu nutzen. Eine große Herausforderung bleibt jedoch, dieses Engagement in realen, nicht-laborbasierten Umgebungen und auf individueller Basis zu erfassen.

Um das Engagement zu messen, haben wir verschiedene Systeme zur Gesichtserkennung getestet, darunter MotiSpectra. Dieses Projekt zur Live-Gesichtserkennung und Emotionsmessung wurde von Studenten der Universität von Waterloo entwickelt und auf der ConUHacks 2024 vorgestellt. Es arbeitet mit Bildschirmaufnahmen und ist auf GitHub verfügbar.

Unsere Tests mit MotiSpectra und weiteren KIs, die auf unterschiedlich trainierten Datensätzen basierten, haben gezeigt, dass die zuverlässige Erkennung von Emotionen und damit die Vorhersage von Sprechabsichten derzeit noch nicht umsetzbar ist. Daher haben wir die Erforschung dieses Ansatzes vorerst eingestellt und uns anderen Lösungen zugewandt.

Gemeinsam mit der FraUAS haben wir unsere Ergebnisse und Erfahrungen in einem wissenschaftlichen Paper zusammengefasst, das auf der ISMIT in Istanbul vorgestellt wird. Weitere Informationen und ein Link zum Paper werden im Dezember folgen.

Aufbauend auf unseren Erkenntnissen haben wir uns mit der Bilderkennung beschäftigt. Mithilfe einer Open-Source-KI entwickelten wir ein System, das Bilder automatisch textuell beschreibt. Diese Beschreibungen können dann als ALT-Tags auf Websites verwendet werden, um die Barrierefreiheit zu verbessern. Gleichzeitig tragen ALT-Tags zur Suchmaschinenoptimierung bei, was sie besonders wertvoll macht.

Obwohl die Emotionserkennung noch nicht ausgereift ist, bieten andere KI-Anwendungen wie die Bilderkennung großes Potenzial. Die Integration solcher Technologien in alltägliche Systeme wie Videokonferenzen oder Websites wird in Zukunft sicherlich weiter an Bedeutung gewinnen.

Seit der Einführung des Barrierefreiheitsstärkungsgesetzes (BFSG) wird die Barrierefreiheit auch in Videokonferenzen immer wichtiger. Menschen mit Einschränkungen, insbesondere Hörgeschädigte, haben oft Schwierigkeiten, an Konferenzen teilzunehmen. Hier setzt unser Forschungsprojekt an.

Neben einem barrierefreien Interface können Audiostreams durch Untertitel ergänzt und am Ende der Konferenz Transkripte bereitgestellt werden. Dies ermöglicht es Gehörlosen, aktiv an den Gesprächen teilzunehmen. Wir entwickeln derzeit einen Prototypen, der diese Funktionen mithilfe von KI unterstützt und prüfen dabei die Qualität der automatischen Transkription.

Durch verschiedene Speech-to-Text-Methoden können Untertitel und Zusammenfassungen der Konferenzen erstellt und allen Teilnehmern zugänglich gemacht werden. Unser Ziel ist es, KI-basierte Technologien einzusetzen, um Videokonferenzen für alle Menschen zugänglicher zu gestalten.