Multimodale KI bezeichnet künstliche Intelligenz, die unterschiedliche Arten von Informationen wie Text, Bilder, Audio oder Video verarbeiten und miteinander in Beziehung setzen kann. Ein multimodales KI-System kann beispielsweise ein Foto analysieren, eine dazu formulierte Frage verstehen und beide Informationen gemeinsam für eine Antwort berücksichtigen.
Entscheidend ist dabei nicht nur, dass verschiedene Datentypen verarbeitet werden können. Multimodale Systeme können Informationen aus mehreren Modalitäten innerhalb einer Aufgabe zusammenführen. Dadurch eignen sie sich für Anwendungen, bei denen relevante Informationen gleichzeitig in Texten, Bildern, Sprache, Videos oder anderen Datenquellen enthalten sind.
Eine KI wird als multimodal bezeichnet, wenn sie Informationen aus mehreren unterschiedlichen Modalitäten verarbeiten kann. Typische Modalitäten sind geschriebener Text, gesprochene Sprache, Bilder, Videoaufnahmen oder Sensordaten.
Multimodale KI ist besonders für Situationen relevant, in denen Informationen nicht isoliert in einer einzigen Datenform vorliegen. Technisch beschreibt Multimodalität die Fähigkeit eines KI-Systems, unterschiedliche Informationsformen innerhalb einer Aufgabe zu verarbeiten und miteinander zu verknüpfen.
Eine Modalität ist vereinfacht eine bestimmte Form von Information. Text ist eine Modalität, ein Bild eine andere. Auch Sprache, Geräusche, Videos oder Sensordaten können je nach System eigene Modalitäten darstellen.
Welche Modalitäten eine KI unterstützt, hängt vom jeweiligen Modell und dessen technischer Umsetzung ab. Ein System muss daher nicht gleichzeitig Text, Bild, Sprache und Video verarbeiten können, um als multimodal zu gelten. Bereits die gemeinsame Verarbeitung von beispielsweise Text und Bild ist eine Form von Multimodalität.
Eine Person fotografiert beispielsweise ein beschädigtes Bauteil und fragt:
„Was könnte hier defekt sein?“
Eine rein textbasierte KI könnte das Bild nicht unmittelbar in ihre Analyse einbeziehen. Ein multimodales System kann dagegen sowohl die Bildinformationen als auch die Textfrage berücksichtigen. Das gleiche Prinzip lässt sich auf andere Aufgaben übertragen. Ein System kann beispielsweise:
Unterschiedliche Datenarten müssen zunächst in einer Form verarbeitet werden, mit der das KI-Modell arbeiten kann. Text, Bilder oder Audiodaten besitzen jeweils andere Strukturen und benötigen daher unterschiedliche Verfahren zur Aufbereitung.
In einem ersten Schritt verarbeitet das System die jeweiligen Eingaben. Bei Text können beispielsweise Wörter, Bedeutungszusammenhänge und Satzstrukturen relevant sein. Bei Bildern geht es unter anderem um Objekte, Formen, räumliche Beziehungen oder sichtbare Schrift. Audiodaten können Sprache, Geräusche oder zeitliche Muster enthalten.
Die Eingaben werden dabei in mathematische Repräsentationen überführt, die vom Modell weiterverarbeitet werden können.
Der wesentliche Schritt besteht darin, Informationen aus verschiedenen Modalitäten miteinander zu verknüpfen. Erhält ein System beispielsweise ein Produktfoto zusammen mit der Frage „Welche Farbe hat der linke Knopf?“, muss es erkennen, dass sich die sprachliche Formulierung auf einen bestimmten Bereich des Bildes bezieht.
Solche Verknüpfungen werden je nach technischer Umsetzung unter anderem als multimodale Fusion oder Cross-Modal-Verarbeitung bezeichnet. Die konkrete Architektur unterscheidet sich zwischen verschiedenen Modellen.
Auf Grundlage der verknüpften Informationen kann das System anschließend eine Aufgabe bearbeiten. Dazu gehören beispielsweise:
Mehrere Modalitäten führen jedoch nicht automatisch zu korrekteren Ergebnissen. Ein unscharfes Bild, eine mehrdeutige Frage oder widersprüchliche Informationen können die Qualität der Ausgabe beeinträchtigen.
| Begriff | Kerneigenschaft | Einfaches Beispiel |
|---|---|---|
Begriff | Kerneigenschaft | Einfaches Beispiel |
Unimodale KI | verarbeitet hauptsächlich eine einzelne Modalität | Text klassifizieren |
Multimodale KI | verarbeitet Informationen aus mehreren Modalitäten | Bild + Frage → Antwort |
Generative KI | erzeugt neue Inhalte | Text, Bild oder Audio generieren |
Large Language Model (LLM) | ist auf die Verarbeitung und Erzeugung von Sprache ausgerichtet | Text verstehen und formulieren |
Vision Language Model (VLM) | verbindet visuelle und sprachliche Informationen | Bild analysieren und Fragen dazu beantworten |
Multimodalität beschreibt, welche unterschiedlichen Informationsformen ein System verarbeiten beziehungsweise miteinander verbinden kann. Generative KI beschreibt dagegen die Fähigkeit, neue Inhalte zu erzeugen.
Ein KI-System kann daher gleichzeitig multimodal und generativ sein. Auch LLMs und multimodale Systeme schließen sich nicht grundsätzlich gegenseitig aus. Sprachmodelle können um Fähigkeiten für die Verarbeitung weiterer Modalitäten ergänzt oder von Beginn an entsprechend entwickelt werden.
Generative KI beschreibt Systeme, die neue Inhalte erzeugen. Multimodalität beschreibt die Verarbeitung unterschiedlicher Informationsarten. Ein System kann beide Eigenschaften besitzen, sie sind jedoch nicht gleichbedeutend.
Eine KI muss nicht sämtliche denkbaren Modalitäten unterstützen. Auch ein System, das beispielsweise Text und Bilder gemeinsam verarbeitet, kann multimodal sein.
Zusätzliche Informationsquellen können mehr Kontext bereitstellen. Fehlerhafte Interpretationen, Halluzinationen oder unzureichende Eingangsdaten bleiben dennoch möglich.
Bei einem Multi-Model-System arbeiten mehrere KI-Modelle innerhalb einer Anwendung oder eines Prozesses zusammen. Multimodalität beschreibt dagegen die Fähigkeit, unterschiedliche Informationsarten zu verarbeiten. Beide Konzepte können kombiniert auftreten, sind aber nicht identisch.
Geschäftsdokumente können neben Fließtext beispielsweise Tabellen, Diagramme, Formulare, Stempel oder Bilder enthalten. Multimodale Systeme können verschiedene Bestandteile eines Dokuments gemeinsam berücksichtigen und beispielsweise Fragen zum Dokument beantworten oder Informationen daraus extrahieren.
Eine KI kann sichtbare Inhalte erkennen, beschreiben und mit sprachlichen Informationen kombinieren. Bei Videos kommen zusätzlich zeitliche Abläufe und Veränderungen zwischen einzelnen Bildern hinzu.
Multimodale Systeme können gesprochene Inhalte mit weiteren Informationen verbinden. Ein Assistenzsystem kann beispielsweise eine Spracheingabe verarbeiten und gleichzeitig visuelle Informationen berücksichtigen.
Bilddaten von Produkten oder Maschinen können mit technischen Daten, Produktionsinformationen oder Sensormessungen kombiniert werden. Dadurch lassen sich unterschiedliche Informationsquellen innerhalb eines Prüf- oder Analyseprozesses gemeinsam berücksichtigen.
Nutzer können zusätzlich zu einer geschriebenen Frage beispielsweise Fotos, Screenshots oder Dokumente bereitstellen. Dadurch stehen einem KI-System Informationen zur Verfügung, die andernfalls zunächst ausführlich in Textform beschrieben werden müssten.
Mehr Modalitäten erhöhen nicht automatisch die Zuverlässigkeit eines KI-Systems. Fehler können bereits bei der Verarbeitung einzelner Eingaben entstehen oder erst bei deren Kombination. Ein Modell kann beispielsweise ein Objekt auf einem Bild falsch erkennen und darauf aufbauend eine sprachlich plausible, aber sachlich falsche Antwort erzeugen.
Eine wichtige Rolle spielt daher die Datenqualität. Unscharfe Bilder, schlechte Tonaufnahmen, fehlender Kontext oder widersprüchliche Informationen können die Verarbeitung erschweren.
Weitere mögliche Herausforderungen sind:
Werden Fotos, Audioaufnahmen, Videos oder interne Dokumente verarbeitet, können darin personenbezogene oder vertrauliche Informationen enthalten sein. Unternehmen müssen deshalb unter anderem prüfen, welche Daten verarbeitet werden, zu welchem Zweck dies geschieht und welche rechtlichen sowie organisatorischen Anforderungen gelten.
Multimodalität erweitert die verfügbare Informationsbasis eines Systems. Die grundlegenden Grenzen KI-basierter Ergebnisse bleiben jedoch bestehen.
Zu bekannten multimodalen Modellsystemen gehören unter anderem Google Gemini sowie aktuelle Modelle der GPT-Familie von OpenAI.
Welche Ein- und Ausgabeformen in der Praxis tatsächlich zur Verfügung stehen, hängt jedoch nicht allein vom zugrunde liegenden Modell ab. Auch das konkrete Produkt, die API, der Tarif und die technische Integration können den Funktionsumfang beeinflussen. Deshalb sollte zwischen den grundsätzlichen Fähigkeiten eines Modells und den Funktionen eines konkreten KI-Dienstes unterschieden werden.
Unternehmensinformationen liegen häufig in verschiedenen Datenformen vor. Rechnungen enthalten beispielsweise Texte und Tabellen, technische Dokumentationen zusätzlich Zeichnungen, Produktionsprozesse erzeugen Bild- und Sensordaten und Kunden übermitteln Screenshots, Dokumente oder Sprachaufnahmen. Multimodale Systeme können solche Informationen innerhalb gemeinsamer Prozesse verarbeiten.
Mögliche Einsatzfelder sind unter anderem:
Ob eine multimodale Lösung sinnvoll ist, hängt vom jeweiligen Prozess ab. Relevant sind insbesondere die vorhandenen Daten, die gewünschte Genauigkeit, Datenschutzanforderungen, Integrationsaufwand und Kosten.
Multimodale KI erweitert künstliche Intelligenz um die Möglichkeit, unterschiedliche Datenarten gemeinsam zu interpretieren. Statt ausschließlich Text, Bilder oder Audio isoliert zu betrachten, können entsprechende Systeme Zusammenhänge zwischen mehreren Informationsquellen herstellen.
Dadurch entstehen Anwendungen, die stärker an realen Informationssituationen ausgerichtet sind – von der Dokumentenanalyse über visuelle Assistenzsysteme bis zur industriellen Qualitätskontrolle. Gleichzeitig bleiben Datenqualität, Datenschutz, Rechenaufwand und mögliche Fehlinterpretationen zentrale Grenzen. Multimodalität ist damit weder ein Synonym für generative KI noch automatisch ein Qualitätsmerkmal. Sie beschreibt zunächst eine technische Fähigkeit: mehrere Informationsarten innerhalb eines gemeinsamen Kontextes zu verarbeiten.
ChatGPT kann abhängig vom eingesetzten Modell und den verfügbaren Produktfunktionen verschiedene Informationsarten verarbeiten. Aktuelle OpenAI-Modelle unterstützen unter anderem Text- und Bildeingaben beziehungsweise Vision-Fähigkeiten. Welche Funktionen in ChatGPT konkret verfügbar sind, kann sich je nach Modell, Tarif und Produktversion unterscheiden.
Generative KI bezeichnet Systeme, die neue Inhalte wie Text, Bilder oder Audio erzeugen können. Multimodale KI bezeichnet Systeme, die mehrere Informationsarten verarbeiten und miteinander verbinden. Ein KI-System kann beide Eigenschaften gleichzeitig besitzen.
Ja. Ein Vision Language Model verbindet mindestens visuelle und sprachliche Informationen und ist damit eine Form multimodaler KI. Es kann beispielsweise ein Bild zusammen mit einer Textfrage verarbeiten.
Je nach Modell können unter anderem Text, Bilder, Audio, Video, Code, strukturierte Daten oder Sensordaten verarbeitet werden. Welche Kombinationen unterstützt werden, unterscheidet sich zwischen den jeweiligen Systemen.
Nein. Multimodalität beschreibt zunächst die Verarbeitung unterschiedlicher Informationsarten. Ein System kann multimodale Daten beispielsweise auch ausschließlich analysieren oder klassifizieren, ohne selbst neue Inhalte zu generieren.
Multimodale KI bezieht sich auf die Verarbeitung verschiedener Modalitäten. Ein Multi-Model-System bezeichnet dagegen eine Architektur, bei der mehrere Modelle miteinander kombiniert werden. Mehrere Modelle können dabei multimodal sein, müssen es aber nicht.
