Multimodale AI verwijst naar kunstmatige intelligentie die verschillende soorten informatie, zoals tekst, afbeeldingen, audio of video, kan verwerken en met elkaar in verband kan brengen. Een multimodaal AI-systeem kan bijvoorbeeld een foto analyseren, een bijbehorende vraag begrijpen en beide stukjes informatie samen in aanmerking nemen bij het formuleren van een antwoord.
Daarbij is het niet alleen van belang dat verschillende soorten gegevens kunnen worden verwerkt. Multimodale systemen kunnen informatie uit meerdere modaliteiten binnen één taak samenbrengen. Daardoor zijn ze geschikt voor toepassingen waarbij relevante informatie tegelijkertijd in teksten, afbeeldingen, spraak, video’s of andere gegevensbronnen is opgenomen.
Een AI wordt als multimodaal aangeduid wanneer deze informatie uit verschillende modaliteiten kan verwerken. Typische modaliteiten zijn geschreven tekst, gesproken taal, afbeeldingen, video-opnames of sensorgegevens.
Multimodale AI is met name relevant voor situaties waarin informatie niet geïsoleerd in één enkele gegevensvorm voorhanden is. Technisch gezien beschrijft multimodaliteit het vermogen van een AI-systeem om verschillende informatievormen binnen één taak te verwerken en met elkaar te koppelen.
Een modaliteit is, eenvoudig gezegd, een bepaalde vorm van informatie. Tekst is een modaliteit, een afbeelding een andere. Ook spraak, geluiden, video’s of sensorgegevens kunnen, afhankelijk van het systeem, eigen modaliteiten vormen.
Welke modaliteiten een AI ondersteunt, hangt af van het betreffende model en de technische uitvoering ervan. Een systeem hoeft daarom niet tegelijkertijd tekst, afbeeldingen, spraak en video te kunnen verwerken om als multimodaal te worden beschouwd. Alleen al de gezamenlijke verwerking van bijvoorbeeld tekst en afbeeldingen is een vorm van multimodaliteit.
Iemand fotografeert bijvoorbeeld een beschadigd onderdeel en vraagt:
„Wat zou hier defect kunnen zijn?“
Een puur op tekst gebaseerde AI zou de afbeelding niet direct in haar analyse kunnen meenemen. Een multimodaal systeem kan daarentegen zowel de beeldinformatie als de tekstvraag in aanmerking nemen. Hetzelfde principe kan worden toegepast op andere taken. Een systeem kan bijvoorbeeld:
Verschillende soorten gegevens moeten eerst worden verwerkt in een vorm waarmee het AI-model kan werken. Tekst, afbeeldingen of audiogegevens hebben elk een andere structuur en vereisen daarom verschillende verwerkingsmethoden.
In een eerste stap verwerkt het systeem de betreffende invoer. Bij tekst kunnen bijvoorbeeld woorden, betekenisverbanden en zinsstructuren relevant zijn. Bij afbeeldingen gaat het onder andere om objecten, vormen, ruimtelijke relaties of zichtbare tekst. Audiogegevens kunnen spraak, geluiden of temporele patronen bevatten.
De invoer wordt daarbij omgezet in wiskundige representaties, die door het model verder kunnen worden verwerkt.
De essentiële stap bestaat erin informatie uit verschillende modaliteiten met elkaar te koppelen. Als een systeem bijvoorbeeld een productfoto ontvangt samen met de vraag „Welke kleur heeft de linkerknoop?“, moet het herkennen dat de taalkundige formulering betrekking heeft op een bepaald deel van de afbeelding.
Dergelijke koppelingen worden, afhankelijk van de technische uitvoering, onder andere aangeduid als multimodale fusie of cross-modale verwerking. De concrete architectuur verschilt per model.
Op basis van de gekoppelde informatie kan het systeem vervolgens een taak uitvoeren. Hieronder vallen bijvoorbeeld:
Meerdere modaliteiten leiden echter niet automatisch tot correctere resultaten. Een onscherp beeld, een dubbelzinnige vraag of tegenstrijdige informatie kunnen de kwaliteit van de output aantasten.
| Begrip | Kerneigenschap | Eenvoudig voorbeeld |
|---|---|---|
Unimodale AI | verwerkt voornamelijk één modaliteit | Tekst classificeren |
Multimodale AI | verwerkt informatie uit meerdere modaliteiten | Afbeelding + vraag → antwoord |
Generatieve AI | genereert nieuwe inhoud | Tekst, afbeeldingen of audio genereren |
Large Language Model (LLM) | is voornamelijk gericht op het verwerken en genereren van taal | Tekst begrijpen en formuleren |
Vision Language Model (VLM) | combineert visuele en talige informatie | Een afbeelding analyseren en vragen erover beantwoorden |
Multimodaliteit beschrijft welke verschillende vormen van informatie een systeem kan verwerken of met elkaar kan combineren. Generatieve AI beschrijft daarentegen het vermogen om nieuwe inhoud te genereren.
Een AI-systeem kan daarom tegelijkertijd multimodaal en generatief zijn. Ook LLM’s en multimodale systemen sluiten elkaar niet per definitie uit. Taalmodellen kunnen worden uitgebreid met mogelijkheden voor de verwerking van andere modaliteiten of vanaf het begin daarvoor worden ontwikkeld.
Generatieve AI verwijst naar systemen die nieuwe inhoud genereren. Multimodaliteit verwijst naar de verwerking van verschillende soorten informatie. Een systeem kan beide eigenschappen bezitten, maar ze zijn niet synoniem.
Een AI hoeft niet alle denkbare modaliteiten te ondersteunen. Ook een systeem dat bijvoorbeeld tekst en afbeeldingen samen verwerkt, kan multimodaal zijn.
Aanvullende informatiebronnen kunnen meer context bieden. Toch blijven onjuiste interpretaties, hallucinaties of onvoldoende invoergegevens mogelijk.
Bij een multi-model-systeem werken meerdere AI-modellen binnen één toepassing of proces samen. Multimodaliteit beschrijft daarentegen het vermogen om verschillende soorten informatie te verwerken. Beide concepten kunnen samen voorkomen, maar zijn niet identiek.
Zakelijke documenten kunnen naast lopende tekst bijvoorbeeld tabellen, diagrammen, formulieren, stempels of afbeeldingen bevatten. Multimodale systemen kunnen verschillende onderdelen van een document gezamenlijk in aanmerking nemen en bijvoorbeeld vragen over het document beantwoorden of informatie eruit halen.
Een AI kan zichtbare inhoud herkennen, beschrijven en combineren met taalkundige informatie. Bij video’s komen daar nog tijdsverloop en veranderingen tussen afzonderlijke beelden bij.
Multimodale systemen kunnen gesproken inhoud koppelen aan aanvullende informatie. Een assistentiesysteem kan bijvoorbeeld een spraakinvoer verwerken en tegelijkertijd rekening houden met visuele informatie.
Beeldgegevens van producten of machines kunnen worden gecombineerd met technische gegevens, productie-informatie of sensormetingen. Hierdoor kan binnen een test- of analyseproces rekening worden gehouden met verschillende informatiebronnen.
Gebruikers kunnen naast een geschreven vraag bijvoorbeeld ook foto’s, schermafbeeldingen of documenten toevoegen. Hierdoor beschikt een AI-systeem over informatie die anders eerst uitgebreid in tekstvorm zou moeten worden beschreven.
Meer modaliteiten zorgen niet automatisch voor een grotere betrouwbaarheid van een AI-systeem. Fouten kunnen al ontstaan bij de verwerking van afzonderlijke invoergegevens of pas bij de combinatie daarvan. Een model kan bijvoorbeeld een object op een afbeelding verkeerd herkennen en op basis daarvan een taalkundig aannemelijk, maar inhoudelijk onjuist antwoord genereren.
De kwaliteit van de gegevens speelt daarom een belangrijke rol. Onscherpe afbeeldingen, slechte geluidsopnames, ontbrekende context of tegenstrijdige informatie kunnen de verwerking bemoeilijken.
Andere mogelijke uitdagingen zijn:
Wanneer foto's, geluidsopnames, video's of interne documenten worden verwerkt, kunnen deze persoonsgegevens of vertrouwelijke informatie bevatten. Bedrijven moeten daarom onder andere nagaan welke gegevens worden verwerkt, voor welk doel dit gebeurt en welke wettelijke en organisatorische vereisten van toepassing zijn.
Multimodaliteit breidt de beschikbare informatiebasis van een systeem uit. De fundamentele beperkingen van op AI gebaseerde resultaten blijven echter bestaan.
Tot de bekende multimodale modelsystemen behoren onder andere Google Gemini en de nieuwste modellen uit de GPT-familie van OpenAI.
Welke invoer- en uitvoervormen in de praktijk daadwerkelijk beschikbaar zijn, hangt echter niet alleen af van het onderliggende model. Ook het concrete product, de API, het tarief en de technische integratie kunnen de functionaliteit beïnvloeden. Daarom moet er onderscheid worden gemaakt tussen de fundamentele mogelijkheden van een model en de functies van een concrete AI-dienst.
Bedrijfsinformatie is vaak beschikbaar in verschillende gegevensvormen. Facturen bevatten bijvoorbeeld tekst en tabellen, technische documentatie bevat daarnaast tekeningen, productieprocessen genereren beeld- en sensorgegevens en klanten sturen screenshots, documenten of geluidsopnames door. Multimodale systemen kunnen dergelijke informatie binnen gezamenlijke processen verwerken.
Mogelijke toepassingsgebieden zijn onder andere:
Of een multimodale oplossing zinvol is, hangt af van het betreffende proces. Met name de beschikbare gegevens, de gewenste nauwkeurigheid, de vereisten op het gebied van gegevensbescherming, de integratie-inspanning en de kosten zijn daarbij van belang.
Multimodale AI breidt kunstmatige intelligentie uit met de mogelijkheid om verschillende soorten gegevens gezamenlijk te interpreteren. In plaats van uitsluitend tekst, afbeeldingen of audio afzonderlijk te bekijken, kunnen dergelijke systemen verbanden leggen tussen meerdere informatiebronnen.
Hierdoor ontstaan toepassingen die sterker zijn afgestemd op reële informatiesituaties – van documentanalyse en visuele assistentiesystemen tot industriële kwaliteitscontrole. Tegelijkertijd blijven gegevenskwaliteit, gegevensbescherming, rekeninspanning en mogelijke verkeerde interpretaties belangrijke beperkingen. Multimodaliteit is dus noch een synoniem voor generatieve AI, noch automatisch een kwaliteitskenmerk. Het beschrijft in de eerste plaats een technische capaciteit: het verwerken van meerdere soorten informatie binnen een gemeenschappelijke context.
ChatGPT kan verschillende soorten informatie verwerken, afhankelijk van het gebruikte model en de beschikbare productfuncties. De huidige OpenAI-modellen ondersteunen onder andere tekst- en afbeeldingsinvoer en beeldverwerkingsmogelijkheden. Welke functies er concreet beschikbaar zijn in ChatGPT, kan verschillen naargelang het model, het abonnement en de productversie.
Generatieve AI verwijst naar systemen die nieuwe inhoud, zoals tekst, afbeeldingen of audio, kunnen genereren. Multimodale AI verwijst naar systemen die meerdere soorten informatie verwerken en met elkaar verbinden. Een AI-systeem kan beide eigenschappen tegelijkertijd bezitten.
Ja. Een Vision Language Model combineert ten minste visuele en taalkundige informatie en is daarmee een vorm van multimodale AI. Het kan bijvoorbeeld een afbeelding samen met een tekstuele vraag verwerken.
Afhankelijk van het model kunnen onder andere tekst, afbeeldingen, audio, video, code, gestructureerde gegevens of sensorgegevens worden verwerkt. Welke combinaties worden ondersteund, verschilt per systeem.
Nee. Multimodaliteit verwijst in de eerste plaats naar de verwerking van verschillende soorten informatie. Een systeem kan multimodale gegevens bijvoorbeeld ook uitsluitend analyseren of classificeren, zonder zelf nieuwe inhoud te genereren.
Multimodale AI heeft betrekking op de verwerking van verschillende modaliteiten. Een multi-model-systeem daarentegen verwijst naar een architectuur waarin meerdere modellen met elkaar worden gecombineerd. Meerdere modellen kunnen daarbij multimodaal zijn, maar dat hoeft niet.
