Co to jest model multimodalny?

Co potrafi

Pierwsze modele językowe przyjmowały tylko tekst. Dziś większość czołowych modeli „widzi” też obrazy: zdjęcie, zrzut ekranu, wykres, skan dokumentu, odręczną notatkę. Część obsługuje dźwięk bezpośrednio, bez osobnej zamiany mowy na tekst, i potrafi odpowiedzieć głosem.

W praktyce oznacza to, że klient może wysłać zdjęcie zamiast opisu, a system zrozumie, o co chodzi.

Przykłady z firm

Warsztat samochodowy dostaje na WhatsApp zdjęcie wgniecionego zderzaka i odpisuje ze wstępną wyceną oraz terminem oględzin, tak jak opisuję na stronie o AI dla warsztatów samochodowych. Biuro rachunkowe odczytuje faktury ze zdjęć zrobionych telefonem, co rozwijam w tekście o automatyzacji faktur i dokumentów. Sklep internetowy przyjmuje reklamację ze zdjęciem uszkodzonego towaru.

Ograniczenia

Modele radzą sobie coraz lepiej, ale nie bezbłędnie. Mają kłopot z nieczytelnym pismem, rozmazanymi zdjęciami i bardzo drobnym drukiem. Źle szacują dokładne wymiary na podstawie zdjęcia. Liczby odczytane z dokumentu, szczególnie kwoty i numery kont, zawsze sprawdzam dodatkowo w kodzie albo przez człowieka, zanim trafią do księgowości.