Co to jest transformer w AI? Architektura, na której działa ChatGPT

Skąd się wziął

Transformer opisali badacze Google w 2017 roku w pracy zatytułowanej „Attention Is All You Need”. Miał poprawić tłumaczenie maszynowe, a stał się fundamentem całej generatywnej AI. Litera T w nazwie GPT pochodzi właśnie od niego: Generative Pre-trained Transformer.

Mechanizm uwagi prostymi słowami

Weźmy zdanie: „Klient zadzwonił do biura, bo nikt z niego nie odpisał na maila”. Żeby je zrozumieć, trzeba wiedzieć, że „z niego” odnosi się do biura, a nie do klienta. Mechanizm uwagi robi dokładnie to. Dla każdego słowa ocenia, które inne słowa w tekście są dla niego ważne, i łączy je ze sobą, nawet jeśli dzieli je kilka akapitów.

Wcześniejsze sieci czytały tekst słowo po słowie i gubiły wątek przy dłuższych zdaniach. Transformer patrzy na cały fragment naraz. To pozwoliło trenować go równolegle na tysiącach kart graficznych i karmić ilościami tekstu, które wcześniej były nie do przerobienia.

Co to oznacza w praktyce

Dla firmy szczegóły architektury nie mają znaczenia, ale dwie konsekwencje warto znać. Model pracuje na tokenach, a nie na słowach. A koszt obliczeń rośnie z długością tekstu, dlatego okno kontekstowe ma limit, a dłuższe prompty są wolniejsze i droższe.