Co to jest okno kontekstowe modelu AI?

Jak działa okno kontekstowe

Model językowy nie ma pamięci w ludzkim sensie. Przy każdej odpowiedzi dostaje całą dotychczasową rozmowę od nowa, razem z instrukcjami i załącznikami, i wszystko to musi zmieścić się w oknie kontekstowym. Kiedy rozmowa się wydłuża, aplikacja zaczyna ucinać albo streszczać najstarsze wiadomości. Stąd wrażenie, że model „zapomniał”, co ustaliliście na początku.

Wielkość okna podaje się w tokenach. Dzisiejsze modele mają okna od kilkudziesięciu tysięcy do ponad miliona tokenów. Milion tokenów to w przybliżeniu kilka grubych książek po angielsku, po polsku odpowiednio mniej.

Większe okno nie zawsze znaczy lepiej

Kusi, żeby wrzucać do modelu wszystko: całą dokumentację, wszystkie maile z klientem, cały regulamin. Działa to gorzej, niż się wydaje. Badania pokazują, że modele najlepiej wykorzystują informacje z początku i końca długiego kontekstu, a te ze środka potrafią przeoczyć. Każdy dodatkowy token to też koszt i dłuższy czas odpowiedzi.

Dlatego w projektach zamiast wklejać wszystko, podaję modelowi tylko fragmenty pasujące do pytania. Na tym polega RAG. Mniejszy, dobrze dobrany kontekst prawie zawsze wygrywa z wielkim i przypadkowym.

Okno kontekstowe a pamięć agenta

Jeśli asystent AI pamięta Twoje preferencje z zeszłego tygodnia, to nie dlatego, że ma ogromne okno. System zapisuje notatki z rozmów i przy kolejnej rozmowie wkłada najważniejsze z nich z powrotem do kontekstu. Więcej o tym przy haśle pamięć agenta AI.