Co to jest temperatura w modelach AI?

Jak działa temperatura

Przy każdym kolejnym tokenie model wylicza prawdopodobieństwa dla tysięcy możliwych kontynuacji. Temperatura zmienia sposób wyboru. Przy niskiej model niemal zawsze bierze najbardziej prawdopodobną opcję. Przy wysokiej częściej sięga po mniej oczywiste, więc tekst jest bardziej zaskakujący, ale łatwiej też o bzdurę.

Zakres zależy od dostawcy, zwykle od 0 do 1 albo od 0 do 2. Obok temperatury bywa jeszcze parametr top_p, który działa podobnie, tylko inną metodą. Dostawcy zalecają zmieniać jeden z nich, a nie oba naraz.

Jaką temperaturę ustawić

Do wyciągania danych z dokumentów, klasyfikacji zgłoszeń i odpowiedzi opartych na faktach ustawiam nisko, w okolicach 0 do 0,3. Do burzy mózgów, haseł reklamowych i tekstów, które mają brzmieć świeżo, wyżej, około 0,7 do 1.

W aplikacjach typu ChatGPT czy Claude nie ustawisz temperatury ręcznie, to parametr dostępny przez API. Przy części nowszych modeli, zwłaszcza rozumujących, temperatura jest zablokowana albo działa inaczej, bo dostawca sam nią zarządza.

Zero nie znaczy zawsze to samo

Nawet przy temperaturze 0 odpowiedzi potrafią się minimalnie różnić między wywołaniami, bo obliczenia na kartach graficznych nie są idealnie powtarzalne. Jeśli coś ma dawać zawsze dokładnie ten sam wynik, na przykład wyliczenie rabatu, to nie jest zadanie dla modelu, tylko dla zwykłego kodu.