Słownik AI
Co to jest inferencja w AI?
Inferencja to używanie wytrenowanego modelu AI do generowania odpowiedzi. Dzieje się przy każdym pytaniu i to ona decyduje o bieżących kosztach i szybkości działania AI.
Inne nazwy: inference, wnioskowanie modelu
Trening a inferencja
Trening dużego modelu trwa miesiącami i kosztuje fortunę, ale robi go dostawca, i to jednorazowo. Inferencja to każde pojedyncze użycie gotowego modelu: każde pytanie, każda odpowiedź agenta, każda klasyfikacja maila. Płacisz za nią albo w tokenach przez API, albo czasem pracy własnych kart graficznych, jeśli uruchamiasz model open source.
Szybkość ma znaczenie
Przy inferencji liczą się dwie rzeczy: jak szybko pojawia się pierwszy fragment odpowiedzi i ile tokenów na sekundę generuje model. Przy czacie kilka sekund czekania da się przeżyć. Przy agencie głosowym już nie, bo przerwę dłuższą niż sekunda czy dwie rozmówca słyszy jako niezręczną ciszę albo zerwane połączenie.
Jak obniżyć koszt inferencji
Najwięcej daje dobór modelu do zadania. Klasyfikacja maili czy wyciąganie danych z formularza nie potrzebuje najmocniejszego modelu na rynku, a tańszy potrafi kosztować kilkadziesiąt razy mniej. Dalej: krótsze prompty, cache'owanie powtarzalnej części kontekstu i przetwarzanie wsadowe tam, gdzie wynik nie jest potrzebny od razu, bo dostawcy dają na nie rabaty.
Najczęstsze pytania
Ile kosztuje jedna odpowiedź AI?
Przy API płacisz za tokeny, a ceny różnią się między modelami nawet stukrotnie. Pojedyncza odpowiedź typowego asystenta firmowego kosztuje od ułamka grosza do kilkudziesięciu groszy, zależnie od modelu i długości kontekstu. Przy tysiącach rozmów dziennie te grosze się sumują, dlatego dobór modelu do zadania ma znaczenie.
Czy mogę uruchomić model AI na własnym komputerze?
Mniejsze modele open source tak, nawet na dobrym laptopie, choć wolniej niż w chmurze. Duże modele wymagają serwerów z mocnymi kartami graficznymi. Do testów i prostych zadań lokalny model wystarcza, do obsługi klientów na produkcji zwykle wybieram API.
Kontakt
Masz proces, który zjada czas zespołu?
Napisz dwa zdania o tym, co boli. Odpiszę i powiem wprost, czy warto to automatyzować.
albo zadzwoń +48 735 170 951 · +48 516 461 444
Zwykle odpisuję tego samego dnia.