Co to jest model AI open source i kiedy uruchomić go u siebie?

Open source a open weights

Większość tak zwanych otwartych modeli udostępnia wagi, czyli sam wytrenowany model, ale nie dane i nie cały kod treningowy. Dlatego precyzyjniej mówi się o modelach open weights. Licencje też się różnią: jedne pozwalają na wszystko, inne ograniczają zastosowania komercyjne albo nakładają warunki na bardzo duże firmy. Przed użyciem w firmie licencję trzeba przeczytać.

Znane rodziny otwartych modeli to między innymi Llama od Meta, Mistral, Qwen od Alibaby, DeepSeek i Gemma od Google. Z polskich warto znać Bielika i PLLuM, trenowane z myślą o polszczyźnie.

Kiedy to ma sens

Gdy dane nie mogą opuścić firmy albo wymagania są na tyle ostre, że nawet chmura w UE nie wchodzi w grę. Gdy skala zapytań jest tak duża, że własne serwery wychodzą taniej niż płacenie za tokeny. Gdy system ma działać bez internetu. Albo gdy chcesz dostroić model do wąskiego zadania przez fine-tuning.

Ukryte koszty

Model trzeba na czymś uruchomić, a porządne karty graficzne kosztują. Ktoś musi to utrzymywać, aktualizować i zabezpieczać. Do tego przy złożonych zadaniach otwarte modele wciąż zwykle ustępują najlepszym zamkniętym, choć ta różnica z roku na rok maleje.

Dla większości małych i średnich firm prościej wychodzi korzystanie z API dostawcy z serwerami w UE i umową powierzenia danych. Model lokalny rozważam wtedy, gdy są ku temu konkretne powody. ClawLabs na przykład pozwala podpiąć także model lokalny, obok tych od dużych dostawców.