Co to jest RAG? Jak AI odpowiada na podstawie Twoich dokumentów

Jak działa RAG

Nazwa to skrót od retrieval augmented generation, czyli generowania wspomaganego wyszukiwaniem. Termin pochodzi z pracy badaczy Facebook AI Research z 2020 roku, a dziś to najczęstszy sposób, żeby model odpowiadał na podstawie wiedzy firmy.

Najpierw dokumenty firmy są cięte na fragmenty po kilka akapitów i indeksowane, zwykle jako embeddingi w bazie wektorowej. Kiedy przychodzi pytanie, system wyszukuje kilka fragmentów najbardziej do niego pasujących i podaje je modelowi razem z pytaniem i instrukcją: odpowiedz tylko na podstawie tych fragmentów, a jeśli ich brakuje, powiedz, że nie wiesz.

Dzięki temu model nie musi niczego pamiętać. Wystarczy, że dobrze czyta to, co mu podano, a w tym dzisiejsze modele są bardzo dobre.

RAG czy fine-tuning

Najczęstsze nieporozumienie w rozmowach z klientami brzmi: „douczmy model naszymi dokumentami”. Fine-tuning uczy model zachowania, stylu i formatu, ale słabo nadaje się do wkładania faktów. Fakty się zmieniają, cennik aktualizuje się co kwartał, a model po fine-tuningu nie powie, skąd wziął odpowiedź.

RAG wygrywa w większości firmowych zastosowań. Nowy dokument dodajesz do indeksu w kilka minut, bez trenowania czegokolwiek. Każdą odpowiedź da się podeprzeć cytatem, a uprawnienia do dokumentów można kontrolować na etapie wyszukiwania.

Wyszukiwanie hybrydowe

Samo wyszukiwanie po znaczeniu ma słaby punkt: gubi dokładne ciągi znaków. Pytanie o „art. 154 § 1” albo o kod produktu „XK-4410” może zwrócić fragmenty o podobnym sensie, ale nie ten właściwy. Dlatego w poważniejszych projektach łączę je z klasycznym wyszukiwaniem po słowach kluczowych. Tak działa na przykład Janina, która musi trafiać w konkretne przepisy.

Szerzej, z przykładami i typowymi błędami, piszę o tym w tekście czym jest RAG i jak działa.