Co to jest human-in-the-loop w systemach AI?

Jak to wygląda w praktyce

Agent przygotowuje odpowiedź na reklamację, a pracownik ją czyta i klika „wyślij” albo poprawia. Agent przygotowuje zwrot pieniędzy, ale powyżej 500 zł czeka na akceptację kierownika. Agent kategoryzuje dokumenty sam, ale te, przy których jest mniej pewny, trafiają do kolejki dla człowieka. To wszystko odmiany tej samej zasady.

Gdzie stawiać człowieka

Przy działaniach nieodwracalnych: płatnościach, usuwaniu danych, wysyłce do klienta rzeczy, których nie da się cofnąć. Przy decyzjach o ludziach i pieniądzach, czyli w rekrutacji, kredytach, sprawach zdrowotnych i kadrowych. Przy przypadkach, w których system sam sygnalizuje niepewność. I zawsze w pierwszych tygodniach działania nowego procesu, zanim będą dane o tym, jak często agent się myli.

Z czasem, kiedy liczby pokazują, że przy danym typie spraw agent nie popełnia błędów, można akceptację zdjąć. Ale na podstawie danych, a nie wrażenia.

Pułapka automatycznego klikania

Jeśli AI ma rację w 98 procentach przypadków, ludzie po tygodniu przestają czytać i klikają „zatwierdź” odruchowo. Wtedy człowiek w pętli jest tylko na papierze. Dlatego ekran akceptacji projektuję tak, żeby sprawdzanie było szybkie: widać źródło, z którego AI wzięło odpowiedź, zaznaczone są zmiany i rzeczy niepewne, a co jakiś czas losowe sprawy trafiają do dokładniejszej kontroli.

Nadzór człowieka nad systemami wysokiego ryzyka to też wymóg AI Act.