Monitoring i logi jakości po wdrożeniu AI: czego szukać w pierwszych tygodniach
Produkcja bez metryk jakości to lot na ślepo, zwłaszcza gdy model aktualizuje dostawca lub zmienia się rozkład danych wejściowych.
Podstawowy zestaw to próbkowanie decyzji modelu, odsetek eskalacji do człowieka oraz czasu przetworzenia sprawy end-to-end.
Logi powinny pozwalać odtworzyć: wejście, wersję promptu i konfiguracji, oraz wynik, bez zapisu zbędnych danych osobowych.
Iteracja promptów i reguł musi być powiązana z changelogiem, inaczej tracisz odtwarzalność przy audycie lub reklamacji klienta końcowego.
W pierwszym miesiącu produkcji warto przeglądać próbkę codziennie, później co tydzień, zawsze z udziałem osoby rozumiejącej kontekst biznesowy.
Alerty powinny obejmować skoki w liczbie błędów API, wydłużenie czasu odpowiedzi i nagły spadek pewności klasyfikacji, jeśli taki wskaźnik macie po stronie modelu.
Dashboard dla zespołu operacyjnego może być prosty: liczba spraw obsłużonych automatycznie, liczba korekt ręcznych, średni czas do zamknięcia.
Porównuj okresy sezonowe: przed świętami lub końcem kwartału inny rozkład danych może wymagać dostrzeżenia nowych kategorii w klasyfikatorze.
Dokumentuj każdą incydencję z wpływem na klienta końcowego: co poszło nie tak, jaka była przyczyna źródłowa i jaką zmianę w procesie lub modelu wprowadzono.