Asystent AI na własnych dokumentach: skąd bierze się błąd i jak go wykryć

Zdjęcie: Asystent AI na własnych dokumentach - jak sprawdzić, skąd pochodzi odpowiedź


Asystent AI odpowiadający na podstawie firmowych albo uczelnianych dokumentów bywa przedstawiany jako lekarstwo na zmyślanie. Odpowiedź pochodzi z konkretnego materiału, więc nie ma jej skąd wymyślić. W praktyce problem zostaje przesunięty o poziom wyżej i staje się trudniejszy do zauważenia. Odpowiedź brzmi wiarygodnie, cytuje prawdziwy dokument, a mimo to wnioskuje z niego coś, czego tam nie ma. Pokazujemy, w którym miejscu powstaje taki błąd i po czym poznać, iż odpowiedź da się prześledzić do źródła.


Jak działa asystent AI oparty na własnych dokumentach


Odpowiedź asystenta powstaje w dwóch etapach. Najpierw system wyszukuje w bazie fragmenty pasujące do pytania, potem model językowy układa z nich odpowiedź.


Błąd może pojawić się w obu etapach. Użytkownik ocenia jednak wyłącznie drugi, bo tylko on jest widoczny.


Wyszukanie fragmentu, czyli etap, którego użytkownik nie widzi


Dokumenty trafiają do bazy pocięte na fragmenty. Pytanie zostaje porównane z tymi fragmentami, a kilka najbardziej podobnych trafia do modelu jako materiał do odpowiedzi.


Podobieństwo nie oznacza trafności. To jak wybieranie klucza wyłącznie po kształcie: najbardziej podobny nie musi otworzyć adekwatnych drzwi.


Ten etap zwykle nie jest pokazywany. Użytkownik nie wie, ile fragmentów wybrano ani czy wśród nich był ten adekwatny.


Sformułowanie odpowiedzi, czyli etap, który ocenia


Model dostaje pytanie razem z wybranymi fragmentami i pisze odpowiedź. Zwykle tworzy płynny tekst choćby wtedy, gdy wybrany materiał był niewłaściwy.


Odpowiedź ma więc jednakową jakość językową w obu przypadkach. Czytelnik ocenia płynność i pewność, a te nie mówią nic o poprawności doboru źródła.


Wiarygodność zależy więc zarówno od doboru fragmentów, jak i od tego, czy model trzyma się ich treści. Pierwszy etap jest jednak trudniejszy do oceny, bo użytkownik zwykle go nie widzi.


Trzy sposoby, na jakie asystent myli się mimo dobrej bazy


Błędy asystenta opartego na dokumentach rzadko wyglądają jak zmyślanie. Zwykle są to poprawne zdania zbudowane na niewłaściwej podstawie, więc nie zwracają uwagi przy pobieżnym czytaniu.


Znalazł zły fragment i odpowiedział poprawnie na złej podstawie


Typowy przypadek dotyczy dokumentów, które istnieją w kilku wersjach. Regulamin z zeszłego roku i jego nowelizacja są do siebie podobne, więc oba pasują do pytania.


Asystent wybiera jeden z nich i odpowiada rzetelnie na jego podstawie. Odpowiedź jest wewnętrznie spójna i nieaktualna zarazem.


Wygląda to na przykład tak: zapytany o termin składania wniosku asystent podaje datę z poprzedniej edycji regulaminu. Zdanie jest poprawne, źródło prawdziwe, a informacja nieaktualna od pół roku.


Połączył dwa fragmenty, które nie mówią o tym samym


Drugi przypadek polega na sklejeniu informacji z dwóch osobnych miejsc. Warunek z jednego dokumentu zostaje przypisany do procedury opisanej w drugim.


Powstaje zdanie, którego nie ma w żadnym źródle, choć każdy jego człon skądś pochodzi. Weryfikacja przez sprawdzenie „czy to jest w dokumentach” wypada wtedy pozytywnie, mimo iż wniosek jest błędny.


Uzupełnił lukę wiedzą z treningu, nie z dokumentu


Trzeci przypadek pojawia się, gdy w bazie brakuje odpowiedzi. Model potrafi wtedy dopowiedzieć brakujący element z ogólnej wiedzy, bo pytanie wygląda na takie, które powinno mieć odpowiedź.


Bywa, iż wynik jest zgodny z ogólną praktyką i niezgodny z tym, co obowiązuje w danej instytucji. To pomyłka trudna do wykrycia, bo brzmi rozsądnie dla wszystkich, kto zna temat tylko ogólnie.


Co sprawia, iż odpowiedź da się sprawdzić


Wiarygodność asystenta nie polega na tym, iż nigdy się nie myli. Polega na tym, iż każdą odpowiedź da się gwałtownie prześledzić do konkretnego miejsca w dokumencie.


Trzy elementy poniżej decydują o tym w większym stopniu niż wybór modelu językowego.


Przypis do konkretnego fragmentu, nie do całego dokumentu


Odesłanie do stustronicowego pliku przypomina podanie tytułu książki bez numeru strony. Użyteczny przypis wskazuje fragment, z którego zdanie faktycznie pochodzi.


Przy takim ustawieniu sprawdzenie odpowiedzi zajmuje moment. Bez niego weryfikacja kosztuje tyle samo co samodzielne wyszukanie informacji.


Zapis tego, co asystent faktycznie znalazł przed odpowiedzią


Dobrze zbudowany asystent zapisuje, które fragmenty trafiły do modelu przy danym pytaniu. Ten zapis pozwala odróżnić dwa zupełnie różne problemy.


Jeśli adekwatny fragment nie został znaleziony, poprawiamy sposób wyszukiwania albo podział dokumentów. jeżeli został znaleziony, a odpowiedź i tak jest błędna, problem leży w poleceniu dla modelu.


Wyraźne „nie wiem” zamiast wypełniania luki


Asystent powinien mieć wyraźnie dopuszczoną odpowiedź „w dostępnych dokumentach tego nie ma”. Brak takiej ścieżki zwiększa ryzyko, iż model odpowie również wtedy, gdy materiału brakuje.


Odpowiedź odmowna jest w pracy z wiedzą informacją użyteczną. Mówi, iż temat wymaga sprawdzenia w innym miejscu, zamiast podsuwać wygodne domysły.


Do czego asystent AI nadaje się w pracy z wiedzą, a do czego nie


Dobre zastosowania asystenta mają wspólną cechę: człowiek i tak czyta wynik, zanim cokolwiek się z nim stanie. Złe zastosowania to te, w których odpowiedź idzie dalej bez czytania.


Zadania, w których skraca czas dotarcia do materiału


Asystent dobrze sprawdza się jako skrót do miejsca w dokumentach. Zamiast przeglądać kilkadziesiąt plików, pytamy i dostajemy wskazanie fragmentu, który trzeba przeczytać samodzielnie.


W tej roli choćby nietrafiona odpowiedź kosztuje niewiele, bo błąd wychodzi przy pierwszym spojrzeniu na źródło. Jak zbudować takiego asystenta krok po kroku i ograniczyć ryzyko halucynacji, opisujemy w przewodniku asystent AI w n8n. Praktyczne materiały o pracy z własną bazą wiedzy publikujemy na blogu DevStock Academy, a naukę przez budowanie od zera umożliwia polska platforma Kodożercy.


Zadania, w których jest ryzykiem


Ryzykowne są zastosowania, w których odpowiedź trafia bezpośrednio do odbiorcy zewnętrznego albo staje się podstawą decyzji bez zaglądania do źródła. Chodzi między innymi o interpretacje regulaminów, wyliczenia i odpowiedzi na pytania o stan prawny.


Osobną kategorię stanowią prace, w których liczy się dokładny zapis źródła. Odpowiedź asystenta może wskazać kierunek poszukiwań, ale nie zastępuje sięgnięcia do publikacji i sprawdzenia jej samodzielnie.


Podsumowanie


Asystent AI zbudowany na własnej bazie dokumentów ogranicza zmyślanie, ale go nie usuwa, a jednocześnie utrudnia wykrycie pozostałych pomyłek. Trzy typowe sytuacje to wybór niewłaściwej wersji dokumentu, sklejenie dwóch fragmentów mówiących o czym innym oraz uzupełnienie luki ogólną wiedzą modelu. Żadna z nich nie wygląda jak błąd, bo odpowiedź pozostaje spójna i rzeczowa. Dlatego o przydatności takiego narzędzia decyduje nie sam model, tylko możliwość prześledzenia odpowiedzi do konkretnego fragmentu, zapis tego, co system faktycznie znalazł przed odpowiedzią, oraz zgoda na odpowiedź odmowną, gdy materiał nie wystarcza. Przy tych trzech warunkach asystent skraca drogę do materiału, a ocena jego wartości pozostaje po stronie czytającego.


Źródło: artykuł partnera