Sztuczna inteligencja, a w szczególności modele językowe LLM (ang. Large Language Models), takie jak ChatGPT, z każdym rokiem zdobywają coraz większą popularność. Używamy ich w programowaniu, analizie danych, tworzeniu dokumentacji, a nawet w edukacji. Jednak mimo swojej użyteczności, nie są one wolne od wad. Jednym z najczęściej występujących problemów są tzw. halucynacje. To zjawisko, które warto zrozumieć, zwłaszcza jeżeli chcemy budować rozwiązania, którym naprawdę można zaufać.
Czym są halucynacje sztucznej inteligencji? #
W kontekście sztucznej inteligencji halucynacja oznacza sytuację, w której model generuje odpowiedź, która wygląda na logiczną i poprawną, ale w rzeczywistości jest fałszywa lub zmyślona.
Spójrzmy na taki przykład. Model może odpowiedzieć:
,,Według badań opublikowanych przez MIT w 2021 roku, 38% ludzi preferuje język programowania Rust nad C++’'.
Brzmi wiarygodnie, tylko problem w tym, że takie badania nigdy nie istniały. Model po prostu zgadł, że coś takiego mogło istnieć i wygenerował odpowiedź, która wygląda poprawnie. Niestety to bzdura, pomijając, że Rust zdobywa dużą popularność i jest całkiem fajnym językiem.
Dlaczego modele halucynują? #
Z punktu widzenia technicznego, przyczyn jest kilka i wszystkie są związane z architekturą oraz sposobem działania modeli językowych:
-
Brak dostępu do rzeczywistości Modele językowe nie mają bezpośredniego dostępu do faktów ani do internetu (chyba że są zintegrowane z wyszukiwarką). Działają w zamkniętym świecie danych, na których były trenowane.
-
Brak zrozumienia treści AI nie wie, co mówi. Nie rozumie semantyki tekstu. Po prostu przewiduje kolejne słowa na podstawie statystycznych zależności między słowami w danych treningowych.
-
Luki w danych treningowych Modele nie są uczone wszystkiego. Nawet przy olbrzymich zbiorach danych pewne informacje mogą być nieobecne, nieaktualne lub błędne. Niektóre modele są wręcz celowo odchudzane z pewnych danych.
-
Źle zadane pytania Nieprecyzyjne, wieloznaczne lub zbyt ogólne pytania często prowadzą do generowania nieprawdziwych odpowiedzi, ponieważ model musi dopowiedzieć sobie kontekst.
Czy to realne zagrożenie? #
Powiedzmy sobie jasno, halucynacje są poważnym zagrożeniem w wielu zastosowaniach. Skoro korzystamy ze sztucznej inteligencji na przykład do generowania kodu, tworzenia dokumentacji technicznej, streszczeń badań naukowych czy analizy prawnej, to halucynacje mogą prowadzić do błędów, straty czasu, a nawet odpowiedzialności prawnej.
Dlatego nie wystarczy, że model coś napisał. Trzeba jeszcze rozumieć, co dokładnie napisał i czy można tej informacji zaufać.
Jak radzić sobie z halucynacjami sztucznej inteligencji #
Nie ma jednego uniwersalnego rozwiązania aby uniknąć halucynacji modelu, ale istnieje kilka skutecznych strategii:
-
Precyzuj zapytania Im dokładniejsze polecenie, tym większa szansa na prawidłową odpowiedź. Modele radzą sobie lepiej, gdy powiemy im dokładnie czego od nich oczekujemy.
-
Weryfikuj informacje Traktuj odpowiedzi AI jak szkic, a nie prawdę objawioną. Jeżeli model przywołuje badania, dane liczbowe, cytaty, to sprawdź czy one naprawdę istnieją. Zawsze proś o linki do danych źródłowych, artykułów i stron internetowych.
-
Używaj modeli z dostępem do zewnętrznych źródeł (RAG) Systemy oparte na danych zewnętrznych, czyli tzw. RAG (ang. Retrieval-Augmented Generation) potrafią pobrać aktualne informacje z baz danych, internetu lub dokumentów firmowych.
-
Używaj własnych danych i własnych modeli Jeżeli budujesz rozwiązania oparte na AI, lepszym wyborem może być fine-tuning na własnych danych lub integracja z bazą wiedzy, którą kontrolujesz.
-
Dodawaj warstwy walidacji W systemach produkcyjnych warto stosować dodatkowe algorytmy weryfikujące poprawność odpowiedzi, albo po prostu pracownika, który spojrzy na wynik przed jego publikacją.
RAG nie jest panaceum #
Należy mieć jednak świadomość, że nawet tak osławione i rekomendowane systemy RAG, które mają ograniczać halucynacje, nie są całkowicie odporne na błędy. Zdarza się, że model pobiera fragmenty z dokumentów, ale błędnie je interpretuje lub przytacza wyrwane z kontekstu informacje. W przypadku danych medycznych zdarzało się, że sztuczna inteligencja chociaż opierała swoje odpowiedzi na rzeczywistych źródłach, to niestety wyciągała nieprawdziwe wnioski lub wręcz zmyślała. To pokazuje, że nawet przy zaawansowanych rozwiązaniach potrzebna jest ostrożność, w szczególnie tam, gdzie stawką jest życie, zdrowie lub bezpieczeństwo.
Podsumowanie #
Halucynacje sztucznej inteligencji to nie błąd systemu, a jego naturalna nierozerwana cecha wynikająca z architektury modelu. Sztuczna inteligencja to narzędzie, które może znacznie przyspieszyć pracę, ale tylko wtedy, gdy rozumiemy jak działa i mając świadomość co może zawieść. Im więcej wiemy o ograniczeniach sztucznej inteligencji, tym skuteczniej potrafimy ją wykorzystać i tym rzadziej damy się nabrać na błędne odpowiedzi.