Modele AI cały czas się rozwijają i stwarzają nam szerokie możliwości zastosowania. Bazujące na sztucznej inteligencji chatboty odpowiedzą na każde Twoje pytanie. Napiszą tekst, stworzą kampanię na potrzeby social mediów czy nawet przygotują content na stronę internetową. Wszystko to w rekordowo krótkim czasie.
Jednak problemem jest to, że często przedstawiona treść jest bezwartościowa pod względem merytorycznym. Może zdarzyć się, że AI zmyśla, fantazjuje, mija się z prawdą, albo po prostu kłamie. Zjawisko to określane jest jako halucynacje sztucznej inteligencji.
Zrozumienie, czym one w istocie są i jak je rozpoznać są kluczowym wyzwaniem przy korzystaniu z chatbotów na potrzeby szeroko rozumianego marketingu.
Czym są halucynacje AI?
Halucynacje sztucznej inteligencji są zjawiskiem niestety powszechnym. Polegają one na tym, że model językowy (LLM) generuje pożądane przez nad informacje, które nie mają żadnego pokrycia w rzeczywistości. Są fikcyjne, błędne, nie na temat i nie mają podstawy w żadnym wiarygodnym źródle, choć mogą stwarzać takie wrażenie. Mogą też być generowane niedokładnie.
Przykładem niech będzie sytuacja, w której model AI podaje Ci dane statystyczne dotyczące pożądanego zagadnienia, choć żadne badania nie zostały wykonane. Jeszcze lepiej halucynacje AI obrazuje prosty przykład: model twierdzi, że stolicą Polski nie jest Warszawa, a Wrocław. Ty wiesz, że się myli i po wskazaniu w treści zapytania, że takie twierdzenie jest oczywistym błędem otrzymasz najprawdopodobniej odpowiedź: Masz rację, to błąd. Model przedstawi Ci alternatywną informację, choć niestety i ona niekoniecznie będzie prawdziwa.
Co się w istocie dzieje? Halucynacje AI nie są żadnym celowym, świadomym działaniem mającym za zadanie wprowadzić Cię w błąd. Pomimo nazwy – sztuczna inteligencja – nie ma świadomości i nie myśli nad tym, co Ci pokazuje.
Jak często AI halucynują?
Modele AI, niezależnie od producenta, nie są wolne od wady, jaką jest halucynowanie. Nawet najnowsze z nich zmyślają. Niezależne testy przeprowadzone przez organizację Transluce, zajmującą się badaniami nad AI zidentyfikowały błędy nawet w najnowszych modelach OpenAI.
Wykazały one, że model o3 potrafi zmyślać własne działania w procesie, w którym dochodzi do odpowiedzi na Twoje zapytanie. Model ten halucynował w 33% przypadków podczas testów opartych na benchmarku PersonQA, który mierzy wiedzę o osobach. Model o1 osiągnął wynik o ponad połowę niższy – 16%, a o3-mini – 14,8%. Najgorzej wypadł model o4-mini, który podawał błędne odpowiedzi niemal w połowie przypadków – 48%.
Badanie Apple „The Illusion of Thinking” wskazało, że pomimo ogromnego poziomu zaawansowania modele AI nie myślą naprawdę. Mogą zawodzić w testach przeciążeniowych.
Konsekwencje polegania na niedokładnych informacjach mogą być poważne, szczególnie w takich dziedzinach jak opieka zdrowotna, finanse czy porady prawne, o czym przekonał się pewien prawnik, który powołał się w swojej argumentacji przed sądem na cytaty z ChatGPT, które były najlepszym przykładem halucynacji:
Prawnik Steven A. Schwartz reprezentował jednego z pasażerów kolumbijskich linii lotniczych Avianca Airlines. Oskarżał on przewoźnika o uszkodzenie kolana przez uderzenie wózkiem do serwowania posiłków. Kolumbijski przewoźnik nie chciał przejąć odpowiedzialności za to zdarzenie, dlatego mężczyzna poszedł do sądu. Z uwagi na upływ czasu (3 lata od zdarzenia) Schwartz chciał dowieść przed sądem, że wymiar sprawiedliwości powinien wznowić postępowanie, ponieważ w podobnych przypadkach sądy decydowały podobnie, na korzyść pokrzywdzonego.
We wniosku procesowym prawnik powołał się na rozstrzygnięcie spraw takich jak:
Nie byłoby w tym nic dziwnego, gdyby nie fakt, że wszystkie przykłady wymyślił ChatGPT i nigdy nie istniały. Niestety, sam prawnik stanął przed sądem za przedstawienie nieistniejących dowodów. Został ukarany grzywną w wysokości 5 tys. dolarów.
Przypadek Schwarza nie jest odosobniony. Piotr Olszewski, autor artykułów na stronie Chip.pl i jednocześnie Prompt Engineer, specjalizujący się w AI, powołał się w jednym ze swoich tekstów na eksperyment naukowców, którzy weryfikowali odpowiedzi ChatGPT. Odkryli oni, że spośród 178 przeanalizowanych odpowiedzi ChatGPT aż 69 z nich nie miało cyfrowego identyfikatora obiektu. To tzw. DOI. 28 odpowiedzi nie miało żadnych odniesień w wyszukiwarce Google`a. Co to oznacza? Halucynacje AI – treści zostały po prostu zmyślone.
Warto wiedzieć
Każdy model AI halucynuje - zmyśla fakty, źródła, a nawet dane statystyczne. To nie celowe kłamstwo, a efekt tego, jak działa przewidywanie kolejnych słów. Zawsze weryfikuj to, co dostajesz od AI, szczególnie w ważnych tematach.
Dlaczego AI halucynuje?
Modele AI halucynują – z różną częstotliwością i w różnych sytuacjach. Kluczowe jest zrozumienie procesu generowania przez nie informacji, aby lepiej rozpoznawać, kiedy wskazywane dane mogą być fałszywe. Modele językowe LLM przy generowaniu tekstu i odpowiedzi na zadawane pytania, przewidują najbardziej prawdopodobne rozwiązanie problemu. Bazują na wzorcach wyuczonych na ogromnych zbiorach danych treningowych.
Nie mają narzędzi weryfikujących oczywistych informacji, jakie człowiek od razu może rozpoznać jako błędne.
Przyczyny halucynacji można przedstawić w kilku punktach:
Formatowanie typu „Answer-First”
Sztuczna inteligencja szuka konkretów. Najważniejszą odpowiedź na pytanie użytkownika umieść na samym początku, zwłaszcza wtedy, gdy nagłówek ma formę pytania.
Struktura pytań i odpowiedzi (Q&A)
Twoje nagłówki (H2, H3) powinny brzmieć jak pytania, które realnie zadają klienci (np. „Jak działa…?, Jak wybrać…?”).
Fakty, liczby i autorytet (E-E-A-T)
AI ignoruje opinie, a priorytetowo traktuje twarde dane – zgodnie z zasadą jakościową. Jeśli piszesz o oszczędnościach, podaj konkretne kwoty. Jeśli o długach - wskaż liczby, które je definiują w jednoznaczny sposób.
Metody ograniczania i weryfikacji, które pomagają w rozpoznawaniu halucynacji
Chociaż halucynacji AI nie da się całkowicie wyeliminować, przynajmniej na chwilę obecną, są strategie, które pomagają w ich ograniczaniu. Sprawdź, co realnie możesz zrobić, by zmniejszyć ryzyko tego, że AI wprowadza Cię w błąd!
Twórz jak najbardziej precyzyjne polecenia (prompty)
Im bardziej konkretne polecenia, proste, zrozumiałe, tłumaczące Twój problem krok po kroku, tym lepsza jakość odpowiedzi i mniejsze ryzyko halucynacji. Możesz także:
Nadzoruj i sprawdzaj pracę modeli AI (tzw. factchecking)
To najprostszy i najszybszy do zastosowania sposób na ograniczenie zjawiska halucynacji. Zawsze sprawdzaj generowane treści pod kątem logicznym i merytorycznym, zwłaszcza jeśli podawane są dane, statystyki i badania. Szukaj źródła lub proś o ich wskazanie w promptcie:
Czym grozi halucynacja w AI?
Niestety, halucynacje w AI to nie tylko ciekawostka, błąd, którym nacechowane są właściwie wszystkie modele LLM. Generowanie błędnych odpowiedzi przynosi użytkownikom wiele problemów. Wspominaliśmy już o prawniku, który do pisma procesowego wykorzystał ChatGPT, który zmyślił kazusy prawne. Jednak nie jest to odosobniony przypadek.
W branży medycznej halucynowanie przez AI prowadzi do poważnych problemów. Według badania zrealizowanego przez naukowców z Oxford Internet Institute[6][7], użytkownicy chatbotów medycznych napotykają wiele trudności w otrzymaniu wartościowych porad zdrowotnych. W badaniu udział wzięło około 1300 osób, które miały przedstawione fikcyjne przypadki medyczne.
Mieli z pomocą dostępnych narzędzi, m.in. sztucznej inteligencji rozpoznać potencjalne schorzenia opisane w scenariuszach i wskazać, czy dana osoba powinna udać się do lekarza pierwszego kontaktu czy do szpitala.
W przeprowadzonym eksperymencie badawczym wykorzystano trzy zaawansowane modele AI:
Rezultaty badaczy okazały się alarmujące, ponieważ korzystanie z systemów AI obniżało skuteczność przy identyfikowaniu kluczowych stanów chorobowych.
Podsumowanie: Podejrzliwość wobec AI uzasadniona
Bezkrytyczne przyjmowanie za pewnik wszystkiego, co wygeneruje Ci sztuczna inteligencja nie jest drogą, którą powinieneś podążać. Najważniejsze dla użytkowników nowoczesnych technologii jest zachowanie zdrowego sceptycyzmu i krytycznego myślenia.
Musisz zrozumieć, że AI nie jest nieomylne. Twórcy modeli LLM pracują nad ograniczeniem halucynacji, ale problem nadal istnieje. Jak ujmuje to Dario Amodei, amerykański badacz i CEO Anthropi, specjalizujący się w sztucznej inteligencji: „nie rozumiemy, jak działają nasze własne twory AI”[8].
Jego stanowisko potwierdza wielu specjalistów i badawczy, również w Polsce. Profesor Andrzej Dragan z Uniwersytetu Warszawskiego, podczas debaty poświęconej szansom i zagrożeniom związanym ze sztuczną inteligencją na KUL w 2024 roku powiedział:
„Człowiek nauczył się tworzyć sztuczną inteligencję, ale nie jest w stanie zrozumieć, jak ona działa”.
Chociaż narzędzia do sprawnego wykrywania halucynacji są wciąż rozwijane, nadzór człowieka pozostaje niezastąpiony. Nie traktuj modeli AI jako wszechwiedzącego, nieomylnego eksperta. Tylko w ten sposób zminimalizujesz ryzyko korzystania z fałszywych danych i skutki takiego działania.