Coraz częściej zamiast przeglądać kilka stron i porównywać źródła, zadajemy jedno pytanie chatbotowi. Nowe badanie pokazuje jednak, że taka wygoda może mieć cenę: odpowiedź AI może przedstawiać znacznie węższy zestaw informacji i punktów widzenia niż zwykłe wyszukiwanie w internecie.
Międzynarodowy zespół badaczy sprawdził 27 dużych modeli językowych. Test objął 155 tematów związanych z 12 krajami, a każde zagadnienie przedstawiano na 200 różnych sposobów, wykorzystując sformułowania oparte na pytaniach prawdziwych użytkowników. W efekcie powstało około 1,7 miliona odpowiedzi, które rozłożono na blisko 70 milionów pojedynczych twierdzeń.
Naukowcy nie mierzyli jedynie tego, czy odpowiedzi są poprawne. Badali tak zwaną różnorodność epistemiczną, czyli jak szeroki zestaw odmiennych twierdzeń o świecie pojawia się w odpowiedziach na podobne pytania.
Wynik był wyraźny: w ramach tej metodologii każdy testowany system prezentował mniej zróżnicowaną wiedzę niż przyjęty przez badaczy punkt odniesienia oparty na wynikach wyszukiwania. Nawet GPT-5, który uzyskał najlepszy rezultat wśród modeli, miał co najmniej o 18,7 procent niższą różnorodność twierdzeń niż zestaw stron znalezionych przez wyszukiwarkę dla badanych tematów.
To nie znaczy, że chatbot zawsze podaje błędną odpowiedź albo że wyszukiwarka zawsze prowadzi do prawdy. Badanie dotyczyło szerokości prezentowanej wiedzy, a nie prostego rankingu prawdziwości. Problem pojawia się wtedy, gdy jedną płynną odpowiedź AI traktujemy jako pełny obraz sprawy i nie sprawdzamy, jakie fakty, źródła lub perspektywy zostały pominięte.
Autorzy odnotowali także kilka ważnych zależności:
Nowsze generacje modeli zazwyczaj prezentowały bardziej zróżnicowane twierdzenia niż starsze. GPT-5 i Gemma 3 zanotowały jedne z największych skoków między generacjami.
Systemy korzystające z RAG, czyli pobierające informacje z zewnętrznych źródeł przed ułożeniem odpowiedzi, osiągały większą różnorodność niż modele odpowiadające wyłącznie na podstawie wiedzy zapisanej w parametrach.
Większy model nie oznaczał automatycznie szerszej wiedzy. W testowanym układzie duże modele były przeciętnie mniej zróżnicowane od mniejszych.
Przy tematach dotyczących konkretnych krajów odpowiedzi mocniej odzwierciedlały wiedzę dostępną po angielsku niż materiały w językach lokalnych. Szczególnie silnie reprezentowane były zagadnienia związane ze Stanami Zjednoczonymi.
Ten ostatni punkt może mieć znaczenie także dla Polaków mieszkających w USA i poza krajem. Jeśli model częściej widzi anglojęzyczny opis polskiej historii, polityki lub kultury niż źródła tworzone po polsku, może przedstawiać temat poprawnie, ale przez węższą, zewnętrzną perspektywę.
Badacze zaznaczają ograniczenia swojej pracy. Część tematów wybrano ręcznie, pominięto wiele niszowych zagadnień, a zastosowany sposób dzielenia i grupowania twierdzeń nie jest wolny od błędów. Również testowany wariant RAG nie reprezentuje wszystkich możliwych systemów. Autorzy podkreślają więc, że różnorodność należy oceniać razem z dokładnością i przydatnością informacji.
Wniosek dla użytkownika jest prosty: AI świetnie nadaje się do rozpoczęcia poszukiwań, porządkowania materiału i szybkiego wyjaśniania pojęć. Przy ważnych sprawach warto jednak poprosić o źródła, zadać pytanie z innej perspektywy, sprawdzić materiały w kilku językach i porównać odpowiedź z niezależnymi publikacjami.
Czy chatbot stał się już dla Was głównym źródłem wiedzy? Czy AI powinno obowiązkowo pokazywać różne punkty widzenia i wyraźnie informować, czego może brakować w odpowiedzi? Zapraszamy do dyskusji.
wiadomosci #WiadomosciSwiat #SztucznaInteligencja ai #Technologia #Nauka #Chatboty #PolskieRadio #PolskieRadioChicago #PolskieRadioUSA #PolskieRadioOnline
Źródła: arXiv; StudyFinds; EurekAlert! / AAAS; CircleID; Microsoft Research.