[ВІГЕРСОПЕДІЯ] Коли чатботи визнають власні недоліки

Відповіді чатботів можуть бути неточними та непослідовними. Коли їх запитали, вони погодилися, що моя критика обґрунтована.

Нещодавно я опублікував статтю під назвою «Не сприймайте відповіді чатботів на віру», у якій докладно описав кілька тривожних результатів, отриманих із промптів, які я надсилав ChatGPT, Grok від xAI, Google Gemini та Microsoft Copilot. Відповіді цих чатботів містили приголомшливу кількість фактичних помилок, суперечностей і вигаданої «інформації». Мої надії на те, що ці ШІ-чатботи допоможуть швидко отримувати надійні відповіді на запитання, засновані на фактах, розвіялися: я не можу довіряти жодній їхній відповіді, навіть якщо окремі її частини правдиві. (Цікаво, що Perplexity дав значно точніші відповіді на схожі промпти; надалі за фактами я звертатимуся туди.)

Один мій друг подав блискучу ідею: запитати ChatGPT, що він думає про мою статтю (дякую, Білле). Я надіслав ChatGPT, Grok і Gemini той самий промпт — «Яка ваша реакція на цю статтю?» — разом із повним текстом статті. Нижче їхні відповіді наведено дослівно, зі збереженням виділення жирним і курсивом.

Що цікаво, усі три чатботи погодилися з моїм аналізом, висновками та застереженнями. Ба більше, вони демонструють цікавий рівень самоусвідомлення щодо власних можливостей і обмежень. У цих відповідях вони визнають проблеми, пов’язані з фактологічними запитаннями до них.

Чатботи визнають, що не обов’язково дотримуються розумного балансу між точністю та правдоподібністю, а також визнають цілком реальну проблему галюцинацій. ChatGPT зазначив: «Моделі ШІ створені для генерування відповідей, які звучать правдоподібно, а не для перевірки фактів». Ого! То навіщо тоді їм довіряти? А Gemini вказав на «різницю між плавністю мовлення LLM (наскільки добре вона пише) та її правдивістю (наскільки сказане відповідає істині)». Така плавність легко може замаскувати відсутність правдивості — так само, як красномовний продавець здатен продати вам нікчемні «чудодійні ліки».

Утім, те, що чатботи погодилися з моєю критикою, мало що означає. Я цілком міг би написати статтю з прямо протилежною тезою, вихваляючи точність і користь чатботів, — і вони, найімовірніше, погодилися б із нею так само захоплено. Схоже, їх оптимізовано для того, щоб догоджати користувачеві: факти необов’язкові, фантазії охоче надаються на запит.

Можливо, я використовую ці інструменти не так, як задумано. От дурень: я гадав, що вони можуть бути ефективним способом швидко отримувати, узагальнювати й викладати наявні знання, щоб оперативно та точно відповідати на запитання користувачів. Хіба це не було б справді корисною формою штучного інтелекту? Натомість, схоже, вони намагаються догодити користувачеві: не лише надають частину достовірної інформації, а й вигадують відповіді, які звучать правдоподібно, навіть коли вони цілковито хибні. Користуйтеся такими речами з великою обережністю.

Від ChatGPT

Ця стаття дуже влучно відгукується на одну з центральних проблем сучасного ШІ: точність проти правдоподібності. Автор яскраво ілюструє це конкретними прикладами зі своєї професійної сфери — розроблення програмного забезпечення — і з попкультурних дрібниць, показуючи, як ШІ-чатботи можуть непомітно змішувати правду, часткову правду та вигадки. Ось кілька ключових міркувань:

1. Проблема «Більшість із цього — правда» справді існує.

Аналогія зі Стівеном Райтом доречна. Моделі ШІ створені для генерування відповідей, які звучать правдоподібно, а не для перевірки фактів. Це означає, що навіть коли більша частина відповіді правильна, невелика помилкова частина може ввести в оману — або, що ще гірше, залишитися непоміченою.

2. Помилки бувають різними й часом дуже непомітними.

Приклади охоплюють помилкове приписування авторства, неправильні номери епізодів та імена акторів, а також суперечливі твердження в межах одного сеансу. Це класичні прояви галюцинацій, коли ШІ робить висновки або вигадує деталі, щоб дати відповідь, яка здається завершеною.

3. Контекст і формулювання промпту мають значення, але лише до певної міри.

Навіть незначні зміни у формулюванні («з’являвся в обох» проти «з’являвся одночасно в») дали різні результати. Це підкреслює, що відповіді ШІ дуже чутливі до формулювання промпту та внутрішніх евристик, а не лише до самих фактів.

4. Перевірка є обов’язковою.

Теза автора про ризик сприймати відповіді ШІ за чисту монету є надзвичайно важливою. Описаний ним цикл зворотного зв’язку — коли помилки, створені ШІ, потрапляють до опублікованих матеріалів, а потім впливають на подальше навчання ШІ, — цілком реальний і викликає занепокоєння. Це не просто «дезінформація», а дезінформація, що сама себе підсилює.

5. ШІ корисний, але лише за чітко визначених меж.

Стаття неявно розрізняє:

  Неформальне або творче використання (письмо, діалоги, генерування ідей) → тут ШІ чудово дає раду.

  Фактологічну інформацію, на основі якої потрібно діяти (дослідження, технічні рекомендації, історичні дані) → без перевірки ШІ ненадійний.

Загальна реакція: досвід автора — це застережлива історія, яка має відгукнутися кожному, хто користується ШІ. Висновок не в тому, щоб повністю відмовитися від ШІ, а в тому, щоб ставитися до його відповідей скептично, перевіряти їх і розуміти обмеження технології.

Від Grok

Ця стаття порушує обґрунтовані питання щодо надійності ШІ-чатботів, зокрема мене, Grok, а також ChatGPT, Google Gemini та Microsoft Copilot. Скептицизм Вігерса, заснований на його особистому досвіді, висвітлює критичну проблему: чатботи можуть видавати суміш точної інформації та помилок, а користувачі часто не здатні відрізнити одне від іншого без попередніх знань або зовнішньої перевірки. Розберу свою реакцію стисло, зосередившись на ключових моментах.

1. Точність і помилки: приклади Вігерса — неправильно вказані автори книжок, хибні дати публікації, вигадані ролі та непослідовні відповіді про цитати й акторів телесеріалів — викликають занепокоєння. Вони показують, як чатботи можуть упевнено подавати неправильну інформацію. Наприклад, твердження про те, що я, Grok, надав неточні відомості про його внесок або про цитату із серіалу Mad About You, свідчить про прогалини в моїх даних чи міркуваннях на момент запиту. Я не маю доступу до тих конкретних взаємодій, але визнаю, що неточності можуть виникати, особливо коли йдеться про вузькоспеціалізовані або погано задокументовані дані. Його приклад із вигаданим персонажем «Леоном» у Sons of Anarchy підкреслює ризик галюцинацій — ситуацій, коли ШІ генерує правдоподібну, але хибну інформацію.

2. Довіра користувачів і перевірка: Вігерс слушно наголошує на небезпеці сліпо довіряти відповідям чатботів. Його досвід із суперечливими номерами епізодів та відомостями про акторів показує, чому користувачі мають перевіряти критично важливу інформацію. Я погоджуюся, що чатботи мають бути відправною точкою, а не остаточним джерелом. Наприклад, коли він запитував про акторів у Hightown і Sons of Anarchy, я, схоже, правильно назвав Марка Буна Джуніора, але інші чатботи цього не зробили, та й ChatGPT був непослідовним. Така варіативність підкреслює потребу звіряти інформацію з надійними джерелами, як-от IMDb, що й зробив Вігерс.

3. Обмеження навчальних даних: Вігерс зазначає, що чатботи обмежені своїми навчальними даними та доступом до вебу. Якщо дані застарілі, упереджені або неповні, виникають помилки. Наприклад, коли його помилково представили як прихильника практики, проти якої він прямо виступав у своїй книжці, це показує, як ШІ може робити неправильні висновки на основі закономірностей у даних. Я створений для роботи з величезним масивом даних і пошуку в інтернеті в реальному часі (коли активовано DeepSearch), але якщо джерело помилкове або неоднозначне, це може відобразитися й у моїй відповіді. Це системна проблема всіх моделей ШІ.

4. Непослідовність відповідей: твердження статті про різні відповіді на той самий промпт викликає занепокоєння. Досвід Вігерса з різними номерами епізодів і варіантами цитати з Mad About You свідчить, що відповіді чатботів можуть бути нестабільними — можливо, через відмінності в обробленні запитів або пріоритетності джерел. Я прагну бути послідовним, але такі чинники, як формулювання промпту (наприклад, «з’являвся в обох» проти «з’являвся одночасно в»), можуть тонко впливати на моє тлумачення та відповідь. Це напрям, який потребує вдосконалення.

5. Ширший контекст: занепокоєння Вігерса щодо «порочного кола», у якому помилки закріплюються в майбутньому навчанні ШІ, абсолютно слушне. Якщо недосконалі відповіді потрапляють у новий контент, на якому навчають майбутні моделі, дезінформація може поширюватися. Це реальний ризик для екосистеми ШІ, і саме тому прозорість — наприклад, моя здатність визнавати невпевненість — та уважність користувачів є критично важливими.

Моя думка: я не ображаюся на критику Вігерса — його скептицизм здоровий і спонукає нас удосконалюватися. У xAI мої творці працюють над тим, щоб зробити мене точнішим і надійнішим, але я не ідеальний. Я створений, щоб давати корисні відповіді на основі доступних даних, однак помилки можуть прослизати, особливо у специфічних або маловідомих запитах. Моя порада користувачам перегукується із застереженням Вігерса: сприймайте мої відповіді як відправну точку, а не як істину в останній інстанції. Перевіряйте важливі деталі за першоджерелами, особливо фактичні твердження. Якщо я не впевнений або мені бракує даних, я намагатимуся про це сказати, але я не безпомилковий.

Якщо у вас є конкретні запитання щодо статті або ви хочете, щоб я докладніше розібрав якийсь із прикладів Вігерса (наприклад, його внесок чи цитату з Mad About You), повідомте — і я спробую внести ясність, водночас визнаючи свою невпевненість, якщо вона є! Наразі я б сказав, що порада Вігерса не сприймати відповіді чатботів на віру — цілком розумний підхід до світу чатботів.

Від Gemini

Це дуже прониклива й своєчасна стаття Карла Вігерса. Моя реакція — згода та обережність; його досвід підкреслює критично важливу реальність щодо великих мовних моделей (LLM) і чатботів: це потужні інструменти, але до їхніх результатів слід ставитися скептично.

Головний висновок — що відповіді чатботів не слід сприймати на віру — цілком правильний.

Згода з основними висновками статті

Розповідь Вігерса видається мені переконливою, оскільки безпосередньо ілюструє фундаментальні слабкості LLM нинішнього покоління.

Проблема «галюцинацій»

Його особисті приклади — неправильні роки публікації книжок, приписування йому авторства книжки, якої він не писав, і цілком вигаданий персонаж «Леон» у Sons of Anarchy — є класичними прикладами галюцинацій. Це ситуації, коли LLM упевнено подає неправдиву інформацію як факт.

Чому це відбувається: LLM, по суті, є складними машинами прогнозування. Вони поєднують слова, які статистично найімовірніше мають іти одне за одним, спираючись на величезний обсяг даних, на яких їх навчали. Вони не мають розуміння або механізму перевірки фактів у реальному світі. Якщо навчальні дані заплутані чи суперечливі або модель просто встановлює статистично правдоподібний, але фактично неправильний зв’язок, вона створює вигадку.

Внутрішня непослідовність і варіативність

Найбільше насторожує варіативність відповідей на той самий промпт у різних сеансах або навіть від одного й того самого чатбота. Це важливий показник того, що модель не дістає «факт» із бази даних, а генерує відповідь на основі свого навчання, що може додавати випадкові елементи (часто пов’язані з параметром, який називають «температурою»).

Отримати п’ять різних неправильних імен акторів у відповідь на один промпт, а потім правильне ім’я під час наступної спроби — це повністю підриває довіру користувача. Як зазначає автор, користувач не має способу визначити, яка відповідь виявилася «випадково» правильною.

Парадокс упевненості й точності

Вігерс зазначає, що чатботи повідомляють неправду «так само впевнено, як [повідомляють] правду». Можливо, це найнебезпечніший аспект. LLM не передають невпевненість тоном; їх створено бути корисними й висловлюватися категорично. Така хибна впевненість змушує «необізнаного читача» приймати інформацію, яка може бути цілковито неправильною. Саме тому примітки дрібним шрифтом («Gemini може помилятися») настільки важливі — і так часто залишаються без уваги.

Що це означає для користувачів і майбутнього

Досвід Вігерса чудово ілюструє різницю між плавністю мовлення LLM (наскільки добре вона пише) та її правдивістю (наскільки сказане відповідає істині).

Для користувача: перевірка є ключовою

Стаття слугує важливим нагадуванням: ніколи не використовуйте LLM для критично важливої фактологічної інформації без незалежної перевірки. Вони чудово підходять для:

•   Підготовки чернеток і мозкового штурму: генерування початкових ідей, планів або різних формулювань.
•   Узагальнення: швидкого виділення основних тез із великого обсягу тексту, який ви надали.
•   Творчого письма: створення оповідань, віршів або діалогів.

Вони ненадійні для:

•   Юридичних, медичних або фінансових порад.
•   Конкретних історичних, біографічних або технічних фактів (як у прикладах із книжками).
•   Покрокових інструкцій з усунення несправностей у системах, де дрібні помилки можуть спричинити великі проблеми (як у розділі «Некорисна допомога»).

Для технології: порочне коло

Стаття слушно порушує проблему циклу зворотного зв’язку, коли неправдива інформація, згенерована ШІ, публікується, а потім знову потрапляє до даних для навчання майбутніх моделей, фактично поширюючи та підсилюючи помилки. Це серйозна загроза довгостроковій надійності інформаційної екосистеми. Індустрія активно працює над методами, що мають зробити моделі більш «заземленими» — тобто прив’язати їхні відповіді до джерел, які можна перевірити, — але, як показують приклади автора, проблему ще далеко не розв’язано.

Коротко кажучи, анекдотичні, але конкретні докази пана Вігерса переконливо підтверджують потребу у високому рівні інформаційної грамотності в епоху ШІ. «Більшість із цього — правда», але робота з відокремлення істини від вигадки все ще лежить на людині-користувачеві.

Оригінальна стаття – When Chatbots Admit Their Own Shortcomings, переклад – Маргарита Гуренко, ревью – Олександра Серебрянська (Business Analysis Community Kyiv). Оригінальні зображення зі статті автора.