Упс! Не вдала спроба:(
Будь ласка, спробуйте ще раз.

Чому не варто довіряти ШІ-відповідям від Google? Дослідження The New York Times

Неля Збишко
Неля Збишко Журналістка SPEKA
0
5 хвилин читання

Нещодавно видання The New York Times оприлюднило масштабне розслідування журналістів Тріппа Мікла, Кейда Метца та їхніх колег щодо точності системи AI Overviews.

Хоча Google позиціює свої ШІ-відповіді як авторитетні, аналіз показує: система часто посилається на сумнівні джерела — від постів у Facebook до іронічних блогів.

Методологія: як перевіряли Google?

Для оцінки точності репортери NYT залучили стартап Oumi. Використовуючи галузевий тест SimpleQA, експерти порівняли дві версії технології Gemini, на яких базується пошуковик:

Чому не варто довіряти ШІ-відповідям від Google? Дослідження The New York Times зображення 1

Примітка: «Необґрунтованість» означає, що відповідь фактично правильна, але посилання під нею не містять доказів цього факту.

Ключові висновки розслідування

1. Масштаб помилок

Як зазначає The New York Times, навіть за точності 91%, величезний обсяг пошукових запитів (5 трильйонів на рік) призводить до того, що Google генерує десятки мільйонів помилкових відповідей щогодини. Це сотні тисяч дезінформуючих повідомлень щохвилини.

Що цікаво, навіть якщо AI Overview правильно відповідає на запитання, він може надати додаткову інформацію, яка є невірною.

Чому не варто довіряти ШІ-відповідям від Google? Дослідження The New York Times зображення 2

На запитання, скільки років було американському реліф-пітчеру Діку Драго на момент смерті, AI Overview від Google вказав його правильний вік. Однак, надаючи додатковий контекст — як це часто робить AI Overview — він помилково вказав дату його смерті.

Підписуйтеся на наші соцмережі

2. Проблема джерел: соцмережі замість фактів

Аналіз 5 380 джерел, цитованих ШІ, виявив, що Facebook та Reddit посідають друге та четверте місця за частотою згадувань.

Чому не варто довіряти ШІ-відповідям від Google? Дослідження The New York Times зображення 3
  • Приклад з репортажу: Коли ШІ помилився щодо дати відкриття музею Боба Марлі, він надав пріоритет випадковому постингу у Facebook, ігноруючи дані офіційних газет.

Однак музей відкрився 11 травня 1986 року — у п’яту річницю смерті пана Марлі — як повідомила наступного дня ямайська газета «Daily Gleaner».

Огляд штучного інтелекту Google містив посилання на три вебсайти як джерела. Кожне з них мало певні недоліки:

  • Перше посилання вело на сторінку у Facebook дочки пана Марлі, Седелли Марлі, яка опублікувала фотографії після відвідування музею в Кінгстоні, Ямайка, але не надала інформації про дату відкриття музею.
  • Друге посилання вело на блог про подорожі під назвою «Adventures From Elle», який містив неточну інформацію про відкриття музею.
  • Третє посилання вело на сторінку Вікіпедії про Музей Боба Марлі, яка містила суперечливу інформацію, стверджуючи, що музей був заснований у 1986 та 1987 роках.

3. "Ефект хот-дога": вразливість до маніпуляцій

Журналіст BBC Томас Жермен продемонстрував NYT, як легко обманути алгоритм.

  • Він написав фейковий пост про те, що є "кращим техно-журналістом з поїдання хот-догів". Вже за добу AI Overview видавав цю вигадку за "істину в останній інстанції", цитуючи його статтю як серйозне джерело.

4. Позиція Google

Речник Google Нед Адріанс у коментарі для NYT назвав дослідження Oumi «недосконалим», оскільки воно базується на тестах OpenAI, які самі можуть містити помилки. Проте компанія визнає ризики, розміщуючи під кожною відповіддю дисклеймер: «ШІ може помилятися».

Реальні приклади галюцинації Google

Чому не варто довіряти ШІ-відповідям від Google? Дослідження The New York Times зображення 4

Ситуація на фото демонструє класичну «галюцинацію» ШІ, де алгоритм Google видав сатиричну або фейкову новину за реальний факт, стверджуючи, що Disney запроваджує обов'язкові чайові на атракціонах.

Головна помилка ШІ полягає у відсутності критичної верифікації джерела: замість того, щоб спиратися на офіційні правила парку, система підхопила абсурдне твердження з соцмереж або гумористичних блогів (ймовірно, створених для клікбейту) і вивела його в топ як авторитетну відповідь.

Це ілюструє проблему «необґрунтованості», описану в дослідженні NYT, коли ШІ не здатний відрізнити правдоподібний текст від вигадки, що призводить до поширення дезінформації про неіснуючі обов'язкові платежі.

Вердикт експертів: чи можна довіряти ШІ-відповідям

Попри те, що Gemini 3 став розумнішим, він частіше втрачає зв'язок із джерелами (галюцинує). СЕО Oumi Манос Кукумідіс риторично запитує:

Навіть якщо відповідь правдива, як ви можете в цьому переконатися, якщо посилання її не підтверджують?

Пратік Верма, генеральний директор компанії Okahu, яка допомагає людям розуміти та використовувати технології штучного інтелекту, зазначив, що технологія Google є приблизно такою ж точною, як і будь-яка інша провідна система штучного інтелекту. Він закликав людей ретельно перевіряти інформацію:

Ніколи не покладайтеся лише на одне джерело. Завжди порівнюйте отриману інформацію з даними з іншого джерела.

Тож можна зробити однозначний висновок: вірити ШІ-відповідям на 100% не можна, а їх використання потребує критичного підходу.

Щоб перевірити ШІ-відповідь, завжди переходьте за наданими посиланнями та зіставляйте факти з офіційними джерелами або авторитетними медіа. Звертайте увагу на дату публікації першоджерела та уникайте покладання на дані з соцмереж, як-от Facebook чи Reddit, які ШІ часто цитує помилково.

0
Icon 0

Підписуйтеся на наші соцмережі