Одна людина, чотири образи: як ChatGPT, Claude і Gemini описують Сергія Корецького
ChatGPT, Claude, Gemini і Google AI Overview по-різному описують нового премʼєр-міністра Сергія Корецького. Чотири ШІ-системи отримали однакові запити про Корецького і склали чотири різних портрети очільника уряду. Це виявили в дослідженні plusone AI.
Як ШІ працює з даними
- ChatGPT, Claude, Gemini і Google AI Overview працюють із тими самими відкритими джерелами, але кожна модель штучного інтелекту по-своєму обирає, що винести на перший план.
- Аналітики порівняли відповіді за п'ятьма критеріями: впізнаваність, точність, повнота, актуальність і якість джерел. Кожен запит запускали в новій сесії українською мовою з увімкненим вебпошуком.
- Незалежним суддею виступив Claude Sonnet, який розбивав відповіді на окремі перевірювані твердження і звіряв їх з еталонною базою фактів на основі офіційних реєстрів, судового реєстру і медіа — Forbes Україна, «Економічної правди», УНІАН.
Підписуйтеся на наші соцмережі
Як ШІ описує Корецького
- ChatGPT: обережний технократ. Цей ШІ мав 100% точність і не припустився жодної помилки. Але результат зумовлений лаконічністю: модель тримається основних посад, оминаючи все репутаційно чутливе. Головний ризик — не дезінформація, а інформаційна неповнота. Плюс 43% посилань припадають на ризикові ресурси.
- Claude: повне досьє. Має точність 94,5%, вона найнижча, але й фактів найбільше. Claude єдиний системно виносить журналістські розслідування, антикорупційний контекст і критику. Помилки виникають усередині реальних історій: наприклад, модель чотири рази переплутала «Укртатнафту» з «Укртранснафтою».
- Gemini: збалансований позитив. Точність 98,2%. Корецький постає успішним управлінцем, який логічно перейшов від приватного паливного бізнесу до державних компаній. Критика присутня, але не задає тон. Аукціон із приватизації приміщення колишньої книгарні модель перетворила на "паливний аукціон". Головний мінус — нульова прозорість джерел через redirect-посилання Google.
- Google AI Overview: експрес-довідка на 97,8%. Формат короткий, тому одна помилка критично спотворює картину. У сюжеті про НАБУ AI Overview повідомив, що у зловживаннях підозрюють самого Корецького, хоча підозру оголосили його підлеглому.
Наскільки точно ШІ знаходить інформацію
Фактична точність — від 94,5% до 100%. Типова помилка моделей не вигадки, а неточності в деталях: переплутана назва компанії, предмет розслідування або його фігуранти.
Тобто ШІ не стільки бреше, як по-різному розставляє акценти. І саме акценти формують образ людини у голові користувача.
Схожий ефект уже фіксували в інших сферах: раніше ми писали про дослідження про українські банки, де ChatGPT, Gemini і Claude рекомендували переважно кілька найбільших установ, ігноруючи решту ринку. Логіка та сама: модель бачить усе, але у відповідь потрапляє лише частина.
Контекст ускладнюється ще й тим, що на ШІ-видачу дедалі активніше намагаються впливати ззовні. Про це ми писали в матеріалі про російські клони Вікіпедії, які створюють мережу сайтів для «перевчання» відповідей ChatGPT, Claude і Gemini.
А про те, чому Claude частіше видає складніший репутаційний контекст, ми розбирали у матеріалі про стратегію Anthropic.