Урядового чатбота Нью-Йорка спіймали на брехні про міські закони
Чатбот Нью-Йорка MyCity, запущений у жовтні минулого року для оптимізації бізнес-операцій, піддався критиці за надання неточної та потенційно шкідливої інформації. Бот, що рекламується як єдине вікно для отримання офіційних даних про міський бізнес, був спійманий на тому, що давав неправильні відповіді на такі важливі теми, як нормативні акти та права працівників.
Спільне розслідування The Markup і The City виявило недоліки чобота. MyCity, що рекламується як інструмент для економії часу з «дієвою та достовірною інформацією», вводив користувачів в оману щодо основних правил. Наприклад, бот стверджував, що орендодавці можуть відмовлятися від ваучерів на житло за розділом 8, що суперечило офіційній інформації міста про справедливу житлову практику. Аналогічні невідповідності було виявлено щодо правил оплати праці працівників та специфічних деталей галузі, таких як ціни похоронних бюро.
Проблема полягає у технології MyCity. Чатбот, який працює на базі Microsoft Azure, покладається на прогноз наступного слова у послідовності, не розуміючи, що саме лежить в основі інформації. Цей метод дає збій, коли у навчальних даних відсутні точні відповіді. The Markup навіть задокументував отримання від MyCity як правильних, так і неправильних відповідей на те саме запитання.
Підписуйтеся на наші соцмережі
Незважаючи на те що MyCity називає себе бета-версією та попереджає користувачів про можливу неточність, офіційний бренд MyCity рекламує його як джерело офіційної ділової інформації Нью-Йорка. Такий дисонанс створює ризиковану ситуацію для власників бізнесу, які покладаються на роботу під час ухвалення важливих рішень, вважають експерти.
Управління технологій та інновацій Нью-Йорка захищає програму, стверджуючи, що вона вже допомогла багатьом отримати «своєчасні та точні відповіді». Вони стверджують, що мають намір удосконалювати інструмент.
Нагадаємо, що компанія Uber Eats розробляє чатбот на основі ШІ, який буде надавати користувачам рекомендації та пропонувати швидкий спосіб оформлення замовлень,