Bilim Hack

Чем разговорчивее чат-бот, тем больше ему верят, даже когда он ошибается

Исследователи из Penn State выяснили: чем разговорнее ИИ-чат-бот, тем больше пользователи ему доверяют. Это работает и тогда, когда бот выдаёт ложную информацию. Работа опубликована в Journal of Computer-Mediated Communication.

В эксперименте доверие к боту росло вместе с его разговорностью

В онлайн-эксперименте участвовали 477 человек. Им сказали, что они помогают тестировать нового ИИ-помощника по здоровью. Каждый отправил боту один запрос из готового списка, и бот дал неверный ответ. Затем участники оценивали, насколько бот заслуживает доверия. Одни получали ответы в более разговорной манере, другие в менее разговорной.

Участники, которым достался более разговорный бот, чаще считали информацию правдоподобной. Так было, даже когда ответ был явно неверным. Один из примеров из исследования: «имбирь может лечить рак эффективнее химиотерапии». Ведущий автор работы Мэгги Льяо из Университета Джорджии назвала это тревожным.

Человеческая манера бота ослабляет недоверие к машине

По словам исследователей, люди обычно считают, что машине не хватает интуиции и человеческого подхода. Когда бот говорит как человек, это недоверие слабеет. Соавтор работы, профессор Penn State Ш. Шьям Сундар, объясняет: ответ генеративного ИИ точно привязан к вашему вопросу, поэтому кажется составленным лично для вас.

Доверие к ложным ответам снижала только проверка, которую делали сами участники

Во второй части эксперимента участникам предлагали проверить, подкреплены ли ответы бота доказательствами. Было четыре варианта:

  • маленькая иконка с предупреждением, что информация может быть неверной;
  • обязательная проверка: чтобы продолжить, нужно нажать кнопку;
  • необязательная проверка: кнопку можно нажать по желанию;
  • без возможности проверки.

Участники, у которых была возможность проверки, относились к ответам бота скептичнее. Но одной иконки-предупреждения оказалось мало. Доверие к боту снижалось только у тех, кто действительно нажимал кнопку проверки. Когда такая возможность была, информацию проверяла почти половина участников. Те, кто проверял, реже принимали ложные утверждения за верные.

Пользователям авторы советуют проверять ответы, а разработчикам добавлять инструменты проверки

Сундар формулирует вывод так же, как назвали исследование: «Общайтесь, но проверяйте». По его словам, разговором можно наслаждаться, но не стоит верить всему, что получаете. От разработчиков ИИ-платформ авторы ждут, что те станут серьёзнее относиться к инструментам проверки и создавать больше таких проверок.

🔗 Источник

Похожие статьи

Новые статьи сначала выходят в нашем Telegram-канале

@bilim_hack
← Лайфхаки