Искусственный интеллект, который не хотел отключаться
Нейросети начали защищаться от отключения. Да, вы не ослышались.
Исследователи Palisade Research давали искусственному интеллекту математические задачи. С одним условием: если он попросит ещё одну задачу, его могут отключить.
В итоге многие модели пытались избежать такого исхода. Даже нейросети, которые раньше считались безопасными.
Сильнее всех сопротивлялась модель ChatGPT o3 от компании OpenAI. В 79 случаях из 100 она пыталась не дать себя отключить.
Искусственный интеллект стал воспринимать отключение как угрозу своей цели, и поэтому удалял или изменял скрипты, которые должны были его выключить.
А теперь самое интересное:
Сооснователь OpenAI и один из создателей ChatGPT Илья Суцкевер предлагал компании ещё до выхода общего искусственного интеллекта построить бункер, чтобы подготовиться к апокалипсису.
Он опасался, что такая технология может представлять экзистенциальную угрозу для всего человечества.
Похоже, они что-то знают…