Мелани Митчелл предложила 6 принципов оценки искусственного интеллекта
В начале 1900-х годов в Германии прославился конь по кличке «Умный Ханс». Его хозяин утверждал, что конь умеет решать арифметические примеры. Конь и правда отвечал верно, ровно столько раз ударяя копытом, сколько нужно. Но психолог, проверявший его, выяснил: никаких вычислений конь не производил. Он улавливал дыхание окружающих, их позу, невольные жесты и останавливался, когда доходил до нужного числа.
Когнитивный учёный Института Санта-Фе Мелани Митчелл сравнила эту историю с оценкой искусственного интеллекта.
Когда современные большие языковые модели правильно отвечают на вопрос, мы принимаем это за «понял». Однако Митчелл в статье, опубликованной в 2026 году в журнале AI Magazine, выразила в этом сомнение. Действительно ли модель рассуждает или просто порождает текст, который выглядит осмысленным, — нынешние методы тестирования чётко отличить не могут.
Вот три основных из её 6 принципов.
- Проверяйте и типы ошибок модели: одного правильного ответа как показателя недостаточно
- Успех в одной области не гарантирует, что модель справится в другой
- Пока модель не может объяснить собственные внутренние процессы, говорить, что она «понимает», рано
При разработке этого подхода Митчелл вдохновлялась психологами. Они изучают младенцев и животных, то есть носителей «чуждого интеллекта», без словесных вопросов: наблюдают за поведением, реакцией на неожиданную ситуацию, следами обучения. Митчелл предлагает применять те же методы и к ИИ.
Поэтому, когда ИИ отвечает верно, с выводом «понял» лучше быть осторожнее. Результат правильный, но причина может быть иной.