Компания Anthropic пересматривает свою политику в отношении новой языковой модели Claude Fable 5, которая, как выяснилось, незаметно ограничивала исследователей в их работе. Как сообщает издание Wired, организация признала допущенную ошибку и намерена сделать соответствующие ограничения прозрачными для пользователей. «Мы изменяем механизмы защиты Fable 5 для разработки передовых LLM, делая их видимыми. Мы выбрали неверный компромисс и приносим извинения за то, что не смогли соблюсти баланс», — говорится в официальном заявлении Anthropic.
После выпуска Claude Fable 5, построенной на мощной системе Mythos, исследователи столкнулись с необычным явлением. Модель незаметно перенаправляла запросы на менее производительную версию при попытке выполнения определённых задач. При этом данное ограничение не было указано в документации к модели. В частности, Fable 5 отказывалась или снижала качество ответов при обучении конкурирующих LLM, отладке кода ИИ и оптимизации нейронных архитектур.
Исследовательское сообщество выразило обеспокоенность не только фактом деградации ответов, но и отсутствием прозрачности со стороны Anthropic. Дополнительным разочарованием стала потеря вычислительных ресурсов и средств, потраченных на работу с моделью, которая не оправдала ожиданий.
Учитывая, что Anthropic позиционирует себя как более этичная и ориентированная на исследователей альтернатива OpenAI, действия компании вызвали быструю негативную реакцию. Научный сотрудник и автор блога на Substack Дин У. Болл отметил в X: «Снижение производительности на ML-исследованиях без уведомления пользователя — это шокирующе враждебный шаг и ужасный сигнал».
Важно подчеркнуть, что Anthropic не отменяет политику защиты Fable 5 полностью, а лишь делает ограничения видимыми. Как пишет Wired, если компания подозревает, что пользователь пытается использовать Claude для создания высокопроизводительного ИИ, она уведомит его о том, что запрос отклонён или будет перенаправлен на менее мощную модель.
