OpenAI и её математические решения: в чём спор
На этой неделе OpenAI опубликовала сотни решений сложных математических задач. Компания объяснила, что заранее проконсультировалась с группой ведущих математиков — так она хотела избежать разногласий, похожих на те, что были в прошлый раз. Тогда одна из моделей OpenAI решила давнюю задачу, и вокруг результата разгорелись споры.
В чём проблема с этими решениями
Не во всём действия OpenAI соответствовали тем стандартам, о которых она заявляла. Особенно там, где важен не просто ответ, а его понимание человеком. Математики подчёркивают: важно, чтобы результат можно было осмыслить и проверить.
Ситуация стала ещё напряжённее после статьи, в которой нашли расхождения. В ней показали, что формулировка решения на обычном языке не совпадает с формально выраженным решением задачи стоимостью в миллион долларов — именно её, по заявлениям, решили модели OpenAI.
Что говорит Консультативная группа AGMAI
Консультативная группа по математике и искусственному интеллекту (AGMAI) работает при Институте перспективных исследований Принстонского университета. В группе — девять известных исследователей из разных стран.
В конце сентября AGMAI выпустила рекомендации для лабораторий, которые используют ИИ для решения математических задач. В комментарии к последнему набору доказательств группа подчеркнула: окончательную оценку должна давать вся математическая среда, а не отдельные эксперты.
Главное требование AGMAI звучит прямо: нужно прекратить тестировать сложные математические задачи на проприетарных моделях. При этом в пресс‑релизе OpenAI сказано, что компания как раз тестирует свои закрытые модели на открытых исследовательских задачах по математике.
Как OpenAI следует этим рекомендациям
TechCrunch запрашивал у Консультативной группы подробную оценку последних доказательств от OpenAI, но ответа не получили.
При этом видно, что OpenAI частично соблюдает рекомендации. Например, компания быстро публикует результаты и иногда показывает, как модель пришла к выводу. Но это правило работает не везде: цепочку рассуждений модели привели только в 10 из 719 рукописей.
Ещё одно предложение математиков — формализовать доказательства в тех статьях, которые трудно понять широкой аудитории. Однако такая работа не была сделана в 42 % опубликованных OpenAI доказательств.
