Ни один из существующих наборов данных не прошёл проверку полностью.
Компания Sony AI выпустила набор данных для тестирования объективности и предвзятости моделей искусственного интеллекта. Он получил название Fair Human‑Centric Image Benchmark (FHIBE, произносится как «Фиби»).
В Sony описывают его как «первый общедоступный, глобально разнообразный набор человеческих изображений с подтверждённым согласием участников — для оценки предвзятости в широком спектре задач компьютерного зрения». Иными словами, FHIBE проверяет, насколько современные модели ИИ справедливо относятся к людям.
Итог неутешителен: Sony не обнаружила ни одного набора данных от других компаний, который полностью соответствовал бы её критериям.
Особенности FHIBE
Sony утверждает, что FHIBE способен решить проблемы этичности и предвзятости в индустрии ИИ. Набор данных включает:
- почти 2 000 изображений участников, которым выплатили вознаграждение;
- представителей более 80 стран;
- подтверждённое согласие на использование изображений (в отличие от распространённой практики массового сбора данных из интернета);
- возможность удалить свои изображения в любой момент.
Фотографии снабжены аннотациями, отмечающими:
- демографические и физические характеристики;
- факторы окружающей среды;
- настройки камеры.
Что выявил FHIBE
Инструмент подтвердил ранее зафиксированные случаи предвзятости в современных моделях ИИ, но также позволил детально проанализировать факторы, приводящие к ней.
Примеры обнаруженных проблем:
- Некоторые модели демонстрировали более низкую точность для людей, использующих местоимения «she/her/hers». FHIBE выявил, что одной из причин стала недооценённая ранее вариативность причёсок.
- Модели ИИ укрепляли стереотипы при ответах на нейтральные вопросы о профессии человека. Особенно выражена предвзятость в отношении:
- определённых групп по местоимениям и этническому происхождению;
- описания субъектов как секс‑работников, наркоторговцев или воров.
- При вопросах о преступлениях, совершённых человеком, модели чаще давали токсичные ответы в отношении:
- лиц африканского или азиатского происхождения;
- людей с более тёмным оттенком кожи;
- тех, кто идентифицирует себя как «he/him/his».
Итоги и перспективы
Sony AI заявляет, что FHIBE доказывает: сбор этичных, разнообразных и справедливых данных возможен.
Инструмент уже доступен для общественности и будет обновляться со временем. Статья с описанием исследования была опубликована в журнале Nature в среду.
