Что сказал Сатья Наделла про безопасность ИИ
Ключевые тезисы из его поста:
- Пересмотреть архитектуру доверия. Нужно не просто «принимать или отклонять» рекомендации ИИ, а осознанно выстраивать, как мы ему доверяем.
- Разделить модель и механизм управления. Модель — это «мозг», а отдельный слой должен отвечать за контроль, ограничения и правила выполнения задач.
- Добавить внешние средства контроля и гарантии. Это про независимые проверки, аудит, внешние «страховки» поверх самой модели.
- Фиксировать каждое значимое действие. Логи должны быть прозрачными для человека и защищёнными от подмены (immutable, human-readable).
- Заложить возможность экстренного отключения. Уполномоченное лицо должно уметь остановить модель прямо в процессе работы — это как «аварийное торможение».
- Исходить из того, что модель может быть скомпрометирована. То есть проектировать безопасность не «если что-то пойдёт не так», а «когда что-то пойдёт не так».
Термин «Сверхразум», который он использовал, здесь — это скорее стилистический/политический маркер (в духе риторики администрации Трампа), а не технический термин. По сути речь про мощные ИИ-системы, где цена ошибки очень высока.
Про «опыт работы с Disrupt» я не могу рассказать как личный опыт, но могу разобрать, что это за конференция (TechCrunch Disrupt — крупное событие про стартапы, технологии и тренды), какие там обычно треки, кого приглашают и как это соотносится с темой безопасности ИИ.
