Психология и риски развития искусственного интеллекта

Дарио Амодей опубликовал новое эссе как продолжение своего более раннего текста. Если в том эссе он описывал утопическое будущее с мощным ИИ, то здесь он детально разбирает риски, которые нам предстоит преодолеть.Он предлагает 3 принципа обсуждения рисков: 1. не относиться к ним квази-религиозно, не использовать язык научной фантастики, не призывать к экстремальным мерам без доказательств2. Признавать неопределённость — никто не может предсказать будущее с уверенностью3. Действовать хирургически точно — регулирование должно быть минимально необходимым, простым и без побочного ущерба.Дарио говорит, что ИИ-модели психологически сложны, унаследовали множество «персон» от обучения на человеческих текстах. Проблемы могут возникать по самым странным причинам. Ровно от этом наш канал писал ещё в ноябре 2025, тут подробнее.Решение Anthropic – формировать «личность» Claude через конституцию ценностей. Обучение на уровне характера и идентичности, а не списка запретов.Это чистая психология. ИИ воспитывают как ребёнка.А кто воспитатели?Здесь вспоминается показание Ильи Суцкевера в суде, о котором мы писали в ноябре. На вопрос, кто должен управлять AGI, Илья ответил: «Человек, который будет управлять AGI, скорее всего будет очень хорош в играх власти».Дарио подтверждает – триллионы $ создают систему, где контроль получают не самые зрелые, а самые искусные в политике. Он включает собственную компанию в список угроз — наравне с автократиями. Дарио, кстати, это понимает.Наш тезис от ноября актуален как никогда – безопасный ИИ не возникнет только от решения технической проблемы выравнивания. Он начинается с психологически зрелых разработчиков этого ИИ, если нет зрелых разработчиков и менеджеров в процессе, то ИИ станет их зеркалом.