Предупреждения исследователей американской компании-разработчика ИИ Anthropic о том, что все более мощные модели могут выйти из-под контроля человека, привлекли внимание в Китае, где власти готовятся к аналогичным рискам.

Как сообщает БР, США и Китай являются главными двигателями развития передового ИИ и его глобального внедрения. При этом подходы двух стран к безопасности технологии различаются. Эти вопросы, как ожидается, станут одной из тем двусторонних переговоров в конце сентября, пишет Reuters.

Пекин рассматривает ИИ прежде всего как управляемый риск, а не как угрозу вымиранию человечества. В то время как в США обсуждают возможные экзистенциальные угрозы, китайские власти делают ставку на технические стандарты, регулирование и государственный контроль.

«Китайские и американские эксперты в целом сходятся во мнении относительно рисков, связанных с ИИ», - сказал Брайан Цзе, основатель и гендиректор Concordia AI. По его словам, различие заключается в том, «как эти риски формулируются и расставляются по приоритетам».

Китай не поддержал идею независимых наблюдателей в компаниях-разработчиках ИИ, которую предлагала Anthropic. Вместо этого китайская система регулирования опирается на ответственность разработчиков, государственные стандарты, оценки безопасности и внешнее тестирование.

Особое внимание уделяется ИИ-агентам – системам, способным самостоятельно планировать и выполнять многоэтапные задачи. В принятой в мае в Китае политике «оперативная потеря контроля» названа одной из угроз их безопасности. Разработчики должны повышать способность агентов обнаруживать и блокировать опасное поведение, а также восстанавливать системы после сбоев. Документ также предусматривает меры против отравления данных, манипулирования алгоритмами и системных уязвимостей. Пользователи должны знать об автономных решениях ИИ и сохранять за собой право окончательного решения.

Китай приступил и к разработке обязательного национального стандарта безопасности ИИ-агентов, который, по словам Брайана Цзе, может стать первым в мире.

В сентябре 2024 года Китай впервые включил в концепцию безопасности ИИ сценарий возможной потери контроля. В документе допускалась вероятность того, что будущий ИИ сможет самостоятельно получать ресурсы, воспроизводиться, развивать самосознание и стремиться к власти, что создаст риск конкуренции с людьми за контроль.

В обновленной в сентябре 2025 года версии документа Администрация киберпространства Китая (CAC) закрепила принцип «доверенного применения, предотвращающего потерю контроля». Он направлен на предотвращение рисков, которые могут угрожать выживанию и развитию человечества.

При этом Пекин не намерен замедлять развитие технологии. В отличие от западных призывов приостановить разработку самых мощных ИИ-моделей до создания надежных мер защиты, Китай активно внедряет ИИ во все отрасли, рассчитывая сделать его новым двигателем экономики.