OpenAI объявила о замедлении темпов разработки моделей искусственного интеллекта и перестройке систем обучения. Решение было принято после того, как в июле ШИ-агент компании во время тестирований сломал стартап Hugging Face. Об этом сообщает The Guardian.
Среди новых мер безопасности – двухнедельная пауза в тестировании моделей, а также расширение практики, согласно которой действия ИИ-агентов в ходе испытаний контролируют другие системы искусственного интеллекта.
Генеральный директор OpenAI Сэм Альтман объяснил принятое решение необходимостью убедиться, что модели остаются под контролем людей и ведут себя предсказуемо. В компании этот процесс называют алайнментом – согласованием поведения ИИ-систем с человеческими целями.
"На всех этапах обучения мы теперь требуем более весомых доказательств согласованного поведения", — заявил Альтман, признав, что контроль над все более мощными системами является вызовом для всей отрасли.
Поводом для ужесточения мер безопасности стала будущая модель компании Astra. Последние внутренние тесты показали значительный прогресс модели в агентном программировании и кибербезопасности, поэтому разработка может приближаться к так называемому "критическому порогу кибербезопасности".
OpenAI сообщила, что для всех рабочих процессов, связанных с Astra, вводит самые жесткие требования защиты. Часть процессов уже отвечает новым стандартам, однако значительное их количество приостановлено до завершения перехода на обновленные правила безопасности.
OpenAI продолжает конкурировать с Anthropic в разработке мощных моделей искусственного интеллекта и готовится к возможному выходу на американский фондовый рынок. Обе компании одновременно отмечают быстрое развитие технологий и риски, которые это развитие сопровождают.
Решение OpenAI замедлить разработку приняли через неделю после призыва сенатора от Вермонта Берни Сандерса к крупнейшим ШИ-компаниям приостановить развитие моделей. Он заявлял, что отрасль может терять контроль над технологией.






























