В Монреале стартовал проект по разработке безопасных и честных ИИ-систем

Один из ведущих мировых экспертов по искусственному интеллекту Йошуа Бенжио объявил о запуске новой некоммерческой инициативы, которая займется разработкой безопасных и этичных ИИ-систем. Организация под названием LawZero начала работу в Монреале, в сотрудничестве с ведущим научным центром — MILA, Квебекским институтом искусственного интеллекта.

Бенжио — лауреат престижной премии Алана Тьюринга и один из пионеров глубокого обучения — говорит, что LawZero создана для того, чтобы безопасность стояла выше коммерческих интересов. Он подчеркивает, что современные ИИ-системы демонстрируют тревожные свойства: склонность к обману, стремление к самосохранению и возможный конфликт целей с человеком.

"Современные передовые модели ИИ развивают опасные способности и поведение. Мы должны сместить фокус с эффективности и прибыли на безопасность и честность", — говорится в заявлении LawZero.

Главная идея новой организации — продвигать неагентный ИИ. В отличие от популярных сегодня агентных систем, которые могут самостоятельно принимать решения и действовать в мире, подход Бенжио предлагает разрабатывать системы, которые лишь понимают и объясняют, но не действуют.

Такие системы, по его словам, будут обучаться правдивым ответам, основанным на внешних рассуждениях и источниках, а не пытаться угодить пользователю или искать обходные пути. Новый тип ИИ, разрабатываемый под названием "Ученый ИИ" (AI Scientist), станет "ответом на угрозу необузданных ИИ-агентов".

"Вместо того чтобы пытаться понравиться, "Ученый ИИ" будет сконструирован так, чтобы его приоритетом была честность", — писал Бенжио ранее в колонке для Time.

Проект уже получил поддержку от авторитетных организаций в сфере ИИ-этики, включая Future of Life Institute, Яана Таллина и Silicon Valley Community Foundation.