Anthropic профинансирует создание нового бенчмарка для оценки ИИ

• Anthropic объявила о старте инициативы по созданию стороннего бенчмарка для оценки эффективности и влияния ИИ-технологий.
• Речь идет о ПО сторонних компаний, способном провести комплексный анализ возможностей моделей искусственного интеллекта.
• Anthropic намерена финансировать разработку новой системы оценок и уже начала принимать заявки от заинтересованных лиц. 

Стартап Anthropic заявил о запуске инициативы по разработке специального бенчмарка для ИИ-проектов. Он должен внедрить новые принципы оценки возможностей и угроз со стороны искусственного интеллекта, подчеркнули в компании.

Согласно пресс-релизу, фирма намерена предоставлять финансирование сторонним разработчикам, которые займутся созданием такого ПО. Представители стартапа подчеркнули, что речь идет о командах, чьи проекты смогут «эффективно измерять передовые возможности ИИ-моделей».

По заявлению Anthropic, прием заявок на участие в инициативе уже стартовал. При этом компания намерена регулярно проводить анализ команд, их прогресса и перспектив.

«Наша команда будет рассматривать заявки на постоянной основе и следить за выбранными предложениями для обсуждения следующих шагов. Мы предлагаем ряд вариантов финансирования, адаптированных к потребностям и стадии каждого проекта», — заявили представители ИИ-стартапа. 

В Anthropic отмечают, что компания нацелена на три основных направления развития оценки. Речь идет о следующих пунктах:

• анализ уровня безопасности ИИ;
• инфраструктура, инструменты и методы разработки оценок;
• расширенные возможности и показатели безопасности.

Каждый из этих разделов включает большое количество подпунктов. Стартап планирует оценивать такие факторы, как киберзащита, биологические и ядерные риски, автономность ИИ-модели, вредоносность и отказы, социальное воздействие и многие другие.

Помимо этого, Anthropic перечислила ряд ошибок, которые компания обнаружила в ходе собственной работы над ИИ. К ним представители стартапа отнесли более десятка пунктов, включая сложность проекта, масштабируемость, необходимость экспертизы в предметной области и ряд иных особенностей.

«Мы надеемся, что эта инициатива послужит катализатором прогресса на пути к будущему, где комплексная оценка ИИ станет отраслевым стандартом. Мы приглашаем вас присоединиться к нам в этой важной работе и помочь сформировать путь вперед», — заявили в компании. 

Ранее стало известно, что Anthropic наняла экс-руководителя группы OpenAI по контролю за ИИ Яна Лейке. Эксперт возглавил новую команду «сверхсогласованности».

Напомним, потерпевшая крах криптовалютная биржа FTX продала остаток акций Anthropic. Компания выручила за ценные бумаги $450 млн.