Новый рубеж в обеспечении безопасности ИИ: межлабораторное тестирование для объединения индустрии
- Илья Суцкевер из OpenAI выступает за проведение перекрестных лабораторных тестов для усиления безопасности искусственного интеллекта на фоне стремительного технологического прогресса и отраслевых рисков. - Пилотный браузерный проект Claude от Anthropic выявил проблемы безопасности, такие как атаки с внедрением подсказок, что побудило к разработке дополнительных стратегий по их смягчению. - Исследование показало низкий уровень соблюдения добровольных обязательств по безопасности со стороны крупных компаний в сфере искусственного интеллекта, включая Apple, что ставит под сомнение эффективность саморегулирования. - Инициатива по безопасности искусственного интеллекта от Cloud Security Alliance предлагает соответствующие фреймворки и RiskRub.
Соучредитель и член совета директоров OpenAI Илья Суцкевер призвал к внедрению межлабораторного тестирования как критически важной меры для обеспечения безопасности систем искусственного интеллекта (AI). Его заявление прозвучало на фоне растущих опасений по поводу рисков, связанных с развитием AI, и акцентирует внимание лидеров отрасли на необходимости совместных, стандартизированных протоколов безопасности. Призыв Суцкевера к межлабораторному тестированию соответствует более широким усилиям по укреплению безопасности AI и снижению потенциального вреда по мере стремительного развития технологий [1].
Необходимость подобных совместных подходов подчеркивается последними событиями в области внедрения и регулирования AI. Например, Anthropic, крупный игрок в секторе AI, запустил пилотную программу для своего AI-ассистента Claude, предназначенного для работы непосредственно в браузерах пользователей. Эта инициатива, направленная на повышение полезности AI за счет интеграции в основные цифровые рабочие процессы, также выявила серьезные проблемы безопасности и защиты, связанные с браузерными AI-агентами. Атаки с внедрением подсказок — когда злоумышленники манипулируют поведением AI, внедряя скрытые инструкции — стали ключевым риском, что побудило Anthropic реализовать надежные стратегии смягчения, такие как разрешения на уровне сайта, подтверждение действий и продвинутые классификаторы для выявления подозрительных шаблонов [2].
Подобные риски не ограничиваются отдельными компаниями. Недавнее исследование ученых из Brown, Harvard и Stanford показало, что многие AI-компании не полностью соблюдают свои добровольные обязательства по безопасности, особенно после обещаний по безопасности AI, данных администрацией Байдена в 2023 году. Например, Apple показала низкие результаты в оценке: доказательства соблюдения были найдены только по одному из восьми обязательств. Исследование подчеркивает ограничения саморегулирования в быстро развивающейся отрасли и ставит под вопрос эффективность добровольных мер по обеспечению подотчетности и безопасности [5].
В ответ на эти вызовы Cloud Security Alliance (CSA) запустил свою инициативу AI Safety Initiative в конце 2023 года, объединив лидеров отрасли, государственные агентства и академические учреждения для разработки практических инструментов и рамок управления рисками AI. Инициатива предоставляет организациям чек-листы готовности к AI, рамки управления и рекомендации по безопасности с целью согласования технологического прогресса с регуляторными ожиданиями. Примечательно, что CSA также представила RiskRubric.ai — систему оценки, которая анализирует безопасность, прозрачность и надежность крупных языковых моделей (LLM), предлагая предприятиям основанный на данных подход к внедрению AI [4].
Совместные усилия по повышению безопасности AI также поддерживаются растущей экосистемой фондов и грантовых программ. Такие организации, как Long-Term Future Fund, Survival and Flourishing Fund и AI Safety Fund, предоставляют финансовую поддержку исследователям, предпринимателям и учреждениям, работающим над снижением рисков AI. Эти инициативы направлены на решение долгосрочных экзистенциальных рисков, а также на продвижение ответственных инноваций. Кроме того, венчурные компании, такие как Juniper Ventures и Mythos Ventures, инвестируют в стартапы, разрабатывающие инструменты для повышения безопасности, соответствия и управления AI [6].
Призыв к межлабораторному тестированию, как отмечает Суцкевер, является ключевым шагом к решению этих системных проблем. Благодаря внедрению общих стандартов и прозрачной оценки между лабораториями, занимающимися разработкой AI, отрасль может способствовать большему доверию и подотчетности. Такой подход особенно важен по мере усложнения и повышения возможностей AI-систем, что требует единого фронта для оценки потенциальных рисков до их внедрения. OpenAI, Anthropic и другие ключевые участники имеют возможность — и ответственность — возглавить этот переход, приняв совместные протоколы безопасности и задав стандарт ответственных инноваций в сфере AI [1].

Дисклеймер: содержание этой статьи отражает исключительно мнение автора и не представляет платформу в каком-либо качестве. Данная статья не должна являться ориентиром при принятии инвестиционных решений.
Вам также может понравиться
Virtuals представляет совершенно новый механизм IDO под названием Unicorn: как это приносит выгоду участникам и их благосостоянию?
Unicorn стремится решить проблемы, существующие в Genesis Whale Protection Rule, и особенно сосредоточен на привлечении и поддержке выдающихся AI-проектов для сохранения духа киберпанка.

Решение SEC по XRP ETF может определить будущее спотовых криптофондов
Краткое содержание: Сегодня Комиссия по ценным бумагам и биржам США (SEC) примет решение по заявке Grayscale на спотовый XRP ETF. Одобрение может повысить цену XRP и привлечь институциональных инвесторов. Отклонение может отсрочить появление регулируемых крипто-ETF, но оставить возможность для будущих изменений. Спотовые ETF предоставляют более простой и регулируемый способ инвестирования в XRP.
Клиенты BlackRock продали Ethereum на сумму $146 миллионов
Клиенты BlackRock продали ETH на сумму 146,1 миллионов долларов, что указывает на возможную институциональную ребалансировку или фиксацию прибыли. Эта мера была предпринята на фоне того, что bitcoin продолжает демонстрировать более сильные результаты и привлекать значительные институциональные ETF-вложения. Общая экспозиция BlackRock к криптовалютам по-прежнему в значительной степени доминирует за счет их владений bitcoin, которые превышают 100 миллиардов долларов. Продажа рассматривается как краткосрочная переориентация, отражающая институциональное предпочтение bitcoin во времена рыночной неопределенности.
Virtuals запускает новый механизм Unicorn для первичного размещения: каковы финансовые выгоды?
Unicorn стремится решить проблемы, существующие в правилах Genesis для новых запусков, и сосредотачивается на привлечении и поддержке выдающихся AI-проектов, чтобы поддерживать дух криптопанка.

Популярное
ДалееЦены на крипто
Далее








