Домой новости Проект Glasswing: Обеспечение безопасности критически важного программного обеспечения в эпоху искусственного интеллекта

Проект Glasswing: Обеспечение безопасности критически важного программного обеспечения в эпоху искусственного интеллекта

От
Сергей Кузнецов
-
40
0

Выявление уязвимостей и эксплойтов с помощью Claude Mythos Preview

За последние несколько недель мы использовали Claude Mythos Preview для выявления тысяч уязвимостей нулевого дня (то есть недостатков, которые ранее были неизвестны разработчикам программного обеспечения), многие из которых являются критическими, во всех основных операционных системах и всех основных веб-браузерах, а также в ряде других важных частей программного обеспечения.

В сообщении в нашем блоге Frontier Red Team мы приводим технические подробности для подмножества этих уязвимостей, которые уже исправлены, а также, в некоторых случаях, способы их использования, найденные Mythos Preview. Ему удалось выявить почти все эти уязвимости — и разработать множество связанных с ними эксплойтов — совершенно автономно, без какого-либо человеческого вмешательства. Ниже приведены три примера:

  • Mythos Preview обнаружил 27-летнюю уязвимость в OpenBSD, которая имеет репутацию одной из наиболее защищенных операционных систем в мире и используется для запуска межсетевых экранов и другой критической инфраструктуры. Эта уязвимость позволяла злоумышленнику удаленно вывести из строя любую машину, на которой работает операционная система, просто подключившись к ней;
  • Он также обнаружил 16-летнюю уязвимость в FFmpeg, которая используется бесчисленными программами для кодирования и декодирования видео, в строке кода, которую инструменты автоматического тестирования просматривали пять миллионов раз, но так и не обнаружили проблему;
  • Модель автономно обнаружила и объединила несколько уязвимостей в ядре Linux — программном обеспечении, на котором работает большинство серверов в мире, — чтобы позволить злоумышленнику перейти от обычного пользовательского доступа к полному контролю над машиной.

Мы сообщили о вышеупомянутых уязвимостях разработчикам соответствующего программного обеспечения, и теперь все они исправлены. Для многих других уязвимостей сегодня мы предоставляем криптографический хэш сведений (см. блог Red Team), а подробности раскроем после того, как будет исправлено.

Оценочные тесты, такие как CyberGym, подтверждают существенную разницу между Mythos Preview и нашей следующей лучшей моделью Claude Opus 4.6:

Воспроизведение уязвимостей кибербезопасности

Помимо нашей собственной работы, многие наши партнеры уже несколько недель используют Claude Mythos Preview. Вот что они нашли:

«Возможности искусственного интеллекта пересекли порог, который фундаментально меняет необходимость защиты критически важной инфраструктуры от киберугроз, и пути назад уже нет. Наша фундаментальная работа с этими моделями показала, что мы можем выявлять и устранять уязвимости безопасности в аппаратном и программном обеспечении с такой скоростью и масштабом, которые ранее были невозможны. Это глубокий сдвиг и четкий сигнал о том, что старых способов ужесточения систем больше недостаточно. Поставщики технологий должны уже сейчас активно внедрять новые подходы, а клиенты должны быть готовы к их внедрению. Именно поэтому Cisco присоединилась к проекту Glasswing — эта работа слишком важна и срочна, чтобы ее можно было выполнять в одиночку».

«В AWS мы строим защиту до появления угроз, начиная с нашего специального микросхемы и заканчивая стеком технологий. Безопасность для нас не является этапом; оно непрерывно и встроено во все, что мы делаем. Наши команды ежедневно анализируют более 400 триллионов сетевых потоков на предмет угроз, а искусственный интеллект играет центральную роль в нашей способности защищаться в масштабе. Мы тестировали Claude Mythos Preview в наших собственных операциях по обеспечению безопасности, применяя его к критически важным базам кода, где он уже помогает нам улучшить наш код. Мы привносим глубокий опыт в области безопасности в наше партнерство с Anthropic и помогаем усилить Claude Mythos Preview, чтобы еще больше организаций могли продвигать свою самую амбициозную работу с безопасностью, которая устанавливает стандарты».

«Поскольку мы вступаем в фазу, когда кибербезопасность больше не ограничивается исключительно человеческими возможностями, возможность ответственного использования ИИ для повышения безопасности и снижения масштабных рисков является беспрецедентной. Присоединение к Project Glasswing с доступом к Claude Mythos Preview позволяет нам выявлять и снижать риски на раннем этапе, а также расширять наши решения в области безопасности и разработки, чтобы мы могли лучше защищать клиентов и Microsoft. При тестировании CTI-REALM, нашего теста безопасности с открытым исходным кодом, Claude Mythos Preview продемонстрировал существенные улучшения по сравнению с предыдущими моделями. Мы с нетерпением ждем партнерства с Anthropic и всей отраслью для улучшения результатов в области безопасности для всех».

Igor Tsyganskiy

Исполнительный вице-президент по кибербезопасности и исследованиям Microsoft, Microsoft

Читать объявление

«Граница между обнаружением уязвимости и ее использованием злоумышленником рухнула — то, что раньше занимало месяцы, теперь происходит за считанные минуты с помощью ИИ. Claude Mythos Preview демонстрирует, что теперь возможно для защитников в большом масштабе, и злоумышленники неизбежно будут стремиться использовать те же возможности. Это не повод замедляться; это повод двигаться вместе и быстрее. Если вы хотите развернуть ИИ, вам нужна безопасность. Вот почему CrowdStrike с самого начала является частью этих усилий. один».

«В прошлом опыт в области безопасности был роскошью, предназначенной для организаций с большими командами безопасности. Разработчикам ПО с открытым исходным кодом, чье программное обеспечение лежит в основе большей части критически важной инфраструктуры в мире, исторически приходилось самостоятельно решать вопросы безопасности. Программное обеспечение с открытым исходным кодом составляет подавляющее большинство кода в современных системах, включая те самые системы, которые агенты ИИ используют для написания нового программного обеспечения. Предоставляя сопровождающим этих критически важных кодовых баз с открытым исходным кодом доступ к новому поколению моделей искусственного интеллекта, которые могут активно выявлять и устранять уязвимости в больших масштабах, Project Glasswing предлагает надежный путь к изменению этого уравнения. Именно так система безопасности, дополненная искусственным интеллектом, может стать надежным помощником для каждого специалиста по обслуживанию, а не только для тех, кто может позволить себе дорогостоящие команды по обеспечению безопасности».

«Повышение кибербезопасности и устойчивости финансовой системы занимает центральное место в миссии JPMorganChase, и мы считаем, что отрасль становится сильнее, когда ведущие учреждения работают вместе над общими проблемами. Проект Glasswing предоставляет уникальную возможность на ранней стадии оценить инструменты искусственного интеллекта следующего поколения для защиты кибербезопасности критически важной инфраструктуры как на наших собственных условиях, так и вместе с уважаемыми технологическими лидерами. Мы будем применять строгий и независимый подход к определению того, как действовать дальше и где мы можем помочь. Инициатива Anthropic отражает тот дальновидный и совместный подход, которого требует данный момент».

Пэт снова

Директор по информационной безопасности, JPMorganChase

«Google рада видеть, что эта межотраслевая инициатива в области кибербезопасности объединяется и делает Mythos Preview доступным для участников через Vertex AI. Всегда было крайне важно, чтобы отрасль работала вместе над возникающими проблемами безопасности, будь то постквантовая криптография, ответственное раскрытие информации «нулевого дня», безопасное программное обеспечение с открытым исходным кодом или защита от атак на основе искусственного интеллекта. Мы давно верим, что ИИ создает новые проблемы и открывает новые возможности в области киберзащиты, поэтому мы создали инструменты на базе ИИ, такие как Big Sleep и CodeMender, для поиска и исправления критических ошибок программного обеспечения. Мы продолжим инвестировать в нашу ведущую платформу кибербезопасности и культуру, ориентированную на защиту пользователей, клиентов, экосистемы и национальной безопасности».

«За последние несколько недель у нас был доступ к модели Claude Mythos Preview, и мы использовали ее для выявления сложных уязвимостей, которые модели предыдущего поколения полностью пропускали. Это не только меняет правила игры в поиске ранее скрытых уязвимостей, но и сигнализирует об опасном сдвиге, когда злоумышленники вскоре смогут найти еще больше уязвимостей нулевого дня и разрабатывать эксплойты быстрее, чем когда-либо прежде. Понятно, что эти модели должны быть в руках владельцев открытого исходного кода и защитников повсюду, чтобы найти и устранить эти уязвимости до того, как злоумышленники получат к ним доступ. Возможно, даже более важно: всем нужно быть готовыми к атакам с помощью ИИ. Будет больше атак, более быстрых атак и более изощренных атак. Сейчас настало время повсеместно модернизировать системы кибербезопасности. Мы признательны Anthropic за партнерство с отраслью, чтобы гарантировать, что эти мощные возможности будут уделять первоочередное внимание обороне».

Мощные кибервозможности Claude Mythos Preview являются результатом его сильных агентских навыков кодирования и рассуждения. Например, как показано в результатах оценки ниже, модель имеет самые высокие оценки среди всех моделей, разработанных для различных задач кодирования программного обеспечения.

Предварительный просмотр Mythos без инструментов
Предварительный просмотр мифов с помощью инструментов

Более подробную информацию о возможностях модели, ее свойствах безопасности и общих характеристиках можно найти в карточке системы Claude Mythos Preview.

«Мы не планируем делать Claude Mythos Preview общедоступным, но наша конечная цель — дать возможность нашим пользователям безопасно развертывать модели класса Mythos в большом масштабе — в целях кибербезопасности, а также ради множества других преимуществ, которые принесут такие высокофункциональные модели. Для этого нам необходимо добиться прогресса в разработке средств защиты кибербезопасности (и других), которые обнаруживают и блокируют наиболее опасные выходы модели. Мы планируем запустить новые меры защиты с будущей моделью Claude Opus, что позволит нам улучшить и уточнить их с помощью модели, которая не представляет такого же уровня риска, как Mythos Preview.3.

Планы проекта Glasswing

Сегодняшнее объявление является началом долгосрочных усилий. Чтобы добиться успеха, потребуется широкое участие представителей всей технологической отрасли и за ее пределами.

Партнеры проекта Glasswing получат доступ к Claude Mythos Preview, чтобы находить и устранять уязвимости или слабые места в своих основных системах — системах, которые представляют собой очень большую часть общей поверхности кибератак в мире. Мы ожидаем, что эта работа будет сосредоточена на таких задачах, как локальное обнаружение уязвимостей, тестирование двоичных файлов методом «черного ящика», защита конечных точек и тестирование систем на проникновение.

Обязательство Anthropic в размере 100 миллионов долларов США в виде кредитов на использование модели для Project Glasswing и дополнительных участников покроет существенное использование модели на протяжении всего этого предварительного исследования. После этого Claude Mythos Preview будет доступен участникам по цене 25/125 долларов США за миллион токенов ввода/вывода (участники могут получить доступ к модели через Claude API, Amazon Bedrock, Vertex AI от Google Cloud и Microsoft Foundry).

В дополнение к нашим обязательствам по предоставлению кредитов на использование модели мы пожертвовали 2,5 миллиона долларов Alpha-Omega и OpenSSF через Linux Foundation и 1,5 миллиона долларов Apache Software Foundation, чтобы дать возможность сопровождающим программного обеспечения с открытым исходным кодом реагировать на эту меняющуюся ситуацию (сопровождающие, заинтересованные в доступе, могут подать заявку через программу Claude for Open Source).

Мы намерены расширять масштабы этой работы и продолжать ее в течение многих месяцев, и мы поделимся всем, чем сможем, чтобы другие организации могли применить полученные уроки для собственной безопасности. Партнеры будут, насколько это возможно, делиться друг с другом информацией и передовым опытом; В течение 90 дней Anthropic публично сообщит о том, что мы узнали, а также об исправленных уязвимостях и внесенных улучшениях, о которых можно будет рассказать. Мы также будем сотрудничать с ведущими организациями по безопасности для разработки набора практических рекомендаций о том, как следует развивать методы обеспечения безопасности в эпоху искусственного интеллекта. Это потенциально будет включать в себя:

  • Процессы раскрытия уязвимостей;
  • Процессы обновления программного обеспечения;
  • Безопасность открытого исходного кода и цепочки поставок;
  • Жизненный цикл разработки программного обеспечения и методы обеспечения безопасности при проектировании;
  • Стандарты для регулируемых отраслей;
  • Масштабирование и автоматизация сортировки; и
  • Автоматизация исправлений.

Anthropic также ведет постоянные дискуссии с представителями правительства США о Claude Mythos Preview и ее наступательных и оборонительных кибервозможностях. Как мы отмечали выше, обеспечение безопасности критически важной инфраструктуры является главным приоритетом национальной безопасности для демократических стран. Появление этих кибервозможностей является еще одной причиной, по которой США и их союзники должны сохранять решающее лидерство в области технологий искусственного интеллекта. Правительства должны играть важную роль в содействии сохранению этого лидерства, а также в оценке и смягчении рисков национальной безопасности, связанных с моделями искусственного интеллекта. Мы готовы работать с местными, государственными и федеральными представителями для оказания помощи в решении этих задач.

Мы надеемся, что проект Glasswing сможет дать импульс более масштабным усилиям в промышленности и государственном секторе, при этом все стороны помогут решить самые важные вопросы, связанные с влиянием мощных моделей на безопасность. Мы приглашаем других участников отрасли искусственного интеллекта присоединиться к нам и помочь установить стандарты для отрасли. В среднесрочной перспективе независимая сторонняя организация, которая сможет объединить организации частного и государственного секторов, может стать идеальным местом для продолжения работы над этими крупномасштабными проектами в области кибербезопасности.

ЭТО МОЖЕТ БЫТЬ ИНТЕРЕСНОЕЩЕ ОТ АВТОРА