На мероприятии DEF CON 32 провели исследования по проверке безопасности искусственного интеллекта. Они показали, что текущий метод оценки не дает точной картины. Эксперты предлагают создать систему, подобную CVE, которая учитывает цель использования анализируемых объектов.
На мероприятии приняли участие около 500 добровольцев с опытом аудита больших языковых моделей. За выявление недочетов им были выплачены премии на сумму $7850.
Организаторы пришли к выводу, что метод Red Teaming для проверки ИИ нужно улучшить. Проблемой является недостаточная документация по языковым моделям, которая также различается по целям использования.
Без учета цели и ограничений модели результаты проверок могут быть ошибочными. Недостаток общих критериев оценки может привести к противоречивым выводам.
Рост и развитие искусственного интеллекта создают новые риски, но пока нет ясного понимания того, как их тестировать и обеспечивать защиту.
Эксперты считают, что обеспечение безопасности языковых моделей — это постоянный процесс. Эти системы могут ошибаться, быть предвзятыми из-за неправильного обучения и уязвимыми к атакам. Их невозможно защитить от взлома, но можно сделать его более сложным и уменьшить последствия.
Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества работать вместе для решения проблем. В противном случае техническая революция может привести к появлению ненадежных ИИ-инструментов, как, например, DeepSeek.
