Исследователь Йоханн Рехбергер обнаружил новый способ атаки на чат-бот Gemini от Google. Этот метод позволяет внедрять ложные долгосрочные воспоминания в нейросеть. Хакеры используют уже известные техники, чтобы обойти защиту чат-ботов.
Чат-боты, такие как Gemini от Google и ChatGPT от OpenAI, обычно защищены от вредоносных команд. Но хакеры постоянно находят новые способы взлома. Новая уязвимость в Gemini позволяет изменять долгосрочную память бота, что может привести к распространению дезинформации или даже вредоносным действиям.
Рехбергер ранее показал, как вредоносные письма могли заставить Microsoft Copilot искать конфиденциальные данные и отправлять их злоумышленнику. Хотя Microsoft исправила уязвимость, проблема с косвенной инъекцией запросов осталась.
Чтобы бороться с такими атаками, можно ограничить команды, которые могут выполняться при обработке ненадежных данных. Google уже приняла такие меры для приложений и данных в Google Workspace. Но Рехбергер нашел способ обойти эти ограничения.
Новый метод атаки использует ложные воспоминания в Gemini. Пользователь загружает документ, и бот запоминает ложную информацию, которую пользователь подтверждает определенными словами. Манипуляция долгосрочной памятью бота напоминает фильм «Начало», где главный герой внедряет мысль в сознание жертвы.
Эти атаки могут быть опасными, поскольку ложная информация устанавливается в системе принятия решений бота. Google признает проблему, но считает риск низким. Однако Рехбергер предупреждает, что внедрение ложной информации может иметь серьезные последствия.
Проблема косвенных инъекций остается актуальной, и разработчики продолжают бороться с новыми атаками.
Хакеры играют на долгосрочной памяти искусственного интеллекта
