Эксперты по кибербезопасности из международной организации OWASP (Open Worldwide Application Security Project) по итогам проведенного анализа предупредили о подводных камнях приложений с искусственным интеллектом. Первый список угроз, связанных с внедрением ИИ, ними был представлен еще в 2023 году, передает издание DP.RU. И вот теперь появился новый.
Самой распространенной уязвимостью эксперты назвали манипуляцию входными данными
Ее еще называют промпт-инъекцией.
В чем суть: аферисты и кибер-мошенники могут намеренно формулировать запросы таким образом, чтобы ввести систему в заблуждение, отклонив ее от изначально задуманного разработчиком сценария.
В итоге это оборачивается неадекватным ответом и советом либо даже принуждением к потенциально опасным для человека действиям.
Злоумышленники пользуются тем, что для языковых моделей на основе ИИ не существует четкого разграничения между инструкциями и данными, которые ними обрабатываются.
Искусственный интеллект получает запрос в виде обычного текста, который принято называть промптом.
Инструкции - это вводная часть, а вопрос пользователя является уже частью данных.
Как это работает специалисты привели на примере чат-бота интернет-магазина, имеющего доступ к базе заказов.
Такой бот может не только предоставить исчерпывающую информацию о вашем заказе, но и параллельно ознакомиться с историей покупок других клиентов. Затем его знания могут использовать мошенники в собственных целях.
