Распознавание изображений ИИ уязвимо
- Эксперты предупреждают, что искусственным интеллектом можно манипулировать с помощью различий в альфа-канале изображений
- Это может представлять опасность для медицинских диагнозов и автономного вождения
- Распознавание изображений должно быть адаптировано к возможности этой атаки
Хотя искусственный интеллект обладает способностью анализировать изображения, новые исследования выявили серьезные ошибки в современных платформах распознавания изображений.
Исследователи из Техасского университета в Сан-Антонио (UTSA) утверждают, что альфа-канал, который контролирует прозрачность изображения, часто игнорируется, что может открыть дверь для кибератак с потенциально опасными последствиями для индустрии медицинского и автономного вождения.
Исследовательская группа UTSA под руководством доцента Гвиневеры Чен разработала запатентованный метод атаки под названием «AlphaDog», чтобы использовать эту упущенную из виду уязвимость в системах искусственного интеллекта. Альфа-канал, часть данных изображения RGBA (красный, зеленый, синий, альфа), контролирует прозрачность изображений и играет решающую роль в рендеринге составных изображений, а также может вызвать разрыв между тем, как люди и системы искусственного интеллекта воспринимают одно и то же изображение.
Уязвимость для автомобилей, медицинская визуализация и распознавание лиц
Атака AlphaDog предназначена как для людей, так и для систем искусственного интеллекта, хотя для людей манипулируемые изображения могут выглядеть относительно нормальными. Однако при обработке системами искусственного интеллекта эти изображения интерпретируются по-разному, что приводит к неверным выводам или решениям.
Исследователи создали 6500 изображений и протестировали их на 100 моделях искусственного интеллекта, включая 80 систем с открытым исходным кодом и 20 облачных платформ искусственного интеллекта, таких как ChatGPT. Их тесты показали, что AlphaDog особенно хорошо работает при работе с областями изображений в оттенках серого.
Одним из наиболее тревожных результатов исследования является уязвимость систем искусственного интеллекта, используемых в автономных транспортных средствах. Дорожными знаками, часто содержащими элементы в оттенках серого, можно легко манипулировать с помощью техники AlphaDog, неправильно интерпретируя дорожные знаки, что потенциально может привести к опасным последствиям.
Исследование также выдвигает на первый план критическую проблему в медицинской визуализации, области, которая становится все более актуальной для диагностики, рентгеновских снимков, МРТ и компьютерной томографии, которые часто содержат изображения в оттенках серого, которыми можно манипулировать с помощью AlphaDog. В чужих руках эта уязвимость может быть использована привести к ошибочным диагнозам.
Еще одна область, вызывающая обеспокоенность, — это потенциальное манипулирование системами распознавания лиц, что повышает вероятность обхода систем безопасности или неправильной идентификации людей, что открывает двери как для проблем конфиденциальности, так и для рисков безопасности.
Исследователи сотрудничают с крупными технологическими компаниями, включая Google, Amazon и Microsoft, чтобы устранить уязвимость в платформах искусственного интеллекта. «ИИ создается людьми, и люди, написавшие код, сосредоточились на RGB, но не включили альфа-канал другими словами, они написали код для моделей ИИ, позволяющий читать файлы изображений без альфа-канала», — сказал Чен.
«В этом и есть уязвимость. Исключение альфа-канала на этих платформах приводит к отравлению данных… ИИ важен. Он меняет наш мир, и у нас так много проблем», — добавил Чен.
