|
Уязвимости и слепая зона ИИ
|
|
|
|
Китайские исследователи обнаружили значительную уязвимость в использовании моделей ИИ, основанных на глубоких нейронных сетях (DNN), для приложений дистанционного зондирования. Модели глубокого обучения (DL) играют решающую роль в анализе данных, поступающих от удаленных датчиков, от разведки и транспортировки до мониторинга климата и борьбы со стихийными бедствиями. Однако исследовательская группа из Северо-Западного политехнического университета и Гонконгского политехнического университета обнаружила, что системы искусственного интеллекта склонны к ошибкам в суждениях и очень уязвимы для враждебного использования.
|
|
Анализ изображений с помощью моделей искусственного интеллекта
|
|
|
|
Сегодня модели искусственного интеллекта выполняют задачи, которые когда-то были прерогативой квалифицированных аналитиков. Бортовые и спутниковые датчики собирают необработанные визуальные данные, а модели глубокого обучения анализируют эти данные для идентификации объектов и извлечения полезной информации. Хотя в некоторых сценариях модели ИИ могут превосходить производительность человека, им не хватает интуитивного мышления и креативности, присущих человеческому разуму. Эти модели могут давать, казалось бы, точные результаты, но их логическое обоснование может быть ошибочным. Непрозрачность функционирования DNN вызывает дополнительные опасения. Исследовательская группа стремилась выяснить, насколько глубоки эти уязвимости.
|
|
|
|
|
|
|
“Мы стремились устранить недостаток всесторонних исследований надежности моделей глубокого обучения, используемых в задачах дистанционного зондирования, уделяя особое внимание классификации изображений и обнаружению объектов. Наша цель состояла в том, чтобы понять уязвимость этих моделей к различным типам помех, особенно к помехам от соперничества, и систематически оценивать их естественную устойчивость”, - пояснил ведущий автор Шаохуэй Мэй (Shaohui Mei) из Школы электронной информации Северо-Западного политехнического университета в Сиане, Китай.
|
|
|
|
Исследование эффективности искусственного интеллекта
|
|
|
|
Для проведения исследования команда начала с анализа существующих исследований и разработки критериев, позволяющих оценить, насколько хорошо модели ИИ могут обнаруживать и классифицировать объекты на изображениях. Особое внимание они уделили сложным условиям. Как такие факторы, как случайный шум или ненастная погода, влияют на точность ИИ?
|
|
|
|
Помимо оценки природных условий, исследователи также изучили, насколько модели ИИ могут быть уязвимы для цифровых и физических атак. Цифровые атаки на модели ИИ уже хорошо изучены. Команда протестировала множество известных методов атаки, включая метод быстрого градиентного распознавания (FGSM), автоатаку, прогнозируемый градиентный спуск, Carlini & Wagner и итеративный FGSM по импульсу. Физические атаки, напротив, не приводят к повреждению оборудования, а скорее обманывают искусственный интеллект, размещая или закрашивая заплатки, которые мешают ему распознавать объекты в окружающей среде.
|
|
Выявлены уязвимости
|
|
|
|
В реальном мире модели DL сталкиваются с различными природными проблемами. Помехи окружающей среды, такие как туман или дождь, могут снизить четкость данных, на которые опирается искусственный интеллект, затрудняя идентификацию объектов. Кроме того, регулярный износ сенсорного оборудования может ухудшить качество данных, вынуждая ИИ работать со все более некачественными изображениями. Исследователи подчеркивают важность обучения DNNS не только в идеальных условиях, но и в неблагоприятных сценариях для подготовки к применению в реальных условиях.
|
|
|
|
При цифровых атаках одна система ИИ часто атакует другую, используя одни и те же слабые места обеих. В этой ситуации, скорее всего, победит более надежный ИИ, но такие методы, как “импульс” или “отсев”, могут значительно повысить производительность даже относительно слабых моделей. В результате исследователям крайне важно получить более глубокое представление о том, как искусственный интеллект принимает решения по выявлению и устранению потенциальных уязвимостей, прежде чем модели будут применены в критически важных операциях.
|
|
|
|
Одним из наиболее заметных открытий стало то, что физические манипуляции могут быть столь же эффективными, как и цифровые. Особый интерес представляет роль фоновых манипуляций: исследователи обнаружили, что изменение фона объекта затрудняет распознавание объекта DNNS, даже в большей степени, чем изменение самого объекта. Помехи или визуальные помехи на заднем плане серьезно ухудшали способность моделей идентифицировать цели.
|
|
|
|
В то время как основное внимание при защите от атак на модели распознавания изображений уделялось цифровым аспектам и проблемам, связанным с объектами, новое исследование команды показывает, что физическое манипулирование фоном является весьма эффективной тактикой против моделей DL.
|
|
|
|
“Наш следующий шаг предполагает дальнейшее совершенствование нашей системы бенчмаркинга и проведение более масштабных тестов с более широким спектром моделей и типов шума”, - сказала Мэй.
|
|
|
|
“Наша конечная цель - внести свой вклад в разработку более надежных и безопасных моделей DL для RS, тем самым повысив надежность и эффективность этих технологий в таких критически важных приложениях, как мониторинг окружающей среды, реагирование на стихийные бедствия и городское планирование”, - добавила Мэй.
|
|
|
|
Исследование под названием “Всестороннее исследование надежности основанной на глубоком обучении классификации изображений и обнаружения объектов в дистанционном зондировании: геодезия и сравнительный анализ” опубликовано в выпуске журнала дистанционного зондирования от 3 октября 2024 года.
|
|
|
|
Источник
|
