Состязательное обучение и тестирование
Может быть, это скорее концептуальная проблема, но я надеюсь, что вы можете высказать мне свое мнение. Я понимаю, что состязательное обучение означает введение некоторых искаженных примеров в учебный процесс, чтобы запутать модель и дать ложный прогноз при тестировании. Однако применима ли эта модель в следующем сценарии? Предположим, что создан патологический патч для обмана классификатора, который обнаруживает знак остановки, поэтому детектор нормальных объектов не сможет различить настоящий знак остановки при наличии этого патча. Но что, если модель обучает оба экземпляра с и без патчей? Это не так сложно для классификатора объекта, и атака теряет все шансы на успех, верно? Я не понимаю, почему эти атаки могут быть успешными, если для модели потребуется лишь немного больше обучения, чтобы включить эти противоборствующие образцы.
1 ответ
Я сомневаюсь, что многие ученые ответят на ваш вопрос здесь. Нужно просто пойти и найти своего старшего П.х.д. в своей школе. Моя тема исследований больше касается области SLAM, но я все же постараюсь ответить на нее.
Вы можете тренироваться на модифицированном наборе входов. Но сама модель изменится должным образом после того, как вы продолжите обучение с измененным образцом набора. Он потеряет исходные атрибуты для выполнения задачи A, но для большей оптимизации для задачи B, где могут быть связаны задача A и задача B.
Затем атака также должна быть модифицирована, чтобы сосредоточиться на измененных атрибутах, что означает обмануть ее чем-то еще.
Но если вы идете по этому пути, вы побеждаете свою изначальную цель.
Надеюсь, это ответ, который вы ищете.
Найдите поиск чат-группы в Wechat,QQ, WhatsApp. там легче получить ответы
Насколько мне известно, состязательное обучение (т.е. постоянное обучение / тонкая настройка новых состязательных изображений с правильными метками) является единственной надежной защитой от состязательных примеров, которую невозможно полностью преодолеть какой-либо формой состязательной атаки (пожалуйста, поправьте меня если я не прав). Было много других попыток защиты от состязательных примеров, но обычно есть способ обойти их, если злоумышленник имеет представление о том, что такое защита (например, см. Затуманенные градиенты дают ложное чувство безопасности: обход защиты до состязательных примеров).
Обратите внимание, что для того, чтобы по-настоящему добиться устойчивости с помощью состязательного обучения, вы должны генерировать состязательные примеры во время обучения или продолжить обновление, добавляя новые состязательные изображения. Насколько я понимаю, это связано с тем, что после того, как вы тренируетесь на некоторых примерах состязательности, ваша модель немного изменится, и, хотя она сделана устойчивой к вашим первоначальным примерам состязательности, все еще существуют другие состязательные примеры, которые по-прежнему нацелены на вашу недавно обученную / настроенную модель.. Состязательное обучение постепенно изменяет вашу модель, чтобы свести к минимуму наличие эффективных враждебных возмущений.
Однако выполнение этого может противоречить точности (см. " Устойчивость может иметь разногласия с точностью"). Модель, действительно устойчивая к состязательным примерам, может иметь значительно более низкую точность для несостязательных примеров. Кроме того, состязательное обучение может быть трудно масштабировать до наборов данных с большими изображениями.