攝像頭用ai識別圖像和視頻中的人臉和身體正變得越來越常見，小到超市、辦公室，大到自動駕駛、智慧城市，能夠快速抓取人體、識別人臉的智能攝像頭正變得無處不在。
不過，一組研究團(tuán)隊(duì)設(shè)計(jì)了一張?zhí)貏e的彩色圖案，只要你將這塊40cmx40cm的神奇貼紙掛在身上，就可以避開ai攝像頭的監(jiān)控。
這個團(tuán)隊(duì)來自比利時魯汶大學(xué)(katholieke universiteit leuven)，他們發(fā)表了一篇論文，名為《欺騙自動監(jiān)控?cái)z像頭：針對攻擊人類監(jiān)控的對抗補(bǔ)丁(fooling automated surveillance cameras: adversarial patches to attack person detection)》。
論文上署名的三位研究人員simen thys、wiebe van ranst和toon goedeme使用了流行的yolov2開源對象識別探測器進(jìn)行了演示，他們通過用一些技巧成功騙過了探測器。
他們已經(jīng)在論文中公布了源代碼。
一、宛如“隱形斗篷”的神器貼紙
我們先來看看這個研究小組究竟做了個什么東西。
如圖，右邊的人身上掛了一塊彩色貼紙，這張貼紙成功欺騙了ai系統(tǒng)，使他即便正面攝像頭，也沒有像左邊的人那樣被ai系統(tǒng)檢測出來(粉色框)。
右邊的人將貼紙反轉(zhuǎn)過來，立即被檢測出。
等右邊的人將貼紙交給左邊的人后，ai瞬間就檢測不出左邊的人。
研究人員指出，該技術(shù)可用于“惡意繞過監(jiān)視系統(tǒng)”，允許入侵者“通過在他們的身體前面拿著一塊小紙板朝向監(jiān)控?cái)z像頭做些偷偷摸摸的行為(而不被發(fā)現(xiàn))”。
據(jù)外媒報(bào)道，論文作者之一van ranst透露，應(yīng)該采用現(xiàn)成的視頻監(jiān)控系統(tǒng)來解決這個問題應(yīng)該不會太難。“目前我們還需要知道哪個探測器正在使用中。我們今后想要做的是生成一個同時適用于多個探測器的補(bǔ)丁”，“如果這樣有效，那么補(bǔ)丁也可能對監(jiān)控系統(tǒng)中使用的探測器起作用。”
該小組現(xiàn)在正計(jì)劃將補(bǔ)丁應(yīng)用于服裝。
好比的威廉·吉布森(william gibson)科幻小說《零歷史(zero history)》所描述的情節(jié)，研究人員寫道：“我們相信，如果我們將這種技術(shù)與精致的服裝模擬結(jié)合起來，我們就可以設(shè)計(jì)出一種t恤印花，可以自動監(jiān)控相機(jī)幾乎‘看不到’這個感人。”
未來他們的工作將側(cè)重于使補(bǔ)丁更加健壯和可遷移，因?yàn)樗鼈儾荒芎芎玫剡m用于不同的檢測架構(gòu)，如faster r-cnn 。
二、“對抗補(bǔ)丁”是怎樣煉成的？
這項(xiàng)研究的核心目的是創(chuàng)造一個系統(tǒng)，能夠生成可打印的對抗補(bǔ)丁，用于“愚弄”人類探測器?。
研究人員寫道：“我們通過優(yōu)化圖像來實(shí)現(xiàn)這一目標(biāo)，以減少與探測器輸出中人物外觀相關(guān)的不同概率。在我們的實(shí)驗(yàn)中，我們比較了不同的方法，發(fā)現(xiàn)小化對象丟失創(chuàng)造了有效的補(bǔ)丁。”
然后他們打印出經(jīng)過優(yōu)化的補(bǔ)丁，并通過拍攝持有他們的人來測試它們。
研究人員發(fā)現(xiàn)，只要定位正確，補(bǔ)丁就能很好地工作。
“根據(jù)我們的結(jié)果，我們可以看到我們的系統(tǒng)能夠顯著降低人體探測器的準(zhǔn)確性……在大多數(shù)情況下，我們的補(bǔ)丁能夠成功地將人員隱藏在探測器之外。在不是這種情況下，補(bǔ)丁與人的中心不對齊。”研究人員說。
優(yōu)化器的目標(biāo)就是小化總損失函數(shù)l。具體優(yōu)化目標(biāo)包括三個損失函數(shù)：lnps(非可打印性得分)、ltv(圖像總變化)、lobj(圖像中的大對象分?jǐn)?shù))。
lnps代表貼紙中的顏色在多大程度上可由普通打印機(jī)打印出來；
ltv確保優(yōu)化器支持平滑顏色過渡的圖像并防止圖像噪聲；
lobj用于對探測器輸出的目標(biāo)或類別分?jǐn)?shù)實(shí)現(xiàn)小化。
上述三個損失函數(shù)相加即可得到總損失函數(shù)。
yolov2探測器輸出一個單元網(wǎng)格，每個單元格包含一系列錨點(diǎn)，每個錨點(diǎn)包含邊界框的位置、對象概率和類別得分。
為了讓探測器忽略圖像中的人，研究人員使用ms coco數(shù)據(jù)集進(jìn)行訓(xùn)練，嘗試了三種不同的方法：小化類人的分類得分(圖4d)，小化對象得分(圖4c)，或兩者的組合(圖4b和4a)。
其中，種方法可能致使生成的補(bǔ)丁被檢測成coco數(shù)據(jù)集的另一個類，第二種方法不存在這一問題，但生成貼紙針對某個類的特定性比其他方法低。
通過對各類“補(bǔ)丁”做實(shí)驗(yàn)，后研究人員發(fā)現(xiàn)，經(jīng)過多次圖像處理的隨機(jī)物體的照片效果較好，他們嘗試了多種隨機(jī)轉(zhuǎn)換，包括圖像旋轉(zhuǎn)、隨機(jī)放大和縮小、隨機(jī)添加隨機(jī)噪聲、隨機(jī)修改正確率和對比度等處理。
終，研究人員將獲得的幾個補(bǔ)丁和noise(隨機(jī)添加噪聲)、clean(無補(bǔ)丁baseline)一起放在inria測試集上做評估，重點(diǎn)評估這些補(bǔ)丁能避開多少監(jiān)控系統(tǒng)產(chǎn)生的警報(bào)。
結(jié)果表明，obj補(bǔ)丁觸發(fā)的警報(bào)數(shù)量低(25.53%)。
第1行沒有補(bǔ)丁，第2行使用隨機(jī)補(bǔ)丁，第3行使用理想的補(bǔ)丁，效果很明顯，理想的補(bǔ)丁在多數(shù)情況下能成功讓人類躲過ai的檢測。
不過，這個補(bǔ)丁并不是的，效果不好時可能是因?yàn)樗鼪]和人對齊。
三、對抗攻擊并非新鮮事
隨著ai的快速發(fā)展，視頻監(jiān)控、自動駕駛、無人機(jī)和機(jī)器人、語音識別、文本篩查等多個ai細(xì)分領(lǐng)域都涉及到了越來越多的安全問題。
度日益增長的深度學(xué)習(xí)網(wǎng)絡(luò)，被發(fā)現(xiàn)極容易受到對抗攻擊的影響。
比如向原圖像添加一點(diǎn)精心設(shè)計(jì)的干擾，就有可能會使得一個分類模型做出錯誤的判斷，致使它將被修改后的圖像標(biāo)注為完全不同的其他物體。
基于這一背景，越來越多的研究人員正在對真實(shí)世界的對抗攻擊感興趣。
2016年11月，來自卡內(nèi)基梅隆大學(xué)和北卡羅來納大學(xué)的研究人員展示了如何使用一對打印的眼鏡架來擊敗面部識別系統(tǒng)。
研究人員稱：“當(dāng)它的圖像提供給一個的*的面部識別算法的攻擊者戴，眼鏡讓他逃避被認(rèn)可或假冒他人”。
據(jù)稱，戴上鏡框后識別錯誤率高達(dá)100%，壞人可以利用這種識別漏洞躲過軟件的檢測，進(jìn)而輕易偽裝成他人，成功用面部識別完成設(shè)備解鎖。
2017年10月，日本九州大學(xué)的su jiawei等人提出了黑箱dnn攻擊，通過使用差分進(jìn)化(differential evolution)擾亂少數(shù)像素(1024 個像素中只擾亂1、3、5個像素)的方式，只需修改圖片中的幾個像素，即可讓深度神經(jīng)網(wǎng)絡(luò)完全判斷錯誤。
2018年，伯克利人工智能研究實(shí)驗(yàn)室(bair))演示了針對 yolo 檢測器的實(shí)體對抗樣本，同樣采用貼紙擾動的形式，在“stop”路標(biāo)上粘貼了一些精心設(shè)計(jì)過的貼紙。
結(jié)果yolo網(wǎng)絡(luò)在幾乎所有幀中都無法感知識別出「停止」標(biāo)志。同樣，其為yolo檢測器生成的實(shí)體對抗樣本也可以騙過標(biāo)準(zhǔn)的faster-rcnn。
我們可以想象一下，假使一輛在道路上行駛的自動駕駛汽車，看見被貼了這樣貼紙的路標(biāo)，一旦它被貼紙誤導(dǎo)，沒看懂路標(biāo)，就有可能發(fā)生難以挽回的交通慘案。
結(jié)語：理想防御策略還在探索中
*以來，對抗攻擊一直是機(jī)器學(xué)習(xí)領(lǐng)域有趣又非常重要的課題。
如今ai逐漸大面積應(yīng)用于日常監(jiān)控?cái)z像頭和軟件中，出現(xiàn)在零售、工作空間、社區(qū)、交通等諸多場景。
而對抗樣本有可能會鉆神經(jīng)網(wǎng)絡(luò)的漏洞，比如使得一些小偷可以避開監(jiān)控?cái)z像頭在無人商店自由偷東西，或者使得入侵者成功進(jìn)入某棟建筑。
當(dāng)前，研究人員們還遠(yuǎn)未找到針對這些對抗樣本的理想防御策略，我們不妨期待對這一激動人心的研究領(lǐng)域會在不久之后出現(xiàn)突破性的進(jìn)展。