首頁熱門文章
借力人工智能，讓惡意軟件無處潛逃
發布時間：2019-07-17 分類：趨勢研究 來源：新華日報
“隨著深度學習應用越來越廣泛，越來越多的人工智能安全問題也開始暴露出來?！蹦暇├砉ご髮W計算機學院教授李千目說，深度學習框架中的軟件實現漏洞、對抗機器學習的惡意樣本生成、訓練數據的污染等都可能導致人工智能所驅動的識別系統出現混亂，形成漏判、誤判，甚至導致系統崩潰或被劫持，并可以使智能設備變成僵尸攻擊工具。
對于人工智能潛在的造假“作惡”，由李千目帶領的研究團隊所開展的“面向人工智能對抗性惡意樣本的監測技術”，可以有效提高在對抗環境中對惡意軟件監測的可靠性和安全性，讓攻擊仿佛打在“棉花”上一樣綿軟無力。這項研究成果已在人工智能國際學術會議AAAI2019上發表，算法及其實驗獲得大會“挑戰問題贏家”獎，這也是中國信息安全學者首次獲得該獎項。
在李千目看來，人工智能系統的攻擊技術主要包含對抗性輸入、數據中毒攻擊及模型竊取技術三個方面。他說，對抗性輸入攻擊是一種專門設計的輸入，確保被誤分類以躲避檢測。當前，這一手段已被大量使用在專門用來躲避防病毒程序的惡意文檔、試圖逃避垃圾郵件過濾器的電子郵件等多種場景。數據中毒攻擊涉及向分類器輸入對抗性訓練數據，最常見的攻擊類型是模型偏斜，攻擊者以這種方式污染訓練數據，使得分類器在歸類好數據和壞數據時向自己的偏好傾斜。模型竊取攻擊則是通過黑盒來探測/竊?。磸椭疲┠Ｐ突蚧謴陀柧殧祿矸?，比如，可以用來竊取某股市預測模型或者某垃圾郵件過濾模型。
李千目指出，對抗攻擊的理論基礎是神經網絡的兩個“bug”：一是高維神經網絡的神經元并不是代表著某一個特征，而是所有特征混雜在所有神經元中；二是在原樣本點上加上一些針對性的、不易察覺的擾動，從而導致神經網絡的分類錯誤。
針對典型智能算法訓練過程中存在的數據來源未知和算法參數被污染的安全風險，李千目團隊開始研究對抗性攻擊樣本生成模型，并設計相應的對抗性樣本算法，來實現對抗性攻擊樣本生成?！拔覀儑L試增強深度學習模型，主要利用人工智能分類器對惡意軟件進行分類，以惡意軟件為輸入樣本，分為訓練數據集和測試數據集兩部分?！彼榻B說，在訓練階段，訓練多個人工智能分類器的集合，在每個分類器上都將所提出的原則系統化地加以運用；在測試階段，將樣本輸入至每個分類器，最后根據所有分類器的投票結果確定樣本是否為對抗性惡意軟件。
李千目介紹，該領域的研究在國內外都處于起步階段，相信在兩年內會有突破性成果出現，“就目前來說，我們的研究處于國際同類研究的先進水平。比如，可用于規范工業互聯網、智能無人系統等領域的頂層安全設計，通過統一智能系統的安全體系架構，增強無人系統等智能系統的安全互聯互通互操作能力，提升智能系統的信息防御能力；也可用于指導智能平臺、工業互聯網的產品安全研制，通過通用化、標準化、組件化，使得各種安全功能構件可重用、可替換，大量減少采購費用等?！?
“不過，這項研究和其他研究不同，即便是階段性成果，也可以在領域里面進行應用?！崩钋空f，因為惡意監測就像醫生治病一樣，一個醫生不可能治愈所有疾病，但擁有一種有效治療手段就可以將其用于臨床?！澳壳?，我們正牽頭制定某項工業互聯網安全的標準，其中就涉及部分研究成果，同時我們也在某示范項目中推動了該成果的應用?！?
