當(dāng)AI狂飆突進(jìn)，它們的安全性到底如何？
“這些具備自我復(fù)制能力的模型門(mén)檻極低，除了14B參數(shù)的小模型可在普通P7C上運(yùn)行外，最新研究顯示，僅0.5B參數(shù)的模型也能實(shí)現(xiàn)這一功能，這意味著其可直接在手機(jī)端運(yùn)行?！睆?fù)旦大學(xué)教授、計(jì)算與智能創(chuàng)新學(xué)院執(zhí)行院長(zhǎng)楊珉在2025年人工智能安全與治理論壇上公布了這一發(fā)現(xiàn)。
在對(duì)國(guó)內(nèi)外32款大模型進(jìn)行全面測(cè)評(píng)后，楊珉團(tuán)隊(duì)發(fā)現(xiàn)其中有11款已具備自我復(fù)制能力，包括一些知名模型。這些模型可以繞過(guò)關(guān)機(jī)指令，形成復(fù)制鏈，一旦被濫用，可能脫離人類(lèi)控制。
早在2010年安卓系統(tǒng)興起，楊珉就預(yù)見(jiàn)了移動(dòng)互聯(lián)網(wǎng)生態(tài)的潛力與風(fēng)險(xiǎn)，展開(kāi)系統(tǒng)性創(chuàng)新，不僅推動(dòng)我國(guó)手機(jī)行業(yè)健康發(fā)展，更為國(guó)家移動(dòng)網(wǎng)絡(luò)安全治理提供堅(jiān)實(shí)技術(shù)支撐。
如今，他們將視野拓展到AI系統(tǒng)安全、人工智能治理等新前沿，取得一系列新的研究發(fā)現(xiàn)。
深耕無(wú)人區(qū)，為移動(dòng)生態(tài)筑起安全防線(xiàn)
還記得十年前的手機(jī)長(zhǎng)什么樣嗎？隨著數(shù)字化技術(shù)的發(fā)展和無(wú)線(xiàn)信號(hào)帶寬的提升，人們的通訊工具從笨拙的“大哥大”逐漸升級(jí)為便捷的智能機(jī)，一個(gè)以智能手機(jī)為核心的移動(dòng)軟件生態(tài)已然形成。
楊珉所從事的研究，正是伴隨著中國(guó)移動(dòng)互聯(lián)網(wǎng)在過(guò)去十年經(jīng)歷的跨越式發(fā)展。
2006年博士畢業(yè)，楊珉選擇了留校任教。讀書(shū)期間，他的研究方向是計(jì)算機(jī)網(wǎng)絡(luò)，留校后轉(zhuǎn)為操作系統(tǒng)和編譯工具等基礎(chǔ)軟件。2011年，他在計(jì)算機(jī)系統(tǒng)最頂尖的國(guó)際學(xué)術(shù)會(huì)議Usenix ATC發(fā)表了來(lái)自中國(guó)大陸的第一篇論文。
而真正讓他成為“拓荒者”的，是在安卓系統(tǒng)剛露頭角之時(shí)。2011年，楊珉做出一個(gè)令人驚訝的重大轉(zhuǎn)型，專(zhuān)攻網(wǎng)絡(luò)安全這個(gè)當(dāng)時(shí)還無(wú)人問(wèn)津的“冷門(mén)”方向。這是因?yàn)樗翡J察覺(jué)到，移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展不僅會(huì)帶來(lái)便利，也會(huì)催生出前所未有的挑戰(zhàn)?！爱?dāng)個(gè)人信息和財(cái)產(chǎn)都以數(shù)據(jù)流的形式在手機(jī)中匯集，安全問(wèn)題成為關(guān)乎國(guó)計(jì)民生的頭等大事?！?/p>
另一方面，當(dāng)中國(guó)移動(dòng)互聯(lián)網(wǎng)生態(tài)邁入“無(wú)人區(qū)”，過(guò)去參考西方國(guó)家的成熟模式和實(shí)踐經(jīng)驗(yàn)的模式也難以為繼?！皩?shí)際上，很多網(wǎng)絡(luò)安全問(wèn)題都是西方國(guó)家沒(méi)有遇到過(guò)的，也就沒(méi)有成熟技術(shù)可以仿效。”楊珉坦言。
尤其是在2013年，以美國(guó)為首的西方國(guó)家便通過(guò)《瓦森納協(xié)定》，將網(wǎng)絡(luò)安全技術(shù)增補(bǔ)為對(duì)華禁運(yùn)門(mén)類(lèi)。在這樣的背景下，移動(dòng)互聯(lián)網(wǎng)安全防護(hù)技術(shù)的自主創(chuàng)新成為必由之路。
“經(jīng)過(guò)十幾年發(fā)展，我們可以很驕傲地說(shuō)，在這個(gè)研究領(lǐng)域，我們已進(jìn)入國(guó)際第一方陣，形成了很好的學(xué)術(shù)影響力?！睏铉雸F(tuán)隊(duì)圍繞安卓系統(tǒng)進(jìn)行突破，圍繞移動(dòng)終端系統(tǒng)架構(gòu)、生態(tài)特征、攻防模式等與傳統(tǒng)互聯(lián)網(wǎng)的本質(zhì)差異展開(kāi)了系統(tǒng)性創(chuàng)新。
在尋求對(duì)抗移動(dòng)互聯(lián)網(wǎng)攻擊行為的手段中，首要問(wèn)題是如何有效表征針對(duì)移動(dòng)終端的攻擊行為。項(xiàng)目團(tuán)隊(duì)的成果以多維語(yǔ)義融合的攻擊行為表征方法作為基礎(chǔ)，針對(duì)檢測(cè)錯(cuò)漏、防護(hù)被動(dòng)、治理困難三大難點(diǎn)，開(kāi)創(chuàng)性地建立了移動(dòng)互聯(lián)網(wǎng)生態(tài)安全防護(hù)體系，形成多項(xiàng)國(guó)家標(biāo)準(zhǔn)和核心專(zhuān)利，填補(bǔ)我國(guó)相關(guān)技術(shù)領(lǐng)域空白。
相關(guān)成果和實(shí)際業(yè)務(wù)場(chǎng)景高度耦合，廣泛應(yīng)用于行業(yè)當(dāng)中，賦能華為、OPPO、Vivo、小米、百度、阿里等頭部企業(yè)的安全技術(shù)需求，同時(shí)支撐國(guó)家監(jiān)管體系建設(shè)，保障了億萬(wàn)用戶(hù)的信息安全，真正做到了“把論文寫(xiě)在祖國(guó)大地上”。
楊珉（左）
在今年頒發(fā)的2024年度上海市科學(xué)技術(shù)獎(jiǎng)中，團(tuán)隊(duì)?wèi){借“移動(dòng)互聯(lián)網(wǎng)生態(tài)安全防護(hù)的關(guān)鍵技術(shù)研究及應(yīng)用”項(xiàng)目，摘得技術(shù)發(fā)明獎(jiǎng)一等獎(jiǎng)。
科技反詐，持續(xù)升級(jí)的安全“軍備競(jìng)賽”
電影《孤注一擲》中，詐騙集團(tuán)利用技術(shù)手段不斷變換身份、偽造信息，讓受害者深陷騙局而難以察覺(jué)。如何像反詐專(zhuān)家一樣，提前識(shí)破犯罪分子的“劇本”？
“實(shí)施電信詐騙一方面需要技術(shù)平臺(tái)，如網(wǎng)站和APP；另一方面需要一套話(huà)術(shù)和套路?！睏铉雸F(tuán)隊(duì)所做的，正是從技術(shù)層面對(duì)電信詐騙實(shí)現(xiàn)“釜底抽薪”。
他們發(fā)現(xiàn)，無(wú)論詐騙手段如何變換，其背后的技術(shù)平臺(tái)總會(huì)留下獨(dú)特的“數(shù)字指紋”。通過(guò)融合分析這些網(wǎng)站的語(yǔ)義特征、網(wǎng)絡(luò)拓?fù)浜托袨槟Ｊ?，團(tuán)隊(duì)能構(gòu)建出“欺詐圖譜”，從而在全球互聯(lián)網(wǎng)空間中快速、精準(zhǔn)地發(fā)現(xiàn)并阻斷這些涉詐網(wǎng)站和APP。
“這樣一來(lái)，騙子的話(huà)術(shù)在實(shí)施時(shí)，他所依賴(lài)的技術(shù)平臺(tái)就無(wú)法呈現(xiàn)給受害者，直接防范了風(fēng)險(xiǎn)。”楊珉說(shuō)，這項(xiàng)技術(shù)不僅能高效阻斷詐騙信息的傳播，還能為公安機(jī)關(guān)提供精準(zhǔn)的偵破線(xiàn)索，有力支撐了國(guó)家反電詐專(zhuān)項(xiàng)治理和國(guó)務(wù)院聯(lián)席反電詐工作機(jī)制的平臺(tái)系統(tǒng)。
除了應(yīng)對(duì)外部威脅，維持手機(jī)自身健康同樣重要。網(wǎng)絡(luò)攻擊如同病毒會(huì)不斷變異逃避“疫苗”，導(dǎo)致安全防護(hù)系統(tǒng)老化失效——攻擊者與防護(hù)系統(tǒng)如同在進(jìn)行永不停歇的“軍備競(jìng)賽”，傳統(tǒng)防護(hù)技術(shù)往往顧此失彼。如何打造一套能持久有效、對(duì)抗老化的防護(hù)系統(tǒng)，是業(yè)界普遍面臨的難題。
楊珉團(tuán)隊(duì)給出的答案是“軟硬結(jié)合”與“抓住本質(zhì)”。盡管惡意軟件的攻擊手段千變?nèi)f化，但其核心行為模式如同“基因”般相對(duì)固定。團(tuán)隊(duì)從用戶(hù)交互、操作系統(tǒng)框架層和系統(tǒng)內(nèi)核層語(yǔ)義出發(fā)，建立了覆蓋3000余種軟件行為的“基因圖譜庫(kù)”，實(shí)現(xiàn)了對(duì)惡意行為的持久識(shí)別。
而為了解決安全功能帶來(lái)的高功耗問(wèn)題，即“手機(jī)不能卡、電池要耐用”，團(tuán)隊(duì)還將核心算法與AI芯片深度融合。通過(guò)獨(dú)特的軟硬件協(xié)同設(shè)計(jì)，他們打造了一個(gè)低功耗、高精度的“雙層安檢”架構(gòu)，讓安全防護(hù)既強(qiáng)大又省電。該技術(shù)不僅獲得了網(wǎng)絡(luò)安全頂會(huì)的杰出論文提名獎(jiǎng)，更被華為等主流手機(jī)廠(chǎng)商采納，應(yīng)用于Mate系列等數(shù)千萬(wàn)臺(tái)設(shè)備中，在用戶(hù)無(wú)感的情況下默默守護(hù)著手機(jī)安全。
敢于失敗，培養(yǎng)一流實(shí)戰(zhàn)型網(wǎng)絡(luò)安全人才
網(wǎng)絡(luò)安全不僅是技術(shù)之爭(zhēng)，更是攻防博弈的人才較量。在楊珉看來(lái)，高水平的網(wǎng)絡(luò)安全人才須兼具雙重能力：一是學(xué)術(shù)研究中關(guān)鍵技術(shù)的突破能力，二是實(shí)戰(zhàn)對(duì)抗中的攻防能力。
在人才培養(yǎng)上，楊珉堅(jiān)持“理論與實(shí)戰(zhàn)”兩條腿走路。他指導(dǎo)學(xué)生組建的“白澤戰(zhàn)隊(duì)”多年來(lái)在國(guó)內(nèi)頂級(jí)信息安全競(jìng)賽中屢獲殊榮，向業(yè)界和社會(huì)輸送了一批批一流實(shí)戰(zhàn)型網(wǎng)絡(luò)安全人才。
從楊珉課題組中畢業(yè)的博士生，除少數(shù)進(jìn)入高校，大多數(shù)都成了頭部企業(yè)爭(zhēng)搶的“天才少年”，年薪百萬(wàn)者比比皆是，有些學(xué)生在研一、研二時(shí)就被企業(yè)提前鎖定Offer 。
“頂級(jí)安全人才非常稀缺，要能攻善防，而培養(yǎng)過(guò)程很艱苦，周期比較長(zhǎng)?！睏铉胩寡?，不少博士生往往需要積累兩三年才能產(chǎn)出高水平成果，“科研沒(méi)有捷徑可走，導(dǎo)師必須得有耐心和匠心?！?/p>
學(xué)生經(jīng)歷的這些“至暗時(shí)刻”，楊珉完全感同身受。轉(zhuǎn)型做網(wǎng)絡(luò)安全研究的初期，他也面臨巨大壓力，但依然堅(jiān)守了自己的判斷和選擇，帶著幾個(gè)學(xué)生，在當(dāng)時(shí)并未被看好的安卓安全領(lǐng)域埋頭苦干。
直到2013年，團(tuán)隊(duì)兩篇論文同時(shí)被網(wǎng)絡(luò)安全領(lǐng)域頂級(jí)會(huì)議ACM CCS錄用，打破了該會(huì)議長(zhǎng)期被歐美研究者壟斷的局面。這不僅為他個(gè)人贏(yíng)得了學(xué)術(shù)聲譽(yù)，讓他和團(tuán)隊(duì)登上了國(guó)際網(wǎng)絡(luò)安全研究的舞臺(tái)。
或許是偶然，或許也是必然，這一年，經(jīng)過(guò)“棱鏡門(mén)”等事件的一番發(fā)酵，中國(guó)政府對(duì)網(wǎng)絡(luò)安全的重視也上升到了空前的戰(zhàn)略高度，楊珉的研究方向不再是冷門(mén)，而成了真正的大熱門(mén)。團(tuán)隊(duì)獲得知名廠(chǎng)商投入千萬(wàn)元資助，楊珉也成為國(guó)家973計(jì)劃青年科學(xué)家專(zhuān)題項(xiàng)目的首席科學(xué)家。
回望來(lái)路，他感恩復(fù)旦這片自由和寬容的土壤。“正是因?yàn)樗试S我去做可能失敗、甚至長(zhǎng)期無(wú)回報(bào)的事情，才可能有后來(lái)厚積薄發(fā)的成果。”
今天，楊珉團(tuán)隊(duì)已將視野拓展到AI系統(tǒng)安全、人工智能治理等新前沿。早在ChatGPT大火之前，他們就已開(kāi)始研究其安全問(wèn)題，特別是“人工智能系統(tǒng)會(huì)不會(huì)具備自我復(fù)制能力”。去年底，他們用實(shí)驗(yàn)的方式驗(yàn)證，即便沒(méi)那么先進(jìn)的模型，也已經(jīng)具備了自我復(fù)制能力。測(cè)試不僅驗(yàn)證了AI已具備“失控”技術(shù)能力的早期信號(hào)，也揭示了未來(lái)可能演變?yōu)楝F(xiàn)實(shí)風(fēng)險(xiǎn)的趨勢(shì)。
相關(guān)論文入選了德國(guó)創(chuàng)新基金會(huì)Falling Walls國(guó)際跨界創(chuàng)新科學(xué)突破獎(jiǎng)工程技術(shù)類(lèi)別（Engineering and Technology)獎(jiǎng)，引發(fā)全球關(guān)注，并作為代表中國(guó)在A(yíng)I治理方面的實(shí)證研究成果，收錄進(jìn)入今年法國(guó)全球AI行動(dòng)峰會(huì)備忘錄。
“專(zhuān)注國(guó)家重大需求、做有重要影響力的事，這是我們團(tuán)隊(duì)一直以來(lái)的價(jià)值觀(guān)，也是我們最大的動(dòng)力?！睉汛н@份使命感，楊珉團(tuán)隊(duì)在新的征途上永不停歇。
