從復(fù)旦出發(fā)，走向世界，又重歸復(fù)旦，復(fù)旦大學(xué)可信具身智能研究院研究員吳祖煊，活躍在人工智能與具身智能研究前沿。他專(zhuān)注于將智慧賦予機(jī)器人“形體”，教機(jī)器“看懂”世界、學(xué)會(huì)“動(dòng)手”；因材施教，悉心培育學(xué)科交叉人才，用行動(dòng)詮釋卓越有趣師者的模樣。“具身智能現(xiàn)在還處于比較早期的階段”，這位90后海歸青年正以熱情和創(chuàng)新，探索未來(lái)機(jī)器人的無(wú)盡可能。

在“玩玩具”中，為機(jī)器人打造超級(jí)“大腦”

灣谷科技園，吳祖煊的實(shí)驗(yàn)室，像是一個(gè)充滿(mǎn)生機(jī)的微型兒童樂(lè)園。

實(shí)驗(yàn)臺(tái)上鋪滿(mǎn)五顏六色的水果模型、拼裝玩具，團(tuán)隊(duì)最近的一個(gè)日常工作，就是像“帶小孩”一樣，教機(jī)器人如何“玩轉(zhuǎn)”這些玩具。

灣谷科技園內(nèi)吳祖煊團(tuán)隊(duì)實(shí)驗(yàn)室

作為計(jì)算機(jī)視覺(jué)與多模態(tài)人工智能領(lǐng)域的青年科研人員，吳祖煊的科研目標(biāo)宏大且務(wù)實(shí)：一方面推動(dòng)計(jì)算機(jī)理解和生成視頻的技術(shù)革新；另一方面，通過(guò)這些生成的視頻訓(xùn)練機(jī)器人，為其賦予“讀懂世界”的智慧，從而真正打通虛擬世界與物理世界的橋梁。

“現(xiàn)在能跑步、跳舞的機(jī)器人固然炫酷，但它們大多只具備控制身體的‘小腦’，還遠(yuǎn)未擁有能實(shí)現(xiàn)復(fù)雜任務(wù)的‘大腦’?！眳亲骒又赋霎?dāng)前具身智能的瓶頸，“如果你讓機(jī)器人下樓去買(mǎi)一杯咖啡，它需要懂得路徑規(guī)劃、學(xué)會(huì)按電梯、甚至與人交流。對(duì)它們而言，完成這一系列步驟仍挑戰(zhàn)巨大?！?/p>

如何鍛造機(jī)器人的超級(jí)“大腦”，正是當(dāng)前具身智能機(jī)器人領(lǐng)域面臨的核心挑戰(zhàn)。要解決這個(gè)難題，往往需要海量的數(shù)據(jù)作為支撐。

數(shù)據(jù)收集并不是一件容易的事?！艾F(xiàn)在具身智能領(lǐng)域最大的難題其實(shí)就是數(shù)據(jù)收集。一百條數(shù)據(jù)，大概只能支持機(jī)器人完成一個(gè)任務(wù)。”吳祖煊解釋?zhuān)瑐鹘y(tǒng)的做法，需要工程師手把手教學(xué)，比如演示拿水杯、擦盤(pán)子，這不僅動(dòng)作數(shù)據(jù)收集成本高昂，且面對(duì)不同場(chǎng)景、不同動(dòng)作，人工收集更是耗時(shí)耗力。

面對(duì)這一困境，吳祖煊團(tuán)隊(duì)另辟蹊徑：如果視頻生成模型足夠強(qiáng)大，就能夠生成海量的操作視頻，直接作為訓(xùn)練數(shù)據(jù)，從而替代掉繁瑣的人工收集?；诖?，他們自主研發(fā)了高效可控的視頻生成與編輯模型，為機(jī)器人進(jìn)化提供源源不斷的數(shù)據(jù)食糧。

基于人類(lèi)演示視頻（左）和生成模型合成機(jī)械臂視頻（右），最終部署在真機(jī)上（中）

吳祖煊團(tuán)隊(duì)近期構(gòu)建了一個(gè)旨在提升視頻生成效率的模型。這個(gè)模型有一個(gè)充滿(mǎn)神秘色彩的名字——“Reducio”，取自《哈利波特》小說(shuō)中的魔法咒語(yǔ)“縮小咒”，精準(zhǔn)詮釋了模型對(duì)極致壓縮的追求。與Sora等追求宏大效果的模型不同，Reducio的特點(diǎn)就一個(gè)字——快。通過(guò)創(chuàng)新編碼方法，Reducio能將原始視頻壓縮4000多倍，實(shí)現(xiàn)超高壓縮效果。團(tuán)隊(duì)論文發(fā)表時(shí)，Reducio能在單張A100 GPU上，用16秒生成1K分辨率的視頻，這是當(dāng)時(shí)全球最快的紀(jì)錄。

有了海量的仿真數(shù)據(jù)，如何讓這些仿真數(shù)據(jù)真實(shí)地作用于物理世界？實(shí)踐的靈感，來(lái)自吳祖煊兩歲的孩子。陪伴孩子玩拼裝玩具時(shí)，他發(fā)現(xiàn)，孩子能輕松拼好的檸檬積木，對(duì)機(jī)器人而言卻極具挑戰(zhàn)。即便是最簡(jiǎn)單的“對(duì)準(zhǔn)、拼合”動(dòng)作，也涉及精細(xì)的觸覺(jué)、力度和空間判斷，這正是當(dāng)前機(jī)器智能的盲區(qū)。

看似“玩耍”的訓(xùn)練，實(shí)則是在鍛煉機(jī)器人的“大腦”，這關(guān)乎它們能否在工廠(chǎng)進(jìn)行精密裝配，能否真正融入人類(lèi)生活。吳祖煊憧憬著：“大腦”發(fā)達(dá)的機(jī)器人，有望顛覆未來(lái)的工業(yè)場(chǎng)景。

“中國(guó)產(chǎn)業(yè)鏈和應(yīng)用場(chǎng)景極其豐富，這意味著我們?cè)跀?shù)據(jù)資源方面擁有獨(dú)特優(yōu)勢(shì)。”吳祖煊介紹，目前團(tuán)隊(duì)已與行業(yè)頭部企業(yè)等展開(kāi)合作，采集真實(shí)產(chǎn)線(xiàn)數(shù)據(jù)。他預(yù)言，未來(lái)3-5年，機(jī)器人有望在精密裝配領(lǐng)域大顯身手，真正成為人類(lèi)的得力助手。

從產(chǎn)業(yè)界跨向?qū)W術(shù)界，只因熱愛(ài)自由研究

Chatgpt、豆包、Sora……近幾年，人工智能（AI）無(wú)疑是科技領(lǐng)域最火熱的關(guān)鍵詞。社交媒體上，AI生成的視頻已然鋪天蓋地。

“今天人工智能行業(yè)的發(fā)展，應(yīng)該是所有從業(yè)者都沒(méi)有想到的?！睆膶W(xué)生到科研工作者，吳祖煊十余年一直扎根于計(jì)算機(jī)領(lǐng)域，專(zhuān)注于計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)研究。他的團(tuán)隊(duì)在A(yíng)I領(lǐng)域中取得了很多突破性工作，產(chǎn)出的開(kāi)源數(shù)據(jù)集、模型等，已經(jīng)悄然運(yùn)行在了華為、字節(jié)跳動(dòng)等企業(yè)產(chǎn)品中。

選擇計(jì)算機(jī)專(zhuān)業(yè)，深耕人工智能領(lǐng)域，似乎是一名理工科“學(xué)霸”的標(biāo)準(zhǔn)進(jìn)階之路。但驅(qū)動(dòng)吳祖煊的，并非追尋熱點(diǎn)，而是那份自幼萌發(fā)的純粹興趣。

“我大概在小學(xué)三年級(jí)就開(kāi)始接觸編程了，”他回憶。小學(xué)時(shí)有電腦課，跟隨指令在屏幕上畫(huà)圖的“小烏龜”，啟蒙他進(jìn)入代碼世界。到了初中，他已開(kāi)始自學(xué)制作網(wǎng)頁(yè)，搗鼓Flash動(dòng)畫(huà)，電腦對(duì)他而言，是一個(gè)能創(chuàng)造無(wú)限可能的奇妙工具。

2009年，他考入華東師范大學(xué)。2013年進(jìn)入復(fù)旦大學(xué)讀研，恰逢深度學(xué)習(xí)浪潮興起，他成為最早將深度學(xué)習(xí)應(yīng)用于視頻分析的研究者之一。

2018年參加國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別大會(huì)（CVPR）并講解論文

此后，他遠(yuǎn)赴美國(guó)馬里蘭大學(xué)攻讀計(jì)算機(jī)科學(xué)博士學(xué)位。期間，他專(zhuān)注于動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)加速研究，通俗來(lái)說(shuō)，就是讓計(jì)算機(jī)“幾分鐘看完一部電影”——通過(guò)理解幾幀畫(huà)面便能快速掌握長(zhǎng)視頻內(nèi)容。

他曾先后在IBM、Salesforce和Facebook等頂尖科技企業(yè)實(shí)習(xí)和工作。然而，產(chǎn)業(yè)界的環(huán)境和節(jié)奏讓他感到了研究受限——經(jīng)濟(jì)向好時(shí)，公司愿意在研究領(lǐng)域投資，鼓勵(lì)大家自由探索；一旦形勢(shì)變化，研究領(lǐng)域的投資就會(huì)收縮。他渴望的，是能始終追隨興趣，在計(jì)算機(jī)前沿研究的無(wú)人區(qū)自由行走。

于是，吳祖煊做出了一個(gè)在旁人看來(lái)有些“任性”的決定：回國(guó)找教職，并且只向復(fù)旦大學(xué)投出了一份簡(jiǎn)歷?！皼](méi)想過(guò)去其他院校嗎？”“沒(méi)有，只考慮了復(fù)旦。”問(wèn)及原因，他笑著回應(yīng)：“可能純粹就是一種感性?！?/p>

這份“感性”，或許正來(lái)自于母校給予的歸屬感。2021年，他如愿回到復(fù)旦。他在復(fù)旦找到了科研的快樂(lè)，既能自由探索前沿，又能將創(chuàng)新的種子通過(guò)教導(dǎo)學(xué)生播撒出去。

今年3月，復(fù)旦成立可信具身智能研究院，專(zhuān)注具身智能的前沿研究與應(yīng)用落地，吳祖煊是核心成員之一。“復(fù)旦為青年老師提供了很多支持，包括各類(lèi)基金項(xiàng)目、卓越人才支持計(jì)劃等。在這里，我們能夠?qū)Ｐ淖隹蒲小！彼f(shuō)。

精益求精做科研，開(kāi)拓具身智能的未來(lái)

吳祖煊的個(gè)人主頁(yè)上清晰寫(xiě)著：“我目前正在尋找具備強(qiáng)大編程能力、熱衷于設(shè)計(jì)視覺(jué)理解算法的學(xué)生”，邀請(qǐng)能力卓越的學(xué)生加入他的課題組。而為了培養(yǎng)好“后浪”們，他也不遺余力給大家提供更好的平臺(tái)。

“精益求精”，始終是吳祖煊踐行的科研理念。他對(duì)論文的要求很高，絕不淺嘗輒止。面對(duì)學(xué)生交上來(lái)的課題，如果有值得深入的地方，他就會(huì)鼓勵(lì)學(xué)生繼續(xù)“挖一挖”，把論文整體質(zhì)量再往上提高一個(gè)層次。 

2024年帶領(lǐng)學(xué)生參加國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別大會(huì)（CVPR）

正是在這種理念的浸潤(rùn)中，吳祖煊團(tuán)隊(duì)的研究工作碩果累累。今年10月，計(jì)算機(jī)視覺(jué)領(lǐng)域頂尖會(huì)議ICCV在美國(guó)夏威夷舉辦，吳祖煊團(tuán)隊(duì)多篇文章經(jīng)專(zhuān)家嚴(yán)格評(píng)審后被錄用。

如今，吳祖煊帶了多名博士生在具身智能前沿領(lǐng)域開(kāi)展研究。幾年來(lái)，每周至少一次、每次半小時(shí)以上的一對(duì)一式組會(huì)，已成為他們課題組的傳統(tǒng)。吳祖煊喜歡與學(xué)生深入討論，而非頻繁開(kāi)大型組會(huì)。在他看來(lái)，只有坐下來(lái)面對(duì)面，才能真正聽(tīng)懂每個(gè)人在琢磨什么、卡在哪里。這種方式讓他能摸準(zhǔn)每個(gè)學(xué)生的脾氣和思路，為他們量身定制培養(yǎng)方案。

對(duì)待基礎(chǔ)扎實(shí)的學(xué)生，他會(huì)鼓勵(lì)他們自由研究探索；對(duì)待進(jìn)度較慢的學(xué)生，他會(huì)主動(dòng)推一把，協(xié)助他們規(guī)劃研究路徑。他的辦公室隨時(shí)對(duì)學(xué)生敞開(kāi)，只要學(xué)生有問(wèn)題，隨時(shí)都能與他交流。

“吳老師對(duì)我的幫助很大，”即將畢業(yè)的博士生陳昊然分享，剛讀博時(shí)，他在去企業(yè)就業(yè)和做學(xué)術(shù)之間搖擺不定，“我找吳老師聊了很多次，他一直引導(dǎo)著我、鼓勵(lì)我嘗試走適合自己的科研道路，告訴我怎么樣去成為一個(gè)好的科學(xué)家。在他的影響下，我慢慢確定下來(lái)要去做科研。”

“實(shí)際上，具身智能現(xiàn)在還在一個(gè)比較早期的階段?！眳亲骒悠诖?，團(tuán)隊(duì)未來(lái)能夠生成并提供更優(yōu)質(zhì)的數(shù)據(jù)，更精準(zhǔn)地控制機(jī)器人并預(yù)測(cè)動(dòng)作，更能讓一個(gè)模型在不同場(chǎng)景下支撐不同機(jī)器人本體完成各種精細(xì)化的動(dòng)作。

隨著機(jī)器人的智能化水平越來(lái)越高，吳祖煊有著更宏大的想象：“下一代人工智能，或許能夠像孩子一樣，跟環(huán)境進(jìn)行交互學(xué)習(xí)，實(shí)現(xiàn)自主學(xué)習(xí)?！倍?，正像一位陪伴孩子“長(zhǎng)大成人”的家長(zhǎng)，在為機(jī)器人“注入智慧”的漫漫長(zhǎng)路上，以一顆赤子之心，堅(jiān)定不移地求索著。