原創(chuàng) 蘇霍伊 甲子光年

4篇學(xué)生論文連獲國際頂會“最佳”，這所創(chuàng)新型、研究型大學(xué)有什么不同？

作者｜蘇霍伊

編輯｜王博

美國當?shù)貢r間6月19日，2024年IEEE國際計算機視覺與模式識別會議（CVPR，計算機視覺領(lǐng)域國際頂會）的最佳學(xué)生論文獎項揭曉。

CVPR的最佳論文和最佳學(xué)生論文一直被視作AI技術(shù)風(fēng)向標，誕生了ResNet、Mask R-CNN和DenseNet等諸多開創(chuàng)性科研成果。

想讓論文被接收并非易事，CVPR 2024共收到11532篇論文投稿，相比2023年的9155篇增加了25%，論文數(shù)量達到了歷史新高，錄取率卻從去年的25.8%小幅下降到了23.6%， 僅2719篇被接收，競爭愈發(fā)激烈。

想要獲獎就更難上加難，能夠獲獎的論文僅有10篇，其中最佳學(xué)生論文只有2篇。

《Mip-Splatting: Alias-free 3D Gaussian Splatting（利用多層級的高斯?jié)姙R方法來實現(xiàn)高清三維重建和自由視角渲染）》就是今年的2篇最佳學(xué)生論文之一，論文的前三位作者依次為余澤浩、陳安沛和黃彬彬。

他們都有一個共同的經(jīng)歷：現(xiàn)在或曾經(jīng)就讀于同一所高校——上?？萍即髮W(xué)（以下簡稱“上科大”或“ShanghaiTech”）。

余澤浩是上科大2021屆碩士，現(xiàn)于德國圖賓根大學(xué)攻讀博士學(xué)位；黃彬彬為2023級在讀博士；共同通訊作者陳安沛是2022屆博士，現(xiàn)為德國圖賓根大學(xué)博士后。

最佳學(xué)生論文《Mip-Splatting: Alias-free 3D Gaussian Splatting》頒獎現(xiàn)場，圖片來源：CVPR

上科大并不是一所公眾熟知的大學(xué)，其成立于2013年9月30日，是一所“年輕”的大學(xué)，也是一所“雙一流”建設(shè)高校。

「甲子光年」在CVPR現(xiàn)場關(guān)注到上科大后，很快又在其他的國際頂會上見到了來自這所大學(xué)的團隊。

今年7月末，在計算機圖形與交互技術(shù)領(lǐng)域的頂會SIGGRAPH 2024上，《CLAY: A Controllable Large-scale Generative Model for Creating High-quality 3D Assets（CLAY：一個用于創(chuàng)建高質(zhì)量的3D資產(chǎn)的可控制的大規(guī)模生成式模型）》《DressCode: Autoregressively Sewing and Generating Garments From Text Guidance（DressCode：一種基于文本指導(dǎo)自動縫制和生成服裝的自回歸方法）》獲得了最佳論文榮譽提名獎項。

這兩篇論文的主創(chuàng)團隊同樣來自上科大。

如果再加上在設(shè)計自動化國際會議DAC（ACM/IEEE Design and Automation Conference，集成電路設(shè)計四大頂會之一）獲得最佳論文提名的《LLM-HD: Layout Language Model for Hotspot Detection with GDS Semantic Encoding（利用大語言模型對芯片版圖進行編碼及光刻熱點檢測）》，今年上科大在與AI相關(guān)的國際頂會上，已經(jīng)拿下四個獎項，已然可以比肩國內(nèi)計算機領(lǐng)域的頭部高校。

而這些成績的取得，都與一位歸國學(xué)者和他的團隊有關(guān)。

1.從UDel、CUHK、HKUST到ShanghaiTech

“我不同意CLAY的方案！”上?？萍即髮W(xué)教授虞晶怡與他帶的博士生張龍文、張啟煊已經(jīng)“吵”了一個小時，“這個3D生成項目為什么工業(yè)界不能做？你們的方案為何可以PK過大廠？”

張龍文和張啟煊也被問住了，他們確實沒想過CLAY在工業(yè)界的不可替代性。

CLAY是他們推出的全新的3D原生Diffusion Transformer生成式大模型。只需輸入文字或平面圖，CLAY在一分鐘內(nèi)就將想象力轉(zhuǎn)化為逼真的高質(zhì)量3D模型。在見導(dǎo)師虞晶怡前，他們覺得研究已經(jīng)構(gòu)想得“萬無一失”了，但還是被導(dǎo)師戳中了“要害”。

于是張龍文和團隊又開始了新一輪的“查缺補漏”?！捌鋵嵲诳吹紺LAY的初步結(jié)果時，我已經(jīng)在暗自驚嘆了，但我必須再‘逼’他們一把，我相信他們能做得更好。”回憶起當時的討論，虞晶怡對「甲子光年」說出了他的“秘密”。

通過CLAY生成的3D模型，動圖來源：受訪者

導(dǎo)師給的“壓力”后來起了作用。從結(jié)果來看，CLAY項目團隊研究出了超過工業(yè)界現(xiàn)有成果的方案。

上科大信息科學(xué)與技術(shù)學(xué)院助理教授、CLAY課題負責(zé)人之一的許嵐表示，團隊當時面對的“角逐”壓力也不小?！霸S多國內(nèi)外學(xué)術(shù)機構(gòu)和大型研究團隊也在進行這項工作，包括OpenAI等。如果以純理性的眼光來看，許多人可能會質(zhì)疑我們的資源是否足夠支持這項工作，甚至認為上科大憑什么能做成這件事?！?/p>

“其實恰恰相反，我們在兩年前就對生成式人工智能有了預(yù)先的判斷，在3D光場的積累也頗為深厚?！彼_信，CLAY項目所承載的技術(shù)能顯著拔高游戲、電影等數(shù)字娛樂產(chǎn)業(yè)?！拔矣X得學(xué)生們非常純粹，他們無所畏懼。初衷也很簡單，就是想做出最好的3D生成技術(shù)?！痹S嵐說。

再后來，CLAY團隊在SIGGRAPH 2024大會上拿到了最佳論文榮譽提名。在大會的Real-Time Live環(huán)節(jié)，張啟煊代表團隊演示了基于CLAY的3D生成解決方案?，F(xiàn)在的CLAY模型擁有15億參數(shù)，是規(guī)模最大且品質(zhì)最優(yōu)的3D原生生成式大模型之一，其性能明顯優(yōu)于包括Meta、OpenAI和Adobe等大廠的同類產(chǎn)品。

張啟煊在SIGGRAPH 2024上做Real-Time Live，來源：SIGGRAPH

之前在學(xué)生面前“有些嚴厲”的虞晶怡在面對「甲子光年」時，也對CLAY團隊稱贊有加。

虞晶怡本科便師從數(shù)學(xué)家、美國國家科學(xué)院院士、加州理工學(xué)院應(yīng)用數(shù)學(xué)系Charles Lee Powell教授侯一釗；2005年獲麻省理工學(xué)院（MIT）工程與計算機科學(xué)（EECS）博士學(xué)位，專注于計算機視覺和成像領(lǐng)域的探索；2021年入選IEEE Fellow。

博士畢業(yè)后，他加入了美國特拉華大學(xué)（UDel）開始了教授生涯?！爱敃r一心想做學(xué)術(shù)。本科畢業(yè)時我放棄了加入谷歌，博士畢業(yè)時又沒選擇去英偉達，幾年后它們都成了各自領(lǐng)域的巨頭企業(yè)。這都是命運使然，看來相比于工業(yè)界，我還是和學(xué)校更有緣分?！彼χ{(diào)侃道。

而他最初選擇回國加入上科大的原因，源自一個樸素的想法——創(chuàng)業(yè)，“上科大從無到有，就是一次偉大的創(chuàng)業(yè)?！?/p>

虞晶怡在信息與技術(shù)學(xué)院2024級的畢業(yè)典禮上致辭，圖片來源：上?？萍即髮W(xué)官網(wǎng)

相比于傳統(tǒng)高校，“創(chuàng)業(yè)中”的上科大的教師們都相對年輕，和學(xué)生溝通沒代溝，耿浩、許嵐就是其中的代表。

2021年，耿浩在香港中文大學(xué)（CUHK）獲得計算機科學(xué)與工程博士學(xué)位后，便加入上科大擔任助理教授。問及加入上科大的原因，他告訴「甲子光年」：“學(xué)校對新入職的教師，尤其是青年教師，充滿了尊重與信任。在科研啟動上的大力支持，也是我選擇上科大的一個很重要的因素。”

許嵐亦是如此。2020年，在香港科技大學(xué)（HKUST）電子與計算機工程獲博士學(xué)位后，他便來到了上科大，“我覺得最吸引人的是學(xué)校較新，沒有太多歷史負擔，實驗室設(shè)備先進，提供給年輕人較大的施展空間，這對年輕人的成長非常有利?！?/p>

“同行看到獲獎?wù)撐拿麊螘r都很吃驚?！痹S嵐告訴「甲子光年」，通常能摘得獎項的都來自擁有幾十年乃至百年歷史的世界頂級學(xué)府的學(xué)生，中國學(xué)生能夠獲獎更是小概率事件。

對于獲獎背后的原因，虞晶怡分析：“從投稿情況來看，像是研究的成果，但其實它是教育的成果?！鄙峡拼蟮拿卦E在于，不僅要培養(yǎng)好博士、碩士，更重要的培養(yǎng)好本科生。

如果沒有那次“吵架”，也就沒有現(xiàn)在CLAY。而讓「甲子光年」意外的是，從未有過大模型訓(xùn)練經(jīng)驗的張龍文、張啟煊等人開發(fā)出這款模型，只用了不到一年。

幾位資歷尚淺的年輕學(xué)生是如何做到的？

2.快速迭代，活用教參

自建立以來，上科大的目標就設(shè)定為建立一所小規(guī)模、高水平、國際化的研究型、創(chuàng)新型大學(xué)。

“對于像AI這些日新月異的領(lǐng)域，我們采取了快速迭代教參而非教材的策略?！庇菥р榻B，教育模式在AI時代經(jīng)歷了顯著的變化。

傳統(tǒng)上的教育依賴于固定教材，教師主要在課堂上講授這些長期不變的內(nèi)容。然而，AI領(lǐng)域的知識更新速度極快，傳統(tǒng)的教材很快就會過時，一本花費一年編寫的教材，可能在完成時已有50%到80%的內(nèi)容落后于最新的研究成果。

而教參則融合了各種與時俱進的教學(xué)資料，這些資料由教師和學(xué)生提供，這使得每學(xué)期的課程內(nèi)容能夠迅速迭代和更新。

很多大學(xué)的教育模式通常是教師授課，學(xué)生回去完成作業(yè)。但在上科大很強調(diào)學(xué)生的自學(xué)能力，尤其是在信息科學(xué)和AI領(lǐng)域。課堂上教師會引入新方法，但具體的實踐和深入理解，如源代碼的閱讀和修改，則需要學(xué)生自行探索。

上科大多學(xué)科人工現(xiàn)實工作室（MARS），圖片來源：「甲子光年」拍攝

這里的學(xué)術(shù)自由氣氛也很濃厚，主要體現(xiàn)在學(xué)校鼓勵學(xué)科交叉與跨界合作。

與其他大多數(shù)計算機科學(xué)與工程學(xué)院不同，上科大信息科學(xué)與技術(shù)學(xué)院不設(shè)具體系別，只設(shè)研究中心。固化的學(xué)科劃分限制了科學(xué)創(chuàng)新與合作，而當前的科技挑戰(zhàn)迫切需要跨學(xué)科的緊密合作。

這就需要提出有價值的問題：比如，大模型能應(yīng)用在集成電路設(shè)計、制造領(lǐng)域嗎？

普林斯頓大學(xué)電氣與計算機工程系兼統(tǒng)計與機器學(xué)習(xí)中心教授王夢迪近期成立的AI for Accelerating Invention（人工智能加速發(fā)明）中心的預(yù)期產(chǎn)出成果之一，就是“人工智能驅(qū)動的芯片、計算硬件、架構(gòu)和系統(tǒng)設(shè)計”。

AI for Accelerating Invention預(yù)期產(chǎn)出成果，圖片來源：AI for Accelerating Invention

上科大的學(xué)生鄔一聞、陳禹陽等人也給出了他們的答案。

今年6月28日，在美國舊金山召開的第61屆設(shè)計自動化國際會議（ACM/IEEE Design and Automation Conference，DAC）正式公布了最佳論文等獎項。上海科技大學(xué)、張江實驗室共同發(fā)表的《LLM-HD: Layout Language Model for Hotspot Detection with GDS Semantic Encoding（利用大語言模型對芯片版圖進行編碼及光刻熱點檢測）》獲得了DAC 2024最佳論文提名。

上科大信息科學(xué)與技術(shù)學(xué)院2023級博士研究生鄔一聞和2022級碩士研究生陳禹陽作為論文共同第一作者在大會上向來自學(xué)界、業(yè)界的電子設(shè)計自動化（EDA）領(lǐng)域國際頂尖研究機構(gòu)和學(xué)者進行了匯報。耿浩為該論文的通訊作者，上海科技大學(xué)為第一完成單位，張江實驗室為合作單位。合作者還包括信息科學(xué)與技術(shù)學(xué)院汪婧雅教授、吳濤教授和何旭明教授。

獲獎團隊合影，圖片來源：受訪者

而獲得DAC 2024最佳論文提名的這個項目，源自耿浩去年端午節(jié)歸家途中偶然的靈光一閃。

“當我走到中科路地鐵站，在閘機前準備刷碼時，我突然想到當前課題中模型的輸入是否過于僵化，非得局限于圖像？業(yè)界與成熟商業(yè)軟件似乎并未設(shè)定此等硬性條件，學(xué)界這么做可能也只是在延續(xù)一個‘傳統(tǒng)’。這份突如其來的靈感讓我激動不已，連忙記錄下來。”耿浩回憶著。

在集成電路設(shè)計制造領(lǐng)域，計算光刻以及光學(xué)鄰近效應(yīng)校正（OPC，Optical Proximity Correction）技術(shù)的不斷發(fā)展和創(chuàng)新對于提高芯片制造良率、降低周轉(zhuǎn)時間和成本至關(guān)重要。為提升OPC任務(wù)效率，減少OPC在版圖缺陷（又稱熱點）層面修正產(chǎn)生的工作量，該篇論文開展了基于無損多層級版圖語意編碼和版圖語言模型的熱點檢測研究。

論文中，團隊提出了全新的“語言模型+高性能GPU”的版圖熱點檢測范式。

版圖語言模型與傳統(tǒng)模型版圖光刻熱點檢測流程對比圖，圖片來源：受訪者

“這個項目的動機是探索語言模型的表達能力。在計算光刻研究中，我們發(fā)現(xiàn)版圖不僅可以用圖像表示，也可以用描述性語言表達。于是我們用描述性語句表征版圖，輸入語言模型進行熱點檢測，提出了利用語言模型解決熱點檢測的新思路。”鄔一聞解釋道。

陳禹陽則透露了論文背后的故事：“我們定期與計算機視覺和半導(dǎo)體領(lǐng)域的資深教授交流，深入討論項目中遇到的問題，從而確保順利推進項目?！?/p>

“可能在積累經(jīng)驗上我們還有所欠缺，但我們一直在探索新的學(xué)生培養(yǎng)方式。我們目前不見得已處于‘開花結(jié)果’的階段，就還在過程中。”許嵐認為，“另一方面，與傳統(tǒng)高校相比，我們可能能提供給學(xué)生更多的發(fā)展空間和人均資源。上科大的辦學(xué)理念是小而精，不單單追求規(guī)模的擴大，而是注重質(zhì)量和科研的定位?！?/p>

“學(xué)校在算力、數(shù)據(jù)資源、先進科研設(shè)備等方面為學(xué)生提供了全力支持。僅僅NVIDIA A800這樣的先進GPU，上科大的算力平臺就有256張。”耿浩笑稱，“師生們常戲言‘就沒打過這么富裕的仗’?！?/p>

3.從本科就開始搞科研

本科科研實踐制度也是上科大科教融合的一大特色。

耿浩向「甲子光年」介紹了教學(xué)中的“兩個結(jié)合”：通識教育與專業(yè)教育結(jié)合，理論與實踐相結(jié)合。上科大每位學(xué)生都要學(xué)習(xí)物理、化學(xué)、生物、人文、經(jīng)濟這樣的通識課程，同時很多專業(yè)課程有著豐富的課程項目設(shè)計。

“做project”幾乎是每個上科大學(xué)生的口頭禪?？梢哉f在上科大，科研無處不在。

特別是在信息科學(xué)與技術(shù)學(xué)院，學(xué)生都早早投入實驗工作中。目前約80%的本科生在一到三年級期間開始參與科研活動。到了本科后期，學(xué)生還可以選修研究生課程，大約10%的學(xué)生在本科期間就取得了科研成果。

“很多教授課題組都有本科生的身影，本科生發(fā)頂刊頂會、創(chuàng)立高科技公司、融資路演都不算是多么新鮮的事?！惫⒑普f。

許嵐認為，本科生從某種程度上更能專注研究本身。

“因為他們更無所畏懼?！彼忉尩?，“隨著年齡的增長，我們有時反而會顧慮更多。但對本科生而言來說，研究路徑都是全新的，他們接近問題時像一張未被書寫的白紙，不會因為懷疑技術(shù)或方法的可行性而踟躕不前?！?/p>

在SIGGRAPH 2024獲得了最佳論文榮譽提名獎項的DressCode就是由本科生主導(dǎo)產(chǎn)出的研究成果，第一作者何開是上科大在讀大四學(xué)生。

DressCode是基于文字描述的自回歸服裝板片生成大模型——它應(yīng)用友好，用戶只需輸入一段文字，即可生成真實穿戴狀態(tài)下的衣物模型，并直接給出所有裁片等工藝參數(shù)，讓裁縫能夠精準制作一模一樣的成衣。

DressCode展示了一種專為3D服裝設(shè)計的生成式AI框架，來源：受訪者

由于傳統(tǒng)通用生成方法產(chǎn)生的網(wǎng)格或神經(jīng)場與實際數(shù)字服裝生產(chǎn)流程不兼容，其直接應(yīng)用于服裝領(lǐng)域的效果并不理想。

為了解決這些問題，影眸科技與上?？萍即髮W(xué)的研發(fā)團隊提出了文本驅(qū)動的3D服裝生成框架DressCode。DressCode就像一位精通語言的巧手裁縫，利用自然語言，集成了用于縫紉圖案生成的SewingGPT，并通過經(jīng)過微調(diào)的擴散模型來合成PBR紋理，最終呈現(xiàn)出一款交互友好的服裝生成、補全和編輯應(yīng)用。

值得一提的是，影眸科技是上科大碩士畢業(yè)生吳迪、曾初嘯與張啟煊、張龍文于2021年創(chuàng)建的一家開拓3D生成技術(shù)的科創(chuàng)企業(yè)，已獲得紅杉資本、奇績創(chuàng)壇等的投資。

“2020年我的高中老師告訴我，上科大的科研氛圍濃厚。的確，大學(xué)四年我獲得了超乎想象的科研與出國交流機會?！焙伍_說。

從大一開始，何開就進入實驗室上手搞科研，并自行選擇了感興趣的研究課題。本科二年級時，與師兄張龍文、張啟煊的交流成為了何開學(xué)術(shù)道路的轉(zhuǎn)折點，何開確定了自己對大模型相關(guān)研究和應(yīng)用的興趣。

“我大二時加入了課題組，大三就在頂會發(fā)表了自己的第一篇學(xué)術(shù)論文?！睆垎㈧咏榻B，“我們的合作很沉浸式，一邊玩一邊科研一邊創(chuàng)業(yè)。與何開合作的DressCode最早的靈感也是在洛杉磯參加SIGGRAPH時，和老師去爬山的路途中交流出來的，我們發(fā)現(xiàn)市場上沒有能滿足生產(chǎn)線需求的3D服裝生成模型?；氐綄W(xué)校后，再花了半年時間完成、落地?！?/p>

“要創(chuàng)新就要給予學(xué)生、老師足夠的學(xué)術(shù)自由”。上科大招聘教師特別注重其學(xué)術(shù)水平，看潛力，不看他們頭上的帽子和光環(huán)，教授都是一些正在“爬坡”的年輕人。超過80%的常任教授有五年以上海外經(jīng)歷，40歲以下的占了66.4%，其師生比一直維持在1:6左右。

在與「甲子光年」交談中，張啟煊無比慶幸自己高考填志愿時的選擇：“我來上科大讀本科時它才剛剛迎來了第一屆本科畢業(yè)生。參加過校園開放日后，毫不夸張地講，我一下愛上了這里的科研氛圍。誠然，當時新學(xué)校有很多不確定性，但也意味著無限的可能性，這恰恰是那時的我所想要的。”

“不僅是學(xué)生，老師也如此。在面試中，許多學(xué)者選擇加入上科大是因為不確定性提供了廣闊的成長空間，但也有人因為不確定性沒有來到這里。它是吸引人的因素，也可能是令人猶豫的理由?！痹S嵐說道。

4.創(chuàng)新的引路人

教師不僅是知識的傳遞者，更是創(chuàng)新的引路人。

2022年，隨著AI大模型相關(guān)技術(shù)快速發(fā)展，上科大的相關(guān)研究也進入了“快車道”。

上?？萍即髮W(xué)多學(xué)科人工現(xiàn)實工作室（MARS）巨型球狀的穹頂光場，來源：「甲子光年」拍攝

在Sora發(fā)布前，CLAY團隊就已經(jīng)意識到，通過Diffusion Transformer架構(gòu)實現(xiàn)3D原生大模型或許是當前的“最佳”方案，但當時業(yè)內(nèi)并不看好這一路徑。

主要原因在于3D數(shù)據(jù)的高維度和復(fù)雜性使得模型難以有效處理。3D數(shù)據(jù)通常是稀疏且不規(guī)則的，如點云和體素等表示方式，大大增加了模型設(shè)計和計算的挑戰(zhàn)。傳統(tǒng)的3D網(wǎng)絡(luò)架構(gòu)如卷積在處理高維度數(shù)據(jù)時，計算成本和內(nèi)存消耗都非常高，導(dǎo)致訓(xùn)練效率低下。更重要的是，早期缺乏成功的案例和成熟的方法，也讓業(yè)界對其可行性持保留態(tài)度。

“開疆擴土”總是最難的。

認準這條路后，他們便向老師們尋求幫助。當時，虞晶怡也提出了相同的疑問：“你們確定這樣行得通？”但在聽完學(xué)生們的想法后，他二話不說地就加入了團隊的“保障工作”中，“虞老師永遠把我們學(xué)生的事情放在第一位?！睆堼埼恼f道，“時常半夜他還在與我們電話討論問題。”

后面Sora的發(fā)布，CLAY團隊發(fā)現(xiàn)自己的竟然想法與OpenAI的設(shè)定不謀而合。這份與國際頂級技術(shù)團隊的“不期而同”讓張龍文激動不已：“感謝老師們當時堅定支持我們?！蹦壳?，CLAY已經(jīng)積累了大量海內(nèi)外客戶，尤其備受游戲行業(yè)的青睞。

“我們也是從學(xué)生時代過來的。曾經(jīng)我的老師也是這樣‘挺’我的，我希望將這份信任、支持傳遞下去。我未必是最好的導(dǎo)師，我所做的更多是把大家聚在一起思想碰撞，對原創(chuàng)的想法給予足夠的資源?！庇菥рV定地說：“讓學(xué)生們沒有后顧之憂地去拼去闖?！?/p>

上科大校園，來源：「甲子光年」拍攝

上科大是教育改革的產(chǎn)物，也是上海市教育綜合改革試驗的關(guān)鍵試點單位，有著較高的辦學(xué)自主權(quán)。11年前參加上科大籌建的第一批員工不到20人，如今全職教職工達到1000多人。

而正是許多像虞晶怡、耿浩、許嵐這樣的老師，與學(xué)生們共同創(chuàng)立了國內(nèi)最“年輕”又特殊的小規(guī)模大學(xué)，小而精、體制活、與國家戰(zhàn)略和區(qū)域發(fā)展深度融合也成為了這所創(chuàng)新型、研究型大學(xué)的鮮明標志。

這11年很長，長到從無到有；又很短，短到只是一個開篇。

而這開篇，已經(jīng)寫下了濃墨重彩的一筆。

（封面圖來源：受訪者提供）

END.

原標題：《從一所“年輕”大學(xué)走出的國際頂會獲獎團隊｜甲子光年》

閱讀原文