北大孫赫：用 AI 研究科學成像，從「大宇宙」到「小宇宙」

2022年5月12日，全球知名的黑洞觀測計劃「事件視界望遠鏡」（Event Horizon Telescope，EHT）發布了一張位于銀河系中心的超大質量黑洞「人馬座A*」（Sgr A*）的照片。該照片提供了銀河系中心黑洞真實存在的首個視覺證據，在世界范圍內引起了巨大的轟動：

圖注：位于銀河系中心的黑洞——「人馬座A*」（Sgr A*）。這張照片由2017年EHT所觀測數據中提取的多張照片組合制作而成。

據EHT介紹，Sgr A*黑洞的質量大約是太陽的400萬倍，覆蓋面積幾乎與水星的軌道一樣大。聽起來很大，但由于位于銀河系中心的Sgr A*距離地球二萬七千光年之遙，要從地球上拍攝Sgr A*也面臨巨大的挑戰，難度極高。

有多難？

「就像從洛杉磯拍攝位于紐約表面的一粒鹽，需要建造一個跟地球一樣大的射電望遠鏡才能拍到這么小的東西。」加州理工學院（Caltech）的研究人員這樣解讀。

這是EHT第二次讓世人窺見宇宙黑洞的真實容貌。第一次是2019年4月10日EHT觀測到的一個位于室女A星系（M87）的黑洞。

區別于其他研究黑洞的方法（如引力波觀測），EHT的目標是直接獲取宇宙中黑洞的影像進行分析。與M87相比，Sgr A*的動態變化更加迅速，因而在成像上也更具技術挑戰。

據EHT官方披露，該計劃召集了來自全球80多個研究機構的300多名研究人員共同研究。合作組在2017年4月利用分布于全球各地的8臺射電望遠鏡對SgrA*進行了聯合觀測，并在之后花費五年時間，開發了復雜的工具解決SgrA*的圖像處理問題，并利用超級計算機合成與分析影像數據，創建黑洞模擬數據庫與觀測結果進行嚴格比對，才最終得到了上述較為清晰的照片。

來自北京大學未來技術學院的青年研究員孫赫便是EHT這300多名研究人員中的一員。

在AI科技評論對孫赫博士進行訪談時，他曾十分興奮地透露他正在參與一個全球性的科研計劃。但直到Sgr A*發布，他才向我們披露，這個計劃就是EHT對銀心黑洞Sgr A*進行觀測、處理成像。

圖注：孫赫在普林斯頓大學

孫赫的主要研究內容是將人工智能算法應用于科學成像研究，將光學、控制學、信號處理與機器學習等知識融合，促進科學領域的研究發現。在EHT合作組中，孫赫作為成像和科學特征提取兩個團隊的成員之一，參與了一系列圖像處理軟件的開發與黑洞數據分析的工作。雷峰網

雖然同屬「AI for Science」，孫赫的研究邏輯卻與這一賽道上的多數學者不盡相同：人工智能領域的研究者大多從 AI 的角度研究科學問題，而非計算機科班出身的孫赫則更喜歡從科學問題的需求出發尋找 AI 工具。雷峰網

此外，值得注意的是，孫赫的目標研究領域并不只有天文學。

2022年5月，孫赫結束其在加州理工學院的博士后研究，正式加入北京大學未來技術學院國家生物醫學成像科學中心，將他在天文成像上的積累推廣到一個嶄新的領域——生物醫學成像。

如果說黑洞觀測是面向大宇宙，那么生物醫學成像則是探秘人體這個「小宇宙」的重要途徑之一。在從「大宇宙」到「小宇宙」的旅途上，孫赫也逐漸成長：從對人工智能算法一無所知，到跨學科研究，在人工智能和科學成像的交叉點遇到了令他興奮不已的研究方向。雷峰網(公眾號：雷峰網)

1、從航空航天到計算成像

孫赫與機器學習的結緣是出于偶然。

他的本科就讀于北京大學工學院，主修工程力學、輔修經濟學，2014年本科畢業后申請到了普林斯頓大學機械與航空航天工程系攻讀博士。該系包含許多研究方向，孫赫所屬的方向為控制理論與動力系統（類似國內的「自動化」），因此，在博士剛開始時，他更感興趣的是與機器人相關的研究課題。

2014年，人工智能（AI）正在興起，作為世界頂尖研究高校的普林斯頓大學也是學術界這一波AI研究大潮的先行者之一。在孫赫的第一年博士預備階段，普林斯頓大學的統計與機器學習中心（Center for Statistics and Machine Learning）開始設置機器學習的輔修項目。雖然不屬于計算機系，但對 AI 抱有好奇心的孫赫也報名了該項目，成為首批修讀該項目的學生之一。

對 AI 的了解改變了孫赫原先的研究規劃，也在潛移默化中加強了他在開展研究時應用 AI 的意識。

第一年博士實驗室輪轉學習（Lab Rotation）結束后，孫赫加入普林斯頓高對比度成像實驗室（Princeton High Contrast Imaging Lab），師從N. Jeremy Kasdin，參與研究天文望遠鏡的自適應光學系統。

「自適應光學是一類能夠控制光的自動化系統，就像我們控制機器人的動作、姿態和運動軌跡來執行目標任務一樣，自適應光學系統可以調控光場的性質來提升望遠鏡的成像能力。」孫赫向 AI 科技評論解釋道，「很多傳統的AI算法都源自于控制理論，所以很自然的就在想能不能把機器學習的方法再引入到望遠鏡自適應光學系統的開發中」。

博士期間，孫赫開始嘗試用數據驅動的機器學習方法改進天文望遠鏡的控制系統。

當時，他的博士導師 Jeremy Kasdin 是NASA 的新一代太空望遠鏡——「羅曼太空望遠鏡」（Roman Space Telescope）科學團隊的負責人之一。羅曼太空望遠鏡是韋伯望遠鏡之后NASA的又一個旗艦任務，它有兩個主要的科學目標：一是觀測宇宙中的暗物質，二是觀測宇宙中的系外行星、尋找適合人類生存的「第二個地球」。

「對系外行星的直接成像非常難。因為恒星是發光的，而類地行星通常是不發光的。比如說，從宇宙深處的其它行星上觀測太陽系，地球要比太陽暗十億倍以上。在這種情況下，你需要想辦法提升望遠鏡的成像對比度。自適應光學為這個問題提供了一個重要的解決思路，我們可以應用控制理論去操縱光的傳播過程，將耀眼的恒星光消除，從而打破望遠鏡的光學極限，制造出一個特別暗的區域來實現對行星的觀測。」孫赫談道。

要控制光，就需要改變望遠鏡系統內部分鏡面的形狀來使光場發生變化。如此精密的控制（鏡面的形變通常在納米級）需要對望遠鏡的光學系統有一個精確的建模。然而在軌運行的太空望遠鏡十分「敏感」：機械振動、太陽輻射產生的熱效應等太空極端條件下的種種因素都會使望遠鏡的光學系統隨著時間發生各種微小的變化。

針對這一問題，孫赫在博士期間最重要的一項工作就是將機器學習引入到太空望遠鏡中，利用望遠鏡的觀測圖像實時地修正光學系統的建模誤差，提升自適應光學系統的控制精度與最終的成像對比。相關研究被收錄于他的博士論文（"Efficient wavefront sensing and control for space-based high-contrast imaging"）中，并獲得了2019年IEEE航天會議的「觀測系統和技術最佳論文獎」。

• 孫赫的博士論文鏈接：https://dataspace.princeton.edu/bitstream/88435/dsp01g445ch067/1/Sun_princeton_0181D_13173.pdf

不過，他真正從 AI 的角度深入研究天文成像是在加州理工學院（Caltech）擔任博士后期間。

在普林斯頓讀博時，由于研究課題與天文密切相關，孫赫偶然結識了來普林斯頓進行學術交流的Katie Bouman。Katie Bouman的主要研究方向是計算成像（Computational Imaging），尤其是將 AI 算法用于黑洞成像的研究。

圖注：加州理工學院計算與數學科學系、電子工程系和天文系助理教授的 Katie Bouman

用 AI 研究黑洞成像，這是多么酷的事情呀！孫赫對 Katie Bouman 的研究內容感到十分興奮。

雖然控制與 AI 不分家，孫赫在太空望遠鏡自適應光學系統的研究中也淺嘗了機器學習算法的美妙，但總的來說，他的研究內容仍偏傳統的控制方法。2018年暑假，孫赫去了位于美國波士頓市區的三菱電機研究實驗室（MERL）實習，接觸到了許多機器人、控制與 AI 的實用知識，對進一步將 AI 與其研究結合的愿望更加強烈。

于是，博士畢業后，孫赫選擇加入Katie Bouman在加州理工學院新建立的計算相機實驗室（Computational Cameras Group at Caltech）做博士后，并在 Katie 的指導下參與了EHT黑洞成像的一系列工作。

2、探索「 AI+黑洞成像」

2019年，孫赫在普林斯頓獲得博士學位后，從美國的東北部飛到了美國西部，加入位于加州帕薩迪納市的加州理工學院，開始了他的博士后研究之旅。

孫赫在博士后期間的研究獲得了「Caltech/Amazon AI for Science Fellowship」的資助。「AI for Science」是近年人工智能領域一個重要的新興研究方向。很多時候，人工智能領域的研究者喜歡從 AI方法 的角度出發，先設計出一個比較通用的算法或模型，再思考其用途。然而，真實的科學成像問題需要什么樣的 AI 技術？孫赫從他的研究經歷出發，提供了不一樣的視角。

孫赫向 AI 科技評論 介紹：在大型科學任務（如太空望遠鏡）中，研究人員通常首先進行的是科學目標的選取，而不是可行性論證，更不是涉及技術細節的儀器和數據處理算法設計。例如，申請立項一個科學儀器的項目時，最先成立的一定是「科學定義團隊」（Science Definition Team），而不是工程團隊。

科學定義團隊會聚集在一起，討論他們要解決的問題，總結出一個科學目標，然后對儀器提出具體的參數要求。因此，他思考，要將 AI 應用于科學研究，AI 研究者似乎也可以遵循這樣的研究邏輯，首先深入理解具體的科學需求和限制因素，再從終點倒推路徑，設計開源、好用的 AI 工具。

「比如，太空望遠鏡中的 AI算法 就要首先考慮在軌計算資源的有限性。」孫赫舉例說。

一臺衛星發射到太空中，不僅成本高昂，而且載重有限，因此飛行器不可能攜帶大型的處理器或數據存儲設備。此外，太空飛行器中的計算設備也要考慮能耗和使用壽命等因素。這些都決定了簡單而有效的「小模型」，而不是復雜的「大模型」或許更適合太空儀器設備的需求。博士期間，他在AI+自適應光學上的工作就是利用了簡單的線性模型取得了不錯的效果。

因此，他總結：「AI for Science， 解決具體科學問題是第一出發點。」

在黑洞成像中，孫赫與Katie Bouman等人解決的一個具體科學需求是黑洞成像的不確定性估計。

具體來說，由于 EHT 望遠鏡陣列的觀測非常稀疏，且觀測數據受到大氣擾動等一系列環境噪音的影響，黑洞的圖像重構具有一定程度的不確定性，這會阻礙科學家了解黑洞的真實形狀。「對于科學家來說，他們要的不是單一的照片，他們更想知道的是拍攝的圖片中，哪些內容是可信的、哪些內容是不可信的，也就是他們常說的『know what we don't know』（知道我們所不知道的事情）。」孫赫向 AI 科技評論解釋。

傳統的基于馬爾可夫鏈蒙特卡洛算法的不確定性估計算法，在高緯圖像重構問題中會遇到“緯度災難”。針對這個問題，孫赫與 Katie Bouman 等人提出了一種基于變分貝葉斯推斷的深度學習方法來高效地量化高維圖像重構中的不確定性。該方法利用深度生成模型來近似重構圖像的后驗概率分布。

「這里我們不是計算準確擬合觀測數據的最優圖片，而是盡可能的尋找可以比較好擬合數據的所有圖片。我們的解是一個重構圖像的概率分布，因此我們叫它『深度概率成像』。」孫赫談道，「這個工作可以幫助天文學家在極少的數據中提取有效的科學信息，并且估算觀測數據的不確定性，避免過度解讀。」

該工作被 AAAI 2021 接收，并作為黑洞特征提取的算法之一被應用到SgrA*的真實數據分析中。

論文地址：https://arxiv.org/pdf/2010.14462.pdf

3、從「大宇宙」到「小宇宙」

在Caltech這種培養了無數知名大神的研究院校，孫赫得以在天文成像領域更為深入地應用了人工智能的知識，并且將計算成像的研究經驗從太空拓展到了生物醫學領域。

相關的研究緣起于他們與哈佛大學醫學院的研究人員在壓縮傳感磁共振成像（compressed sensing MRI）方面的合作。

「事實上，黑洞成像與核磁共振的物理原理是非常相似的，幾乎可以說是一模一樣：它們都是通過采集一些頻率稀疏的信息來重構圖像。」孫赫告訴AI科技評論。

除深度概率成像外，孫赫在博士后期間研究的另一個主要課題是利用端對端的深度學習方法對下一代事件視界望遠鏡（ngEHT）的進行自動化新臺址選址，從而優化黑洞觀測的數據采集質量。由于黑洞成像和核磁共振成像的相似性，相關算法完成后，孫赫和合作者很自然的想到了將類似方法方法拓展核磁共振這一生物醫學成像模態中：

「數據采集也是核磁共振的重要目標之一，一次核磁共振全掃描可能長達一個小時，如果能在短時間內采集到高質量的數據用于成像診斷，不僅可以提升患者的就醫舒適度，也可以顯著降低核磁共振的價格，從而造福更多人。」

從這一思路出發，孫赫與合作者提出了一個完全可微的端對端的核磁共振采樣策略優化框架。該方法可以同時學習最優的核磁共振采樣策略與最優的圖像重構方法，并能夠實時的根據已采集的數據調整采樣方案，因而可以在較短的采樣時間內采集到豐富的信息。

論文鏈接：https://arxiv.org/pdf/2105.06460.pdf

憑借這個工作，孫赫與其合作者獲得2021年機器學習健康大會（ML4H）的最佳論文獎。

「這個工作最巧妙的地方是把掃描設計成一個多階段的數據采集過程。通常的核磁掃描軌跡是一個固定的模式：無論病人本身的情況是怎樣的，在他躺進機器之前核磁機器的掃描軌跡就已經確定了。但我們的想法是讓核磁共振隨時調整自己的掃描路徑，先粗略掃描了解大概的身體結構，再重點掃描潛在的病灶位置，這樣我們就可以不斷采集新的信息，利用前期的信息來指導后期的掃描，用更短的時間達到相同的圖像質量。相當于把『離線』換成『在線』。」孫赫介紹。

對比天文成像與生物成像，孫赫認為，雖然不同的成像設備均有自己的獨特之處，需要從具體需求出發開發 AI 工具解決實際問題，但「成像」本身包含的技術內容是互通的：它們均運用了物理規律來進行建模，用于數據處理的 AI 算法是通用的，儀器設計的許多工具也是一樣的。此外，它們都對 AI 算法的可解釋性提出了很高的要求。

孫赫認為，科研的最終目標是服務于實際應用，而生物醫學是一個非常有前景的領域。他在天文成像上的研究經驗能夠拓展至生物領域，在更海量的數據場景中檢驗 AI 算法的能力，這自然讓具有強烈科研好奇心的他十分激動。

除了計算成像知識的通用性以外，孫赫對生物成像感興趣的另一個原因，是受到身邊人的影響。

據孫赫介紹，他的母親是一位超聲醫生，所以他從小就對各種成像模態（Imaging Modality）十分感興趣。此外，他的兩位科研導師——N.Jeremy Kasdin與Katie Bouman——均是勇于探索的科學家，在科研態度上為他樹立了崇高的榜樣：

「我的博士導師 N.Jeremy Kasdin 在讀博時研究的方向是GPS，任教后才開始研究太空望遠鏡與系外行星，可以說是在普林斯頓從零開始探索。而到了博士后，我是 Katie Bouman 實驗室的一號員工，也見證了她從 0 到 1 搭建團隊并不斷拓展自己研究邊界的過程。」

于是，2022年，在找教職時，孫赫并未局限于航空航天和計算機方向，在拿到北京大學未來技術學院的offer后，出于對生物成像深入探索的好奇心，以及對母校的熱愛，毫不猶豫地就選擇了回國任教。

「能夠在母校做出最好的科學，對我也有著不一樣的意義。」孫赫這樣說。

4、新的征程

今年5月，孫赫正式加入北京大學未來技術學院擔任研究員，并隸屬于北京大學國家生物醫學成像科學中心。

北京大學國家生物醫學成像科學中心成立于2020年9月，由著名細胞生物學與生物物理學家程和平院士領銜，主要研究目標是建設生物醫學成像大設施，包括核心成像設備、全尺度圖像整合系統及相關輔助平臺等，為生物醫學研究提供新技術、新手段、新工具，幫助實現原創性的科研突破。

這與孫赫的科研追求十分契合。在他的博士畢業論文中，他曾引用知名物理學家 Freeman Dyson 的觀點來詮釋自己的科研興趣：

「New directions in science are launched by new tools much more often than by new concepts. The effect of a concept-driven revolution is to explain old things in new ways. The effect of a tool-driven revolution is to discover new things that have to be explained.」

（新的科學方向往往是由新的工具、而非新的概念觸發。概念驅動的革命影響是用新的方法來解釋舊的事物，而工具驅動的革命影響是發現需要被解釋的新事物。）

孫赫表示，加入北大后，他的研究方向仍是「計算成像」，包括天文成像與生物成像，通過對成像系統的物理模塊與計算模塊協同優化，應用 AI、控制與光學等等學科的知識提升系統的觀測能力。「AI 在計算成像的各個模塊中均有廣泛的應用。AI+科學成像也正在重新定義我們探索世界的邊界。」孫赫談道。

這些天，剛剛步入教職行列的他正在緊鑼密鼓地籌建他的課題組，當被問及希望招到怎樣的學生時，孫赫表示，他希望尋找自己「未來的科研合作者」，所以，他希望招到對研究計算成像感興趣、有主人翁精神的學生，像他與他的導師們一樣，能夠師生攜手共進，一起揭下更多科學問題的神秘面紗。

參考鏈接：

1. https://eventhorizontelescope.org/blog/astronomers-reveal-first-image-black-hole-heart-our-galaxy

2. https://www.caltech.edu/about/news/caltech-researchers-help-generate-first-image-of-black-hole-at-the-center-of-our-galaxy

3. https://mp.weixin.qq.com/s/baxruVsXKJHgsbHrWIK7CQ 

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。