<mark id="oztn4"></mark>
0
探索 AI 和醫學結合更多的可能性，是人工智能發展的一個重要命題。
AutoML 作為近年來備受矚目的概念之一，被視為解決算法工程師來提高訓練模型效率的一個工具，在工業、農業、零售等諸多場景中均有被使用。
而隨著 AI 在醫學影像分析、醫療決策、個人就診助手等場景領域的廣泛應用，AutoML憑借其智能化、自動化等特性，也引發了越來越多研究團隊開始思考：如果將其放置在醫學場景下，是否也能獲得不錯的結果？
褚曉文，香港科技大學（廣州）數據科學與分析學域正教授，由他所帶領的團隊也是這條探索路上的分隊之一。
近日，褚曉文將在 IEEE x ATEC 科技思享會上進行題為《 AutoML 在基于胸部 CT 影像的 Covid-19 輔助診斷中的應用》的主題演講，解析 AutoML 的基本概念和核心技術，并通過他們近兩年的相關工作，介紹 AutoML 在醫療影像領域的潛在應用。
通過強大的算力解鎖復雜場景數據，AutoML 能夠極大地減輕醫生工作量，實現更加智能化的計算機輔助診斷，提供更準確的決策依據，在一定程度上提高了診療效率，精準節省醫學成本。
AutoML + 醫學
從疾病輔助診斷治療、慢病風險預測，到廣泛的亞健康智慧康養，AI 技術的出現和廣泛應用，驅動傳統醫療研究邁進了全新的階段。作為「AI +醫學」的一個重要研究方向，「AI +醫學影像」的技術日趨成熟，在覆蓋病種數量、診斷速度和準確性等方面也不斷地實現突破。
圖注：褚曉文
褚曉文，1999年于清華大學計算機科學與技術系獲得學士學位，2003年博士畢業于香港科技大學計算機科學系。2003年到2021年，他在香港浸會大學計算機科學系任職助理教授、副教授、正教授，現任香港科技大學（廣州）數據科學與分析學域正教授。
他研究興趣包括 GPU 計算、分布式機器學習、云計算和無線網絡等，在各種國際學術期刊和會議中發表論文200余篇，谷歌H指數為46，論文引用7900余次。曾獲得 2021年 IEEE INFOCOM、2021年 DASFAA-MUST、2020年IEEE GreenCom、2018年IEEE DataCom等國際會議的最佳論文獎，是IEEE資深會員和ATEC 2021高級咨詢委員會專家。
褚曉文和研究團隊從2018年開始對 AutoML 調研，使用 AutoML 應用于醫學場景下的研究。
2019年年末，一場突如其來的疫情席卷了全球， Covid-19 的出現給人們的生活按下了暫停鍵。Covid-19 的檢測診斷方法主要包括了核酸檢測和基于醫學影像的人工診斷，二者各有利弊，核酸檢測耗時較長、且又需要專用的測試盒，而基于醫學影像的人工診斷則十分依賴專業知識，分析耗時較長并且還難以發現隱匿病變。
褚曉文和研究團隊開始考慮是否可以通過使用 AutoML 來輔助診斷 Covid-19 檢測，提高檢測效率。隨著X射線圖像和計算機斷層掃描圖像數據集的相繼提出，褚曉文與香港浸會大學的博士研究生賀鑫在已有圖像和數據集的基礎上構建基于深度學習的 Covid-19 檢測診斷模型，總結 Covid-19 檢測診斷的主流影像數據集和相關評價指標。
此外，在論文“Survey of Studies of COVID-19 Diagnosis Based on Deep Learning”中，褚曉文和研究團隊從模型任務和影像數據類型兩個角度出發，還介紹了現有的 Covid-19 檢測診斷模型，并對骨干網絡、數據集、影像類型、性能表現、分類種類和開源情況六個維度進行比較與分析。
目前，深度學習在基于胸部影像的 Covid-19 輔助診斷中得到廣泛應用，各種人工設計的深度學習模型在不同的 Covid-19 數據集上表現各異，缺乏一種通用的適用于不同數據集的神經網絡結構，同一個模型在不同場景中的適用程度也不相同。
AutoML 在 Covid-19 輔助診斷中的應用，旨在給定數據集上自動搜索一個高效的神經網絡模型，可以大大減少繁復的人工設計和調優過程，將科學家們解放出來去做更有意義的事。
為了解決基于權重共享的網絡搜索策略中的穩定性問題，褚曉文和研究團隊提出一種有效的進化多目標結構搜索框架。此外，針對數據集匱乏的問題，他們還提出了一種集成自動數據增強和自動網絡搜索的新框架，這一框架在三種公開 Covid-19 數據集上均取得了優異的性能。
為了進一步理解褚曉文教授在 AutoML 的研究工作，AI 科技評論同他進行了一次深入對話。
對話褚曉文
AI 科技評論：在 Covid-19 的輔助診斷中，您使用的是開源的點工具還是平臺？目前預測效果如何，在哪一個任務的應用效果更好？
褚曉文：我們基于微軟亞洲研究院開發的 NNI（Neural Network Intelligence）早期版本搭建了自己的分布式AutoML框架，重構了一些基礎模塊，使得各個模塊復用性更好。后面一些研究工作也都是基于這套框架完成的。
目前，我們主要是在CT數據集上進行了圖像分類的任務，實驗結果顯示，使用 AutoML 搜索到的深度學習模型不僅參數量更小，而且分類準確率也比流行的卷積神經網絡更高。此前 NVIDIA 研究團隊利用 AutoML 在醫療影像分割任務上也取得了很好的效果。
AI 科技評論：Covid-19 的特點是其快速傳播能力，這也意味著使用 AutoML 研究的圖像集也在不斷擴大，訓練數據集需要不斷地擴充。對于這一點，您和團隊是怎么解決的？如何提高模型的泛化能力？
褚曉文：AutoML可以看成是超參優化（HPO，Hyper-paramter optimization），神經架構搜索（NAS，Neural architecture search），數據增強（DA，data augmentation）等方法的集成，但目前我們更多聚焦在 NAS 方面的研究，也即是使用 NAS 針對特定數據集或任務、去自動搜索模型的結構和超參數。
但醫療數據集比較特殊，涉及到隱私問題，所以前期數據集的大小和數量都不是很充足，并且還存在類別不均衡的問題。Covid-19 數據集規模擴大，反而能更好地幫助我們搜索更優的模型。目前，我們也在嘗試將 DA 和 NAS 結合起來進行搜索，希望得到更好的模型泛化能力。
AI 科技評論：針對數據的噪聲和不一致性等難點，您和團隊是怎么保證算法的準確性和高效性呢？
褚曉文：此前，我們的工作主要是基于 Covid-19 3D CT數據集，其常見的數據噪聲表現包括切片中不包含肺、切片順序錯誤或者重復等。對于這些數據噪音，我們主要采用人工的方式來修正。自動化數據清理本身也是一個重要的研究課題，但關于這方面的研究我們還沒有開展。
針對數據不均衡的情況，我們采用的是數據增強和調整采樣頻率的方式來解決。
而在數據不一致方面我們發現，數據集的質量對識別精度的影響甚至要高于模型本身的影響。通常要找一個人工設計的深度學習模型去適配所有數據集很難，因此我們覺得，利用 AutoML 技術針對某個特定的數據集，例如來自同一醫院同樣設備及同一地域病人群體的數據集，去搜索同數據集相對應的模型，會是 AutoML 一個很好的應用場景。
AI 科技評論：目前在系統的部署環節上難度如何？考慮到更大規模和多個病人的診斷需求，您此前在分布式機器學習（聯邦學習）上的研究有沒有帶來哪些靈感？
褚曉文：目前，由于缺乏和醫療機構之間的合作，我們還沒有在真實場景中去測試模型性能。但在公開數據集的實驗中我們發現，AutoML 能夠搜索到參數量更小而且分類準確率更高的模型。
我們也嘗試研究過聯邦學習在 Covid-19 診斷上的應用，模擬在幾個數據孤島上進行聯邦學習，結果顯示，質量較差的數據孤島的確能夠受益于聯邦學習，但高質量的數據孤島卻很難有性能提升，甚至有可能被其他數據集所拖累。這是一個非常有趣的課題，我們將來也會更加深入地去研究。
AI 科技評論：您的主要研究方向是什么？取得過哪些突出成果？
褚曉文：目前我主要的研究方向是高性能機器學習系統。得益于我在 GPU 計算和分布式計算領域的研究經驗，我們是較早關注大規模分布式機器學習的團隊之一，2016年研發了世界上最早開源的深度學習基準測試系統之一 DLBench ，在學術界和工業界都引起較為廣泛的關注。
之后，我們團隊又和一些企業合作研發了系列分布式訓練的原創性技術，于2018年使用2048張 GPU 在 ImageNet 數據集上實現了圖像分類任務的全球最快訓練速度。
此外還設計和實現了多種分布式機器學習訓練的通信優化方法，在國際會議 IEEE INFOCOM、IEEE ICDCS 和國際期刊 IEEE TPDS 發表過多篇學術論文，并獲得 IEEE INFOCOM 2021年的最佳論文獎。
AI 科技評論：您從什么時候開始使用 AutoML 做研究的？期間一共經歷了哪幾個研究階段？
褚曉文：2018年，我們開始對 AutoML 調研，它最具吸引力的地方就正如其名——自動機器學習，這是一個非常美好的期許，可以把科研工作者和工程師從枯燥的調參過程中解放出來，去做更有意義的事。
目前我們在 AutoML 方面大概經歷了幾個階段：
第一，通過調研現有的 AutoML 相關技術，我們參考300多篇相關文獻完成了一篇 AutoML 的綜述論文，它是國際著名期刊 Knowledge-Based Systems 近三年來引用和下載最高的論文之一，對AutoML的普及起到了一定的促進作用。
第二，在正逢 NAS 研究熱度高的時候，我們在不同的任務上驗證了 NAS 的有效性，包括醫學圖像分類和生成對抗模型。
在那之后我們還做了一些工作，嘗試去更本質地認識模型結構對性能的影響，另外也嘗試從系統設計的角度去提高 AutoML 的效率和可擴展性。
AI 科技評論：醫學場景是您的第一選擇么，最初面向的是哪一個醫學場景或哪一種人體疾病？
褚曉文：我們團隊嘗試醫學場景的研究始于2018年。當時，香港發生了一起由皮膚病引起的社會悲劇，我從媒體上了解到，香港的公立醫療體系內只有30多位皮膚科專科醫生，但同一時間的輪候病人卻達到5萬多人。這個對我的觸動非常大，也正因如此，我開始思考是否可以通過人工智能的方法來解決皮膚病診斷的問題。
后面我們從互聯網上搜集了很多相關的數據，也取得了一些初步成效。但受限于圖片的版權問題，目前我們已搜集和清理的數據集無法對外公開，這個方面的研究也停留在學術層面。
AI 科技評論：當前醫學場景對 AutoML 提出了怎樣的要求，研究難點是什么？
褚曉文：由于醫學數據比較敏感和隱私，所以通常很難拿到大量的數據集；與此同時，有經驗的醫生時間成本很高，這也導致高質量的數據標注工作非常困難，如何在有限的數據集上使用 AutoML 搜索到泛化性能好的模型是一個不小的挑戰。
另外，我們還需要避免數據隱私泄露，例如 Model Inversion Attack 能夠逆向獲取原始數據，因此，使用 AutoML 搜索出更安全的模型也是未來一個值得關注的方向。
AI 科技評論：當前 AutoML 在醫學場景中的應用距離臨床階段還有多遠？
褚曉文：AutoML 是一個新興的技術，發展很快，但其本質上還是屬于機器學習和深度學習的范疇，只是利用了新的優化方法和大量的計算資源來取代傳統的人工設計和調參，離部署到實際應用中還有一定的距離，并沒有拉長或縮短機器學習和臨床階段的距離。
由于 AutoML 是多個流程組成，但目前大多數研究往往只是針對單個流程，比如 NAS 或者 DA 。其原因在于，當使用多個流程一起搜索時，會導致搜索空間的指數級增長，如何在巨大的搜索空間中高效搜索到優秀的模型和數據增強策略仍是一個不小的挑戰。
此外，如何厘清人工智能醫療器械相關的法律和倫理問題，也是一個富有挑戰性和迫切性的課題。
AI 科技評論：您之后是否有計劃將 AutoML 使用在其他領域或場景的研究中？
褚曉文：目前，我們團隊已經開始把 AutoML 技術使用在智能駕駛場景的感知問題中，希望能夠搜索出既滿足模型精度要求，又滿足推理實時性要求，同時還能符合硬件約束的輕量級模型。
（雷峰網(公眾號：雷峰網)雷峰網）
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
