<mark id="oztn4"></mark>
0
雷鋒網消息，近日，第四屆圖像計算與數字醫學國際研討會（ISICDM 2020）在中國遼寧省沈陽市召開。
研討會圍繞圖像計算和數字醫學中的一些重要的理論、算法與應用問題進行學術討論，旨在促進電子信息（包括計算機、自動化與生物醫學工程）、數學和醫學等領域學者的交流與合作。
本次研討會由國際數字醫學會主辦，東北大學和中國醫科大學聯合承辦。
在12月5日下午舉行的“智能輔助診療論壇”專場，北京和睦家醫院陸菁菁教授向與會者分享了題為《醫學影像人工智能研發之管窺：醫生的角色》的精彩專題報告。
關注公眾號《醫健AI掘金志》，聊天框回復“報告”，獲取陸菁菁教授全文演講PPT。
作為AI技術的前沿觀察者與參與者，陸菁菁教授畢業于北京協和醫學院，后進入北京協和醫院放射科工作，歷經住院醫、住院總、主治醫、副主任醫，現為主任醫師、碩士生導師，2010年5月至2011年5月為哈佛醫學院麻省總醫院訪問學者。目前，陸菁菁教授擔任北京和睦家醫院放射科主任。
陸菁菁：感謝大會的邀請，我今天分享的題目是《醫學影像人工智能研發之管窺：醫生的角色》。
現在醫學影像AI的研發方興未艾，許多產品逐步被打磨以進入臨床。同時，一些新的臨床問題被提出，亟待進一步研究。
醫生在醫療AI產品研發中的角色非常多樣，可以做最基礎的的數據標注，也可以做臨床架構的建議，醫生還可以是使用者、建設者，甚至是執行者，同時也可以做PI（principal investigator，主要研究者）。
那么，醫生對于目前AI的產品研究有什么樣的評價？作為醫生，怎樣才能參與到AI的研究中，如何實現雙贏的長期合作關系？醫生如何看待醫學影像的未來？
首先，我想分享一下對于近5、6年AI研發的進展，醫生秉持著什么樣的態度。我覺得醫生是有一種微妙的情感變化的。其次，對于醫生扮演的角色，我會通過本人以及團隊參與的所有AI項目，分享其中的一些體悟。
最后，我想給大家提出一些建議，理工研發人員和醫生合作時，怎么樣才能成為醫生的好朋友，讓醫生成為對項目更有建設性的人。
從這張圖，可以很清楚地看到醫生態度的轉變。
從2016年開始，以AlphaGo為代表的深度學習技術，在一部分領域產生了摧枯拉朽的改變。從機器遠不及人，到逐漸完全打敗人類的成就來看，一些技術狂人認為深度學習將很快取代放射科醫生的工作。
對于此種言論，醫生小小不屑的同時，也很好奇正在發生什么。
2018年，由國家神經系統疾病臨床醫學研究中心宣布舉行了全球首場神經影像人工智能人機大賽舉行。
人類這邊，由25名全球神經影像領域頂尖專家、學者和優秀臨床醫生組成，在兩輪比賽中，BioMind分別以87%、83%的準確率，戰勝醫生戰隊66%、63%的準確率，人類完敗。
聽到這個消息時，我真的感到了一絲恐慌，懷疑醫生是否真的不如神經網絡。因為我記不住那么多文獻知識，也沒有看過神經網絡訓練那么多的醫學圖像，也許神經網絡真的可以取代我的工作。
在我詳細了解了比賽以及評分規則后，發現比賽規則既不成熟，也不透明，更像是一個商業廣告的炒作。
在過去的兩年里，我們發現人工智能確實能做不少事情，比如對骨齡的測試、小結節的診斷，對血腫大小的判斷，還有對糖尿病視網膜病變篩查以及前列腺的分割都可以做得很好。
但是，AI往往在單任務上表現得非常出色，但能做的多任務范疇的工作非常有限，而且有時候會犯一些很低級的錯誤。因為人具有抽象和直觀的兩種判斷，看到一個圖像感覺不對勁，就會通過仔細研判、結合病史，給出一個有經驗的、綜合推理后的分析。
這就是經驗良好的醫生和缺乏經驗的醫生可能存在的一些區別。我認為，人類智能和機器智能目前仍然存在一定的鴻溝。
到現在2020年了，醫生發現自己能從AI技術中受益良多，比如利用影像組學可以發表很多文章，將AI軟件應用在臨床當中，例如肺小結節的檢測、前列腺的勾畫，可以幫助我們減少很多的工作量。
我們對于AI秉持著擁抱的態度。在去年的RSNA上，大家一致的觀點就是，掌握AI的醫生比不掌握AI的醫生更加厲害，這是我們醫生態度上的轉變。
我和我的團隊參與了很多合作項目，從基礎的數據標注、審核，到解剖病灶的勾畫。十幾年前，我在麻省總醫院參加神經影像項目，進行CT圖像上的腦血腫勾畫，這個項目是想證明血腫擴大速度快的人預后較差。
我的工作就是沒日沒夜的勾畫邊界。當時我就認為，這個項目可以通過AI對血腫密度高低的邊界加以區別。現在，已經誕生了這樣的軟件。
此外，我們參與的其他合作還包括對肺葉、肺段的解剖。
第二個，數字人薄層圖像，比如2019年重慶的數字人項目。解剖學的老師就希望，建立一個真正的人體斷層及其CT圖像的關聯，我們要幫助他畫出這個結構，在CT圖上也畫起來，然后做成一個網頁，作為教學網站或者是科研的基礎。這個事情說起來很有價值，但是做的工作還是相當瑣碎。
另外，我們還有一些參與臨床實驗的工作。比如，病人在接受靶向藥或者免疫治療三個月以后，醫生需要觀察病人身上的腫瘤變化，包括多范圍腫瘤的大小以及淋巴結的變化。
做這些項目時，CRA公司需要招募具有相應資質的醫生。比如看婦科腫瘤的醫生就只招收婦科腫瘤專業的，而且還要能證明在這個領域具有相當的造詣，發表過相應文章或者在學組擔任委員。而醫生的具體的工作就是找腫瘤、畫大小，然后象征性地得到一定的勞務費。
稍微高級別的醫工合作，包含了3D打印、盆腔核磁結構的自動識別，相對基礎的減影圖像比較等等，這也是我們醫生可以完成的。另外，還有像田捷教授他們所做的影像組學和影像基因組學。
而最高層級合作，就是研究者PI（算法PI和臨床PI）的合作。
我就以參加的這些項目，跟大家講四個故事。
第一個故事：3D打印
現在CT的圖像能掃得特別薄，再加上3D打印技術的出現，這使得打印一個顱骨成為一件理論上很容易的事情。
此前，協和醫學院解剖學系的主任找到我想做一個3D打印的顱骨模型，給每個學生課余時間進行學習和熟悉。在以前，這樣的模型是很難獲取的。
當然，我們并不想靠非法手段獲取數據。解剖學系主任對自己進行了一次CT掃描，圖像處理專家拿到之后進行分割。因為骨骼的密度和周圍組織相差很大，所以分割起來比較容易。但是顱底有很多的血管孔、神經走向，需要人來一點點摳細節。
這個想法很有創意，產品也有一定實用價值，我們很容易的申請了這個專利。
實際上，這個腦殼里面的腦子的三維模型不是從CT圖像得出來的，而是同一個人的核磁圖像，通過腦分割的方法做了個STL的文件，同時合成起來。
之后，我們就開始做脊柱的3D打印模型，繼續申請專利。我覺得合作的這個項目非常簡單，且容易上手、有趣。
第二個故事：基于深度學習的盆腔結構語義分割。
這是我們源于臨床的問題。在協和的時候，我們每天會簽100多份CT和核磁的報告，各個專業（頭部、胸部、盆腔、骨關節）的都有。
上面這一張是經過雙側股骨頭層面的盆腔磁共振圖像，里面有膀胱及周圍各種骨骼和肌肉。如果不是經常看肌肉、關節的醫生，常常會對這些結構搞不清楚，比如哪些是縫匠肌，哪塊是內收肌，還是長收肌、短收肌；臀大肌、臀中肌、臀小肌區別還好記，其他肌肉時間一長就糊涂了。
正常的人體解剖都是一樣的，死記硬背就好了。機器學習或者深度學習應該在這些方面發揮相應的作用。
提出這個想法后，我和我的學生一起去勾畫結構，這很費時。因為，一個病人有20層圖像，每層圖像上有五六十個結構。
如果是手動將結構分割出來，每一套圖像就要花費一星期的時間。當時，我們的邏輯是數據越多越好，訓練出來的神經網絡性能就會更好。
最后，我們完成了16個病例，分成了訓練集、驗證集和測試集，再進行網絡訓練。
訓練采用的是注意力金字塔網絡，就是數據增廣，然后進行卷積、上采樣，之后又引入注意力機制。
得到的結果還是令人滿意的，對比原來的圖像，一個是ground truth，一個是對照的FCN的網絡，我們所做的APNet網絡得到的結構分割，包括臀大肌、臀小肌、股中間肌和內收肌，都比FCN網絡要好得多。
在定量的mIoU的參數上，加入三重的注意力機制的分割會達到最好的效果。我們還比較了手動分割ground truth和機器分割出來的差異。
最后，負責算法的老師投遞了大會摘要，并且得到了發表。在2018年第二屆ISICDM大會上進行了匯報，并且將數據集貢獻給第三屆大會作為比賽用數據，我們也因此結識了更多的合作伙伴。
但是對我們醫生來說，這個研究由于沒有后續的算法創新，我們在此基礎上做的臨床應用的文章比較難發表，這是我們覺得有點兒遺憾的方面。
第三個故事：與中科院計算所周少華博士的合作。
在拍胸片時，我們會在圖像上看到肋骨和肩胛骨，尤其是肋骨，如果重疊在肺紋理上，將會對病灶進行干擾，影響對病灶的觀察。我們希望在胸片上去掉肋骨，但一般是沒有雙能量的胸片，如果有雙能胸片，通過能量減影將其減掉。
因此，我們用了一個比較巧妙的方法，用非配對的CT結構的prior，算出骨骼的影子，在低分辨率上先做減影，進行上采樣以后，在高分辨率上又進行減影，達到一個非常好的效果。
如圖所示，上面一行是胸片圖像，第二行和第三行是U-Net的結果，最下面是我們算法的結果:
從傳統的圖像上，可以看見肺紋理和肋骨是重疊在一起的，經過去骨以后，我們只看到了肺紋理。
在鈣化的顯示上，我們算法的鈣化顯示就相對清晰，而且骨頭抑制的也非常好，但是其他算法的效果就差強人意。
另外，我們還拿結核病灶進行了演示。當胸片有骨頭擋著的時候，結核灶是什么樣的？經過一些不好的減影之后，結核灶顯示不太清楚，但是在我們的算法上，骨頭被抑制下去，結核灶顯示更清楚。
醫生的工作就是比較不同的算法，比較低分辨率和高分辨率圖像，去骨的圖像和不去骨的圖像，以及不同算法效果下呈現的圖像。
當時，我們找了有兩年工作經驗的研究生和十二年工作經驗的進修生，分別對這些圖像進行了判別。雖然看起來只有99幅圖和300幅圖像，但是通過不同的組合產生了無數的圖像，每個片子大概要花4~5秒，讓這些醫生進行打分。
文章的結果最后發表在IEEE Transactions on Medical Imaging雜志上。
另外一個案例是去偽影的算法。
算法團隊請我們比較圖像并進行評價，用的是Excel表，雙盲的設計非常好，對偽影去得好壞與否進行打分。
在打分時我們發現一些問題：有的算法雖然將偽影去得好，但是把重要的結構也去掉了，比如想看小關節或者想看脊柱里的脊髓，雖然偽影去得很漂亮，但是其中一些重要結構也看不清楚了，但是在我們反饋意見的時候，沒有很多人注意到我們的想法和需求。
這是未來醫工合作還需要進一步提高的地方。如果雙方能夠更好、更深入的交流，并且將醫生的建議放在方法設計的過程中，相信會對文章將來的高度有所幫助，更貼近臨床的需求。
最后一個故事，是與平安北美研究院呂樂博士進行的長期合作。
我們和呂樂博士的團隊每周都會花3個小時，在云端會議上討論目前合作進程中存在的一些問題。比如我會分享放射科醫生如何看圖像，為什么放射科醫生覺得，AI不能像醫生一樣進行疾病的診斷。
這是因為，疾病當中有很多同病異影。
不同的病種都可以表現成磨玻璃結節，比如COVID-19可以是磨玻璃的病灶，心衰或者肺梗塞時同樣是磨玻璃病灶，所以光看圖像是不夠的。醫生要學習很多基礎性的東西，包括解剖、生理、藥理、病理等等知識架構，這樣才會指導將來的診斷、經驗分析以及總結歸納，然后運用于臨床。
將來，人工智能的開發更需要人類的邏輯對其進行指導。呂樂博士的團隊也認識到，在神經網絡的構建時，簡單加入一些醫生的邏輯，有時候會達到非常好的效果。
比如對一個圖像的鑒別，在Deep Lesion數據集里有很多期的圖像混在一起，要挖掘里面的病灶是很困難的。而比如肝癌的特征表現，從動脈期、門脈期到延遲期，是個動脈期會快速增強、門脈期快速廓清的，自有其規律在其中。
如果完全混在一起，深度神經網絡就很難發現問題所在。
所以在訓練模型的前期，最好能對圖像進行分類，例如哪些是動脈期、哪些是門脈期、哪些是延遲期？
我們醫生提出的一個非常簡單的參考經驗就是：看主動脈、門靜脈和腎盂里面對比劑的分布，以區分是什么時相。
因此，在醫生的提示簡單總結一個邏輯，對不同時相的圖像進行分類之后，課題的進展非常好。醫工合作中，那種共同成長的感覺非常不錯。
今年的RSNA2020上，一個叫唐有寶的同學獲得了informatics category的最佳論文獎。在他提出的算法里，在病灶的周圍點個小點，算法就能夠自動測量病灶的最大徑和最短徑。
他為什么會得到最佳論文獎？
這是因為，搞研發、藥物研究的人都特別認可這件事情。針對藥物是否有用的時候，醫生經常要做大量、枯燥的測量工作，需要一層層翻圖像、一層層測量，以判斷腫瘤對藥物是否有反應。有了這個算法，我們就可以節省大量的人力。這也是他能拿到最佳論文的原因。
另外，我給大家介紹一個很好的研究——Self-supervised Learning（自監督的學習）。
之前談到盆腔的時候，我花費了大概好幾個星期，才勾畫了十幾例的圖像，訓練網絡讓它知道肌肉長在什么部位。
但是，自監督學習的方法，用一張或者是非常少的圖像，就能定位到這個人的肌肉部位。
從理論上來講，人的頭、鼻子這些特征，機器很容易學出來。如果這個點放在左側鎖骨的中間，那么下一個人可以同樣點到鎖骨的中間，一些內在的、很簡單的邏輯存在其中。
在這個算法里還做了一些驗證，比如在不同的圖像里。在X光里面做，只用到一張標記的圖像就達到了更好的效果。
這是一個效果圖，有template，然后是ground truth。
這是模板，其中有ground truth，預測也在相同部位。自監督學習做到了用非常小的樣本做出解剖學定位的效果。
我覺得，自監督學習跟人的學習邏輯有點類似。人不用學很多的東西，這是因為人腦有一個內在、全局的觀念。 
利用Deep Lesion做一些病灶匹配的測試。第一次檢查、第一次隨診時，AI同樣可以定位到相同的位置，這也很有幫助。
從醫生的角度而言，在對比老片的時候，我們需要知道病灶原來的位置，現在要找到新的病灶并且進行上下匹配，隨后進行測量。如果人工智能可以做到，對我們的幫助是非常大的。
分數比較高的就匹配得比較好，相反就是不太好的。比如在最左下角的三幅圖像上，在左邊的腮腺旁邊綠圈就是ground truth，但是算法預測卻匹配到主動脈弓上了，就得出0.64的分數。
在這篇論文中，呂樂博士團隊提出的算法既可以找到病灶，也可以匹配病灶。此外，還能測量病灶，我覺得很有幫助。
我們見證了這篇文章的發表，也獲得了MICCAI、CVPR、RNSA等頂會的摘要，收獲非常大。
在與呂樂博士團隊的合作過程中，我們還有很多反饋建議的機會。他們的服務器部署到我們醫院后，我們也會補充進更多的數據集，把我們的使用感受或者研究建議及時地進行交流。
最后，我對今天的分享進行一下總結。
醫生的角色是多樣性的，可以是使用者和建設者，也可以是監督者和引領者。醫生能做的具體幫助也非常多，從基礎工作開始，醫生可以提供數據、對數據解剖標注，對圖像進行真偽判別，還可以幫助改文章，協助回答醫學審稿專家的問題，對算法的開發提出建議，共同把握研究的方向，提出臨床問題，將來也可能是臨床驗證的主要實施者。
作為一個很好的伙伴，醫生要了解研究的框架和思路，跟隨研究的進度，能學習、有知識和更新，可以對研究產生指導，從到達到研究成果的雙贏。這是我們放射科醫生希望參與的事情。
相反，醫生不希望僅僅只是成為工程人員獲得數據的來源，或者是從事重復性的工作，不了解研究的全貌，我們的想法無法反饋，或者沒有可持續合作的長期打算。這些是我們放射科醫生不喜歡的。
最后，如何選擇研究的合作伙伴。理工的PI會選擇醫生，我們醫生做PI在選擇對方時也是這樣的，要有一些能夠匹配研究的知識和能力背景，對共同的研究方向有真正的興趣。
而且，我們希望理工團隊能夠專注在這個領域。有的PI會有很多的AI項目，如果他的精力不能專注，就很難在一個方向上保證投入的時間和精力。
當然在選擇partner時，相互尊重、談得來，也都是非常重要的。
用李純明老師的話來結尾：“‘理工醫交叉融合，產學研協同創新’永遠是醫療AI領域發展的生命線，只要我們圍繞這一根基不斷縱深，它所釋放出來的能量密度是無窮無盡的。”雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
專題
