東軟醫療楊明雷：萬字圖文，拆解成像端及專科化AI最新進展丨公開課回顧

近期，雷鋒網AI掘金志邀請東軟醫療人工智能與臨床創新研究院總監楊明雷博士，做客雷鋒網公開課，以“影像設備成像端AI應用進展”為題進行，集中梳理了東軟醫療在不同的設備端、不同專科疾病上的技術干貨。

后續將有更多課程上線，添加微信公眾號【醫健掘金志】報名聽課，或收看本節課程視頻回放

自去年成立以來，東軟醫療人工智能與臨床創新研究院率先將AI技術應用于設備端，提升成像的質量和速度。

楊明雷表示，在MR方面，在AI技術的加持下，東軟醫療的頭部成像技術Smart BrainQuant可以將掃描時間從69分鐘縮短至4分31秒；在CT方面，利用前沿空洞卷積和邊緣檢測算子技術優化低劑量掃描，在保證CT圖像質量的同時降低輻射劑量。

除了在設備端，研究院還將AI拓展至專病領域，將AI整合到急性缺血卒中圖像分析。東軟開發的NeuBrain care軟件可以自動分析完成腦卒中灌注影像，得出缺血半暗帶和梗死灶的核心定量指標，提高腦卒中患者救治效率，目前該產品已經搭載在東軟影像云上。

新冠肺炎爆發后，東軟研發了全流程一體化快速AI篩查系統“火眼AI”，設計基于3D和2D混合卷積網絡對病灶分割，再結合已有肺葉分割模型，實現對肺炎病灶定量分析。楊明雷介紹到，該方案結合采取了本地化和云平臺兩種部署方式，既可以直接在東軟后處理工作站AVW升級，也可以搭載在東軟智能醫學影像云平臺NewMiva。

目前，國際上已經相繼研發出區分新冠肺炎和流感的“篩查區分模型”、幫助醫生評估影像疾病發展的“病灶衡量模型”、臨床信息建立的“預后分析模型”。楊明雷博士對這些成果一一進行了分享與講解。

以下為楊明雷的演講全文內容，雷鋒網做了不改變原意的編輯。

東軟醫療人工智能與臨床創新研究院，成立的目標就是構建成像源頭的AI平臺，用AI來賦能全線醫學影像設備，如MR、CT、DSA、US等。

通過開展專科化疾病前沿臨床應用研究，解決腦卒中、心血管、肺癌、慢阻肺等疾病臨床診療的痛點問題；同時通過與業內專家、醫院、上下游廠商等建立廣泛的科研合作，幫助提升臨床診療水平和科研水平。

得益于高性能并行計算能力和神經網絡算法的創新，以及深度學習在大數據上的優秀表現，深度學習不僅在自動駕駛、智能翻譯等多個容易獲取大數據的生活領域得到了非常充分的應用，在醫學影像領域也進行了很多應用探索。

完整醫學影像鏈條分為兩個環節：獲得數據和使用數據

獲得數據是以設備為核心，放射醫生或者技師需要以較快的速度獲取患者的高質量影像，在掃描過程中要 保證患者以及設備操作者的安全，同時要盡量讓影像掃描流程簡易、流暢，減少或者改進其中不必要的、且對人依賴程度較高的環節，而且還要保持影像設備在長時間工作運行中性能的穩定，盡量避免出現故障。

獲得數據之后，更關鍵的是如何使用數據。獲取影像的最終目的是來幫助醫生對患者進行疾病診斷和治療，所以影像使用以掃描的部位或者患者疾病為核心進行展開，利用傳統、AI等圖像處理技術，甚至結合更多維度的臨床信息進行影像分析、挖掘豐富的信息幫助醫生對疾病進行診斷、治療決策、隨訪評估、輔助導航等。

人工智能可以參與到上述所有的影像應用環節，提供更豐富的信息、更智能的處理、更便捷的操作等。

東軟醫療作為影像設備公司，依托設備積累優勢，設計和研發從源頭的全鏈條人工智能影像解決方案。 

 東軟醫療在影像設備端AI應用開發

首先我們要知道，影像設備端目前存在哪些痛點問題，這些痛點可以從兩個角度去理解。

1.數據采集和成像

醫學影像設備有很多類別，包括磁共振、x射線類、伽馬射線類以及超聲設備。

MRI成像設備擁有很強軟組織對比度，在神經影像領域應用廣泛，局限是掃描時間長，成像速度慢，雖然有很多加速方法，但都存在各自的問題。

x射線成像類，如CT、DR、DSA等，是臨床使用最廣泛的成像設備。但問題是，x線對人體是有損傷，長時間暴露在X射線下會對人體產生不可逆危害。

伽馬射線成像，如PET。但問題是PET掃描時間長，在掃描時需要口服或注射放射性核素，對人類存在一定危害性。

超聲設備是目前最安全、最廉價的成像設備。超聲問題在于波長相對較長，容易受空氣、骨骼影響，獲取的圖像中通常存在雜波噪聲。而且不同于 CT或MRI，超聲成像的掃描層面角度隨意，依賴技師掃描手法，對技師經驗要求高。

2.掃描工作流程

在CT和MRI掃描過程中，患者進入掃描間之后，需要在技師或者護士的指導下，躺到掃描床上，擺好合適待掃描姿勢，技師根據每一個患者躺的姿勢、躺的位姿來調整掃描床深度和高度，隨后需要先掃描定位像，在定位像上去定義所要掃描的解剖結構，然后選擇一個合適的FOV，再開始后續的掃描工作。

患者擺位和FOV選擇嚴重依賴于技師或者護士的操作，有很強的主觀依賴性，帶來的一個副作用是，即便是同一個醫院同一臺設備，多次掃描得到的圖像可能都會存在一定的太一致。另外，完成圖像掃描和重建后，技師或醫生經常會需要對一個患者的可能是幾百張圖像進行逐一檢查，來確保圖像質量滿足后續診斷需求。

AI如何讓成像速度更快

MRI最大的問題是慢，分為兩個層面：一是掃描慢，二是重建慢。

目前主要的MRI加速成像技術大都是通過在K空間降采樣減少采樣時間，這樣就能夠顯著地加快成像速度，但是在k空間降采樣必然會帶來圖像質量的損失。

科學家們提出了多種方法，在降采樣同時能夠實現圖像質量的不損失或低損失，最常用的是并行成像和壓縮感知成像方法。

并行成像是通過已知位置和敏感度接收線圈實現相位編碼次數減少，從而提升圖像的掃描速度，但不可避免地帶來圖像對比度下降。

在人工智能成為大家關注熱點之后，有研究者很快就想到是否能用人工智能技術去改進這些成像技術，來實現k空間降采樣圖像的高質量重建。比如這一篇文章提出的deepcomplexMRI方法，它也是對k空間降采數據重建。

如果直接使用端到端卷積模型模型訓練，很難得到立項的結果，所以deepcomplexMRI設計針對虛部和實部的卷積模塊實現MR信息重建，為了保證圖像真實性，每卷積層后都加數據保真層，用來自k空間真實采樣點的數據填補到重建得到的MR影像對應位置上，從而保證圖像質量真實性。 

另一種比較優秀的加速成像技術是壓縮感知成像。

壓縮感知成像的理論基礎MR影像信息的稀疏性，通過迭代方式對K空間數據進行重建后，再補全的k空間數據進行高質量的MRI圖像重建。信息的迭代式恢復是一個漸進優化過程，費時較，用足夠長的時間，壓縮感知方法能夠恢復出來非常高質量的圖像。

壓縮感知MR重建中比較常用的一個迭代方法是交叉方向乘子法，是一種常用的用來求解優化問題的框架：通過把一個大的難解的優化問題分析成多個小的容易求解的問題，然后通過協調這些小的問題的解得到一個大的難解問題的解。

圖中的ADMM網絡模仿了ADMM方法迭代過程，把每一次的迭代轉化成卷積運算。這樣就可以通過并行加速的方式實現快速卷積運算，取代了之前迭代的優化方式，從而顯著的提升MRI重建的速度，并且重建出來的影像質量也非常可觀。 

在之后的三年里，很多研究者嘗試了各種方法對原始的低質量和降采樣的MRI圖像進行高質量恢復，有的是采用圖像域的卷積重建去學習高質量影像，有的是先用圖像域卷積然后再跟一個k空間卷積，有的反過來先對k空間卷積，然后再是一個圖像域卷積。

最近有一個研究者提出了一個可以兼顧的一個方法—同時對k空間和圖像域進行卷積運算，然后將得到的圖像進行融合后再經過卷積神經網絡做進一步的圖像的恢復，效果也非常好，最后在8倍的加速下實現了心臟MRI的快速重建。

我們看一下東軟醫療在這一塊進行了一些嘗試。

首先實現了頭部的基于AI的快速重建技術，圖中上面一行是在常規掃描情況下得到的腦部的結構影像，可以看到放大框里面的腦組織邊界部分圖像結構比較清楚，但是仍然有一些吉布斯偽影，也就是高對比度區域附近有一些信號震蕩，成像共用時5分鐘56秒，是比較長，掃描中需要病人在掃描床上連續躺5分鐘頭不動，要求蠻高。

用AI技術進行加速之后，就可以在掃描的時候降低采樣的點數，顯著加快掃描速度，然后用AI非常快速地完成影像重建，下面一行可以看到，得到的圖像結果和滿采掃描之下圖像質量是非常一致，而且還間接消除了上述吉布斯偽影。

 

東軟醫療擁有一種非常獨特的頭部MR成像技術叫Smart BrainQuant，可以一站式完成10種對比度MR影像掃描。在常規情況下，如果想獲取這十類對比度圖像，大約需要69分鐘。BrainQuant技術在滿采樣情況下大約需要23分鐘就能得到這樣的圖像，時間明顯壓縮。

而且Smart BrainQuant采用AI技術進行再加速，在k空間降采樣，然后使用卷積神經網絡進行快速重建，就可以實現更快的成像速度，大約需要4分31秒，獲取10種對比度圖像，包括4種常規、4種定量和兩種血管成像，這種速度非常快。

東軟醫療也將這種AI技術應用于心臟電影成像。左側是一個在滿采情況下得到的心臟電影圖像，中間是對它進行6倍加速，右側進行了9倍加速，可以看到圖像質量基本沒有區別，效果非常明顯。

前面我們提到用AI技術進行MR圖像的加速，那么如果我們已經獲得了一定質量的MR影像，能不能用人工智能技術對圖像進行增強得到更加高質量的影像呢？

前面也提到， MR掃描現在基本上都會在k空間降采樣，k空間降采樣不可避免的會帶來圖像的損失，比如說可能會帶來一些吉布斯偽影，在圖像的高對比區域會發生一些信號震蕩。如果我們在k空間進行偽隨機降采樣，會在圖像中引入非相干偽影，通常會采用一些窗函數，來消除這些吉布斯偽影。

但是吉布斯偽影存在于高頻區域，影像中的結構細節存在于高頻區域，在濾波時就會把這些細節一起濾掉，就導致建圖像會產生一些邊界或細節的模糊。對于偽隨機k空間降采樣數據，雖然壓縮感知方法能夠重建出較高的圖像，但時間會非常長。

因此有研究者就提出用深度學習模型對已獲取的低質量、低采樣頻率的 MR影像進行圖像恢復，通過學習MR影像的噪聲以及它的偽影來將偽影從原始圖像中去除。

圖中的模型分別對圖像的實部和虛部建模，然后再將兩部分的圖像的合并、融合，得到最終的高質量影像，這種模型能夠有效地消除卷褶偽影。

MR成像是通過兩通道MR信號同時采集，通過模運算得到重建的MR圖像，每一個通道在采集的時候都會伴隨著一些高斯噪聲，導致最后重建出來的圖像里面的噪聲表現為萊斯噪聲分布，萊斯噪聲與圖像的數據緊密結合，去除非常困難。

有沒有什么辦法能夠在去除這些萊斯噪聲的時候前提下，同時保證我們圖像里面的細節和邊界仍然清晰？ 

圖中是復旦大學幾位老師做的研究，采用了一個多通道的模型來學習影像中的萊斯噪聲分布，為了充分利用這個3D空間的信息，利用多通道、也就是相鄰5層作為輸入，最終得到一個比較好的噪聲去除效果。

傳統高對比度DWI圖像獲取中通常會采用多次激發，之后以平均的方式消除噪聲，最終得到較高信噪比和對比度DWI的圖像，但導致時間成本成倍增加。 

有研究者嘗試使用深度學習模型一次激發信號獲取的高噪聲DWI影像特征，之后將噪聲從圖像中去除，就得到高質量的DWI的影像，效果非常明顯。

前面也提到超聲掃描對操作者掃描手法依賴性非常強，尤其是胎兒檢測中，醫生需要去掃查胎兒的幾個標準切面，這對醫生的操作手法、操作經驗和臨床經驗要求非常高，很多初級醫生可能難以做到，如果可以解決這種困難會讓兒科的這種檢查變得更加容易。

研究者決定用人工智能模型去分析一段超聲掃描電影，從電影里面找到這幾張標準切面的位置，因為電影是連續的，所以為了充分利用電影層間的信息和層內的信息，模型結合了卷積神經網絡和LSTM神經網絡。考慮到數據量是相對有限，又設計了一個多任務的學習的目標，從而加速模型的收斂，最終得到一個比較好的結果。

東軟醫療在精準成像方向的嘗試。

圖中用人工智能技術得到了一個高信噪比的DWI圖像，信噪比提高了兩倍，圖像細節得到了比較好的保留，同時速度也是得到了顯著提高。

用AI技術得到一個高分辨率DWI影像，DWI影像高分辨率重建掃描的時候，容易碰到一個問題是圖像會有一些明顯的變形，用AI技術進行重建，信噪比提高，但是圖像并沒有明顯變形，而且掃描和重建速度相對更快。

東軟醫療也將AI應用于腹部精準成像。

左側是常規成像方法得出的圖像，可以看到圖像里面有非常多的一些條形狀的偽影—吉布斯偽影，傳統的方法很難將它有效去除，即便是能去除也會順便帶來細節的損失。而我們用AI方法進行重建，就可以把這些吉布斯偽影去除，同時去除了運動的偽影，最后得到的圖像里面還對影像細節得到了高度的還原。

CT成像領域著名的原則叫as low as reasonably achievable（在掃描中需要讓CT的輻射劑量盡可能的合理的低）。為什么？因為輻射對人體是有損害的，但是如果直接降低輻射劑量，那么必然會帶來圖像質量的下降。

因此大家采用了很多技術去對輻射劑量進行優化，比如降低kv或者是加光子濾過器，但是這些方法多少會帶來一定的圖像質量損失，很多研究者灌注如何將低輻射劑量圖像的質量提升到常規劑量相當的水平。

比如說圖中這項研究，研究者利用空洞卷積和可訓練的邊緣檢測算子設計了一個低劑量CT去噪模型，直接從低劑量CT中學習一個常規CT劑量的高質量圖像，作者將均方差loss和感知loss結合作為模型的損失函數，從而有效保留了圖像細節。

而且為了保證圖像質量的真實性和細節的完整性，在常規均方差loss函數基礎上加了感知誤差，均方誤差利用的是相同級別的灰度的差異。而感覺誤差就是將預測圖像和原圖像分別進行高維的分析提取，比較其高級語義特征的相似性，從而間接保證學習出來的圖像細節信息具有較高的真實性。

同樣也有研究者將這種方式應用于超低劑量CT圖像優化，并將優化之后的圖像應用于肺氣腫篩查，最后發現用優化之后的圖像做篩查，雖然圖像可能存在一些過度的平滑、喪失一些細節，但是診斷效能和全劑量的CT診斷效能是相當的，而且比低劑量常規重建方法得到圖像的診斷效能提高了很多。

這是一個非常積極的信號，低劑量CT在肺癌、肺氣腫等重大疾病篩查中可以起到很重要的作用；但用CT做篩查，肯定不能讓劑量降低導致圖像質量損失影響醫生讀片，至少不能影響診斷效能。

如果后續多中心大型研究證明，能在這么低的劑量下用AI方法恢復出的圖像獲得與常規劑量相當的篩查效果的話，那么它就有非常大的實用價值。

東軟醫療也將AI方法應用于肺部低劑量CT。

圖中是東軟實際效果圖，在25%的輻射劑量下對肺部進行掃描，可以看到左側是傳統方法重建得到的圖像，圖中里面解剖細節仔細去分辨也能看清楚，但是噪聲水平非常高，真實結構受噪聲的干擾很嚴重，用基于AI重建方法來對圖像進行優化，可以看到噪聲水平得到明顯的抑制，肺部的血管、氣管結構都能夠比較清晰的分辨。

同樣東軟醫療也將 AI低劑量CT重建應用于腹部。

左側是一個40%的輻射劑量下進行的腹部成像結果，可以看到在噪聲水平很高，對肝臟的細節都已經不能分辨，用基于AI的方法進行圖像優化之后，噪聲得到了顯著的壓制。

 

這是一個非常典型的例子，患者腎臟有一個明顯的病灶，但是在這么一張超低劑量掃描、傳統重建方法得到的圖像上無法有效識別病灶。病灶在下圖的圓圈中。 

用AI優化后一目了然。↓ 

東軟醫療也做了CT最常見應用場景——心臟CT。

 

在冠脈CT的掃描中，跟前面不太一樣的是，不但追求輻射劑量的降低，也追求造影劑劑量的降低。相當一部分患者、比如老年人患者可能存在腎臟不耐受，不能使用太高劑量的造影劑，如果造影劑和輻射計量都減低，圖像質量就不可避免的會受到影響。

左圖傳統方法對低劑量掃描進行重建，得到的圖像里面血管充盈明顯有缺損，心肌和心血池的顯示也不夠理想。但用AI重建后，發現血管和心肌顯示都清楚。 

關于這部分成果，東軟醫療與北京協和醫院進行了一項科研驗證，最后發現使用這種AI技術可以在顯著降低輻射劑量和對比劑用量的同時，提升冠脈CTA的主客觀圖像質量以及診斷可讀性。

在DSA引導下的，包括外周血管、腦血管以及冠脈等介入治療中，患者和醫生長時間暴露在X射線之下，劑量一旦積累到比較高的水平就會對醫生和患者產生一定程度的損傷。因此如何降低在介入手術之中輻射劑量也是大家一直以來非常關注的問題，直接降低輻射劑量肯定不行，導致的圖像質量一旦太差的話，就會影響到對手術引導效果。

我們需要對低劑量掃描的時候得到圖像的質量進行優化。

現在已經有研究者對靜態的x光片進行去噪處理，得到了一個還算比較好的去噪圖像。但是在實際使用中X光片是動態拍攝的，它不但有空間產生的噪聲，也會有時間上的噪聲。因此，東軟醫療就設計了一種結合了空域和時域的信息的方法，來對我們動態獲取的x光片進行去噪和改善質量。

為了利用時間上的信息，loss函數不但有前面提到的均方誤差也有感知誤差，還結合了一個描述噪聲水平的時域loss。

這個是實際應用的效果，左側是1/5輻射劑量下得到的DSA影像，用AI對它進行去噪，明顯看到噪聲水平得到顯著抑制，里面的導管、骨骼等結構，都能夠清晰的顯示。

東軟醫療希望未來醫學影像設備像智能手機一樣方便、快捷，這是遙遠的期望，可能需要很長時間實現，但AI讓智能影像掃描工作流程成為一種可能。

智能影像掃描主要包括患者身份識別、智能語音交互、智能患者擺位、掃描區域識別和自動質量控制。涉及到影像掃描工作流程三個痛點，擺位、掃描區域識別和質量控制。

里面涉及到前面說過的影像掃描工作流程中三個痛點問題：擺位、掃描區域識別和質量控制。通過智能掃描工作流，我們能夠進一步的降低師和護士的一些重復勞動，這樣能夠有效的提高醫院患者的流通量，同時提升患者就醫體驗，且能夠進一步的提高不同醫師采集不同或者同一患者影像數據時的一致性。

通過自然圖像人體區域識別技術來完成患者各種擺位。圖中研究利用3D深度攝像頭對掃描床上患者掃描，可以進一步分析患者空間位置，床位置，自動選擇合適床高度和進入機架進深。 也有研究者對獲取的定位圖像分析，識別解剖結構。根據識別解剖結構就準確圈出掃描位置，實現FOV選擇。

東軟醫療在流程自動化方面做了很多的嘗試并得到初步的成果，比如已經在CT上實現了肺部、脊椎、以及腹部的定位像的自動分析和相應的FOV的自動選擇。

在MR上東軟醫療實現了頭部、脊柱、膝關節和頸椎的FOV自動選擇。不論是患者的什么樣的姿態或者是胖瘦，都能夠在0.5秒內完成 FOV的選擇，而且不改變現在任何的影像掃描流程，非常方便醫生和技師使用。保持影像掃描的一致性，對于那些可能需要長期隨訪對比的患者來說，每一次掃描他們的圖像的姿態、位置都保持一致，這樣就非常有利于醫師對比每一個不同時期上的影像，這樣更加有利于發現疾病的變化。

掃描工作流程的第3個痛點是圖像的質量評估，這與放射科的工作流程的特殊性是有關系的，前面也提到，放射影像分為掃描技師和審查醫師兩個角色，掃描技師完成圖像掃描、和后面的影像閱讀、報告撰寫在時間上是不連續的。一旦患者完成掃描離開掃面間，在讀片環節才發現圖像質量問題，需要重新進行掃描的話，會帶來時間和金錢的浪費，甚至會延誤疾病的診斷和治療。

我們希望在掃描完及時判斷影像是否滿足要求，現在技師掃描完會瀏覽一遍影像，可能會涉及幾百上千張圖像，工作量大，會影響掃描速度和效率。

為了解決這個問題，研究者嘗試用AI直接對圖片質量判斷。例如這篇去年的文章，作者嘗試用人工智能模型判斷彌散圖像偽影。

右側是6種比較常見的偽影。醫學影像和自然圖像不太一樣，很難獲取到像自然圖像幾萬幾千或者是幾十萬量級的帶有偽影和正常圖像的數據。所以作者就將自然圖像訓練的權重直接遷移到模型的訓練中來。這些偽影有些在橫斷面內表現的比較明顯，所以分別設計了兩個模型：一個是矢狀面模型，一個是橫斷面模型來對影像進行判斷，最終能夠有效地識別帶有偽影的圖像。

目前，東軟醫療已經實現CT肺部和頭部圖像質量控制，之后在1.5T磁共振上實現了腦部圖像質量判斷，提高圖像質量控制效果，減少病人返回拍攝圖像可能性。

總結起來，東軟醫療基于人工智能平臺NeuAI實現了更快速掃描、更精準圖像、更安全資源獲取和更流暢工作流程，并且能夠更加可靠地保證我們獲取的影像質量。

東軟醫療在專科化方向、重大疾病上進行了一些AI的應用探索。

東軟醫療首先將人工智能應用在了急性的腦卒中的影像評估上。我國腦卒中防治目前面臨著非常巨大的挑戰。腦卒中是我國成年人致死致殘的首位病因，而且發病率和致死率都非常高，到目前我國的發病率仍在逐年上升。

腦卒中占我國居民死亡率比例也較高，每5位死亡者中至少有一位死于腦卒中，醫療費用也在逐年上漲，隨著我國的老齡化問題加重，未來會更加凸顯。

腦卒中是什么？它特指一種急性的腦血管病，是急性發病的局灶性的血管源性神經損傷，癥狀為持續24小時以上或死亡，排除了其他的非腦血管病病因。這里面急性的缺血性腦卒中占百分之七八十；出血可能低一些，占百分之二三十或在我國可能更高一些。在這些急性缺血腦卒中臨床中，如何對患者進行快速的精確診斷和分析評估，以及及時的干預和治療，是能夠影響患者預后的關鍵。

目前臨床中的診療流程主要是途中這個樣子：

患者自行就醫或者通過120送到醫院之后，臨床醫生首先對他進行一些臨床評分、評估運動功能，然后進行急診常規影像檢查，來排除這個人是不是出血或者其他的類卒中病變。確認這個人是缺血之后，再根據其他的影像指標來制定不同治療方式。現在臨床中急性缺血卒中主要是有三種治療方式：標準內科治療（比較保守）；溶栓治療；取栓治療（積極的進行血管開通）。

統計數據顯示，我國發病6小時以內入院患者不足6%，我們需要對這1小時患者更加嚴格的影像評估，來決定適合哪種治療方式。

這些影像掃描會包括什么呢？

首先需要對患者進行血管成像，醫生需要知道患者哪一個部位的血管閉塞了。如果患者已經超過了6小時時間窗的話，就需要進行進一步的組織窗評估。組織窗評估目前主要是通過灌注影像進行。

缺血性卒中治療中存在的問題。

1. 診療水平和臨床經驗不足。高端醫院雖然有高端影像設備，但并不能被充分使用、價值尚待挖掘。

2. 影像分析效率與準確度難以保證。目前，大部分醫院并沒有智能分析軟件幫醫生分析，主要是通過手術方式測量，效率難以保證，或通過主觀判斷，這樣的話就缺乏一個量化指標，準確度就更加難以保證。

3. 醒后卒中發病時間難以確認。很多患者可能是睡眠中發病，不能明確知道發病時間，只能以最后正常作為發病時間，但這樣信息作為決策依據肯定不準確。

4. 治療風險難以評估。并不是所有患者都接受積極性治療方案，所以在治療之前需要對患者評估，是否有比較嚴重出血轉化風險，方法是對患者微出血點評估，但并沒有可靠的軟件，評估過程緩慢而且困難。

那么什么是組織窗評估呢？

組織窗評估

我們知道腦組織是通過腦動脈血管來供應的，一旦腦動脈發生閉塞之后，它所供應的腦血管區域就會發生缺血，然后發生一些組織的壞死，腦細胞的壞死，甚至再時間長了之后就會有大片的組織壞死，形成一個梗死的一個聚集區域。這些細胞已經不可挽救，所以被稱為一個梗死核心區。

那么為什么會有這樣一個缺血半暗帶存在？

這是因為腦血管的復雜性決定的。雖然說對這一部分組織進行直接供血的血管閉塞了，但是組織周圍的一些血管可以代償性的為當前組織提供供血。所以就有了這缺血半暗帶的形成。

臨床中希望患者的缺血半暗帶足夠大，同時梗死核心區足夠小，這就意味著患者能夠很大概率的從取栓和溶栓治療中受益。

那么什么是灌注呢？

灌注是指血流通過毛細血管網，將它所攜帶的氧和營養物質輸送給組織細胞，它存在于正常組織和病變。這種毛細血管中的血液的流動，使得灌注成像成為可能。灌注成像是可以反映組織微血管分布和血流灌注情況的成像方式，被廣泛用來評估腦組織血流動力學參數，例如CBF等。

實際上怎么做的呢？

通過靜脈快速注射造影劑，然后在選擇的層面上連續的拍攝一些 CT或者MR影像，這些影像上的信號強度就反映了它的組織密度隨時間變化。也就是說我們可以監察每一塊組織在每一個時間點上的造影劑的聚集濃度。通過一些在灌注圖像的一些解算，就可以得到能夠更加直接反映這些腦組織血流動力學功能的一些參數，比如說腦血流量、腦血容量、Tmax等。

在解算過程中有幾個比較重要的環節，其中一個是動脈輸入函數的選擇，我們需要知道哪一根血管是對我們所關注的腦組織進行供血的。另外得到參數特征圖之后，需要根據這些信息來求解和分割梗死核心和缺血半暗帶，這也是另外一個技術核心。

目前這些梗死核心和缺血半暗帶的測量，基本上都是通過人工化進行的，比較費時，而且也有很大的主觀依賴性。因此東軟醫療就開發了NeuBrain care軟件，可以自動完成灌注影像分析，得出缺血半暗帶和梗死灶的核心定量指標。

這是CT灌注圖測試結果，在處理過程中能準確找到動脈輸出函數位置。與傳統方法不同，東軟采用了深度學習模型。

一個卷積分割模型把血管束尋找出來，然后再找到定位到合適的血管的位置，這樣就能夠幫助我們進行更加精確的進行灌注圖像的分析。

我們怎么得到梗死核心和缺血半暗帶？

用病側的這一個CBF值和對側健康的這邊做比較，如果低于30%，那就認為是梗死核心區域。在TMAX上時間大于6秒的區域，就認為是低灌注區域。低灌注區域是包含了前面提到的缺血半暗帶以及梗死核心區域。

然后根據我們算出的一些參數，比如說梗死核心區域小于70毫升，低區與核心梗死區不匹配比大于1.2或1.8，同時嚴重低灌注區域在100毫升以內，就認為這個患者是適合接受血管內治療的。

點CT定量分析結果示意圖

這是一個點CT 定量分析的一個結果示意圖。我們直接把這個結果呈現給臨床醫生，醫生就可以很快做一個比較精準的決策。

MR分析與前面的CT比較相似，唯一不同的是梗死核心區域在MR分析中并不是基于CBF計算，而是采用DWI的高信號區域，就是ADC小于620的區域，簡單地用閾值進行梗死核心區域做分割肯定會引入一些噪聲。

所以我們利用深度學習方法進行分割，以人分割的結構作為標準，來對 ADC上的梗死核心做一個自動分割。我們進行了簡單測試，發現與專家標注結果的一致性達到基本上達到100%。

這是一個MR的測試結果。

我們通過將AI整合急性缺血卒中患者圖像分析過程，實現全自動分析過程，而且把產品掛接在影像云，醫生可以將圖像上傳到云端，很快就可以返回分析結果。

前面也提到我們需要在治療結束之前評估患者的出血轉化的風險，怎么做？

一個比較有潛力的方法評估微出血點，利用患者的SWI影像進行評估。但是微出血點一般是體積比較小，一般是3~20毫米的尺寸，而且很多患者腦中分布比較分散，所以人工去做分割、去統計，這工作量非常龐大，基本上不太可行。

因此我們用數據信息模型對這個出血灶數據點進行分割，分割完之后對它進行相應的自動統計，看它的位置、數量、體積。這樣的好處在于根據統計報表，醫生就可以定量的分析這位患者是不是有一些治療之后的出血風險。

典型病例，女，63歲，因為左側肢體弱之后入院。因為在8小時以外，所以就很快磁共振檢查，發現其Mismatch比例在4.4左右，也就是十分適合做取栓治療，在4天后，基本上就可以自行步行出院，治療效果理想。

目前，國內新冠肺炎已經控制比較好，但國際上仍然洶涌。

新冠肺炎傳染性強、致死率高，早發現、早隔離是比較好的手段。但確診依賴于核酸檢測，檢測方法特異性強，敏感性差，CT就發揮了重要的作用，對早期診斷和篩查起到補充。

大量CT影像早期篩查和診斷會給醫生帶來龐大的工作量，反而不利于所以控制疾病的蔓延和患者的及時治療。

東軟醫療在這方面有一些比較好的優勢，我們很早就推出了自主研發的全身車載CT，而且也有自己的一個智能影像云平臺NeuMiva。而且我們跟鐘南山院士的團隊成立了呼吸影像大數據與人工智能應用聯合實驗室。

在疫情爆發之后，東軟醫療很快就組建了新冠CT、AI項目組。在7天時間內聯合吉大一醫院、武漢市一醫院專家們完成了第1版產品的研發和發布，到目前為止已經在全國的五六十家醫院、60多家醫院進行安裝使用，包括了武漢的洪山體育館方艙醫院和武漢的雷神山醫院。

技術路線相對比較簡單，我們針對新冠肺炎影像的特殊性（因為我們基本上都是確診數據），設計了一個基于3D和2D混合卷積的一個網絡對病灶進行分割。再結合我們已經有的肺分割和肺葉分割的模型，就可以對肺炎的病灶進行定量分析。

目前功能就是檢測新冠肺炎相關典型征象，例如，磨玻璃影質、實性病變以及索條等，可以提示醫生患者是否有新冠病毒感染風險，在短時間內完成病例檢查。數據因為自于一線醫院真實數據，所以結果在同類對比中相當準確。

目前產品有兩種部署方式：

第一種，是部署在東軟醫療后處理工作站AVW，通過本地部署方式，只要把AVW升級就可以實現。

第二種，搭載于東軟NewMiva，智能醫學影像云平臺。

火眼AI的云端的版本界面示意圖

火眼AI本地版的示意圖 

本地版和云端版各有優劣。

本地版因為是院內部署，所以圖像傳輸速度和檢測速度相對更快，信息數據更安全，但對硬件的配置有一定要求，而且更新性慢。

 云端版是自行更新，迭代會比較快，對設備要求低，普通電腦和手機都可以使用，也可以發起遠程醫療會診，但受網絡速度影響。

人工智能影像平臺可以為新冠做更多，3月20號發表的一篇文章顯示，新冠肺炎不同的發展階段，影像有各自特點。

在早期，是多發或散發磨玻璃影，多分布于胸膜下、葉間裂下或支氣管血管束分布；

在進展期，病灶增大，出現不同程度的實變；

在重癥期，雙肺發生彌漫性病變面性改變，嚴重會出現白肺；

在轉歸期，神經病變或磨玻璃基本都會被吸收。有的病人會出現纖維條索。

 意味AI在影像篩查、診斷、分析以及各個環節都發揮著重要作用。

這一篇是比較早的預印本文章，還沒有正式發表，通過深度神經學習網絡對患者區分，看到底是新肺炎患者，還是普通流感患者。

收集了110位核酸陽性患者和224位普通流感患者，以及175位的健康患者，對他們2D圖像逐層檢測，之后對患者多張2D圖像投票，確定患者到底是哪一種疾病，最終達到86.7%分類準確性。

也有研究者嘗試這種模型對患者診斷，區分新冠肺炎患者和其他疾病患者。數據量相對少，只有51位新冠肺炎確診患者和55位其他患者，模型是基于2D。測試集只有前瞻性數據27位患者，但效果值得我們進一步數據驗證。

這是一篇最近3月19號發表的文章，它是截至目前深度學習相關的文章里面數據量最大的一篇。

收集了1296位新冠肺炎確診患者，相關社區獲得性肺炎確診患者1735位，以及1325位非肺炎的患者圖像。將數據按9：1分為訓練集和測試集，去訓練一個分類神經網絡，然后判斷患者到底是新冠肺炎還是社區獲得性肺炎還是沒有肺炎，最后結果尤其敏感性也是比較可觀的。

新冠肺炎分類敏感性90%，特異性96%，為了提高模型可解釋性，還使用熱力圖體現模型關注點。最后發現新冠肺炎患者影像關注點是在貼近胸模的病灶，而社區型肺炎關注點在位于肺部的中央區域，那些非肺炎、也不是新冠肺炎的患者，圖像上并沒有聚焦關注點。

更早時候，國外研究者也嘗試用AI模型建立病灶衡量模型，通過對比不同掃描、不同隨訪獲取的實體影像動態觀察病灶病變，從而幫助醫生評估影像疾病發展。但這項研究訓練集都是5~10毫米，跟新冠肺炎實情不太一樣。新冠肺炎建議是薄層影像，因為很多潛在磨玻璃影在厚層影像是看不到，這也是研究需要注意的問題。

也有研究者收集臨床信息建立預后分析模型，模型里面沒有涉及影像信息，經過特征實驗篩選后，發現有三個特征較好預測性能。包括乳酸脫氫酶、淋巴細胞以及高敏感性c反應蛋白，對患者生存率和死亡率預測，發現precision（精密度）高。

總結起來，人工智能模型可以用于整個醫學影像鏈。從圖像獲取、成像環節到圖像應用的處理環節、輔助診療環節以及存儲傳輸環節都可以得到應用。

經驗看來，醫學影像和AI結合有其特殊性。

 1、數據獲取的困難，醫學影像和自然圖像領域不一樣，雖然數據大，但數不等于大數據，這一次深度學習有效，是因為能獲取很多大數據。雖然影像數據量也隨著時間在累積，但分布在不同病種、不同部位、不同醫院等，所以當想做具體應用的時候，很難針對具體應用去獲取大批量數據，上萬、上千是比較難的，尤其是需要精準標簽的時候。

另外問題是疾病復雜性和不確定性。例如，新冠肺炎，最大的特點就是具有同病異影和異影同病問題，如果沒有核酸作為金標準，很難確定肺炎CT數據到底新冠肺炎還是其他肺炎。

考慮判斷主觀性，例如我們提到的AI質量控制，但判斷圖像是否滿足診斷需求，醫生有很大主觀性的。A醫生認為圖像質量差，不能診斷，但B醫生認為沒問題，可以精準診斷。如果用不同醫生做數據標注之后模型訓練，結果肯定有問題。

2、醫學問題的專業性，用深度學習網絡CT、MR的重建加速，也可以直接把自然圖像領域模型遷移，但圖像質量肯定不好。所以在模型設計階段，結合傳統 MR和CT成像理論，將神經網絡技術應用進去，得到比較好結果，也可以進一步提高模型可解釋性，例如，在設計 MR 的AI重建，數據重建后都加k空間數據保真層，也提示我們數據結果可靠的原因。

3、臨床場景的重要性。AI是一個強大工具，但并不能一下解決所有問題。卒中影像分析，AI只能在其中某幾個重要環節起到作用；但灌注圖像的解算，還是用傳統方法，有研究者直接把持續多個時間點圖像輸入到模型，直接學習梗死核心和缺血半暗帶。首先樣本肯定相對局限，之后將模型應用到新數據，泛化能力也明顯不理想。

還有肺結節，很多公司都推出肺結節AI。它在局限場景下，例如去做大批量肺癌影像篩查，幫醫生很快篩查出風險患者，這是非常有用的，但醫生用于日常工作中，分析普通病人胸部影像，會漏掉很多沒有學過的病灶，需要針對性設計完整解決方案。

總結來看，醫療人工智能在臨床價值已經得到初步印證，而可能存在的問題我們已經得到認識，法律法規也逐漸健全。我相信在未來，醫療影像能夠得到非常快速的發展。

本文來源：東軟醫療人工智能與臨床創新研究院總監  楊明雷 博士

雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。