中科院團隊用人工智能進行3D大腦重建，加速醫(yī)療手術自動化
中科院團隊用人工智能進行3D大腦重建，加速醫(yī)療手術自動化
3D 形狀重建對于微創(chuàng)和自動機器人引導手術的導航至關重要，這些手術的操作環(huán)境是間接和狹窄的。學界并且已經(jīng)有一些研究專注于通過可用的有限 2D 信息重建手術器官的 3D 形狀，但已有的方法未考慮術中突發(fā)事件（如出血）。
中國科學院深圳先進技術研究院（SIAT）王書強教授領導的研究團隊提出了一種新穎的分層形狀感知網(wǎng)絡（HSPN），可以低延遲從單個不完整圖像重建特定大腦的 3D 點云（PC）。該團隊構建了一個分支預測器和多個分層注意管線，來生成準確描述不完整圖像的 PC，然后高質量完成這些 PC。使用 HSPN，可以自發(fā)地實現(xiàn) 3D 形狀感知和完成。
該研究以「3-D Brain Reconstruction by Hierarchical Shape-Perception Network From a Single Incomplete Image」為題，于 2023 年 5 月 11 日發(fā)布在《IEEE Transactions on Neural Networks and Learning Systems》。
醫(yī)療自動化對傳統(tǒng)醫(yī)療信息提出新要求
微創(chuàng)和自動機器人引導手術逐漸應用于腦外科手術，為患者帶來更多的微創(chuàng)手術、更短的恢復時間和更好的治療體驗。由于這些手術新的視覺環(huán)境和導航方式，對術中信息的獲取能力提出了新的要求。由于醫(yī)生在手術過程中無法直接觀察到病灶和手術靶點，因此他們的經(jīng)驗往往效率不高。
近年來，術中核磁共振成像（iMRI）的應用越來越廣泛，一些工作用它來緩解微創(chuàng)手術中更嚴格的視覺限制。但與大腦豐富的內(nèi)部細節(jié)不同，2-D MRI 無法提供對手術更為重要的目標大腦表面和形狀的直觀且視覺上可接受的信息。由于直接計算 3D MRI 的空間復雜度為 O(n^3)，因此在需要實時算法的操作中使用它來感知目標大腦的形狀也是不可取的。
更重要的是，由于3D MRI 表示不能直接與大腦坐標位置相關聯(lián)，醫(yī)生必須手動輔助手術導航，從而降低了手術導航系統(tǒng)的自動化程度。這兩個事實共同導致了腦部微創(chuàng)和自動機器人引導手術視覺支持的匱乏。因此，尋找一些準確可控的間接三維形狀信息獲取方法是這類手術的必然發(fā)展方向。此外，由于傳統(tǒng)掃描儀和醫(yī)療環(huán)境的局限性，這些方法應該減少對物理設備的依賴和對傳統(tǒng)信息的要求。
從圖像重建三維形狀
已經(jīng)有一些工作專注于從圖像重建 3D 形狀，以幫助醫(yī)生獲得額外的視覺信息。PC 通常用作重建結果的表示。點云（PC）表示為 3D 空間中的一組點，使用 N 個頂點來描述目標。除了提供準確的目標形狀外，PC 表示還攜帶每個點的局部位置坐標信息，可用于醫(yī)療機器人和設備的自動導航。在目前的設計模式下，如果在手術場景中需要實時獲取目標的3D結構，3D MRI、體素、網(wǎng)格、PC是常用的解決方案。
3D MRI 的空間復雜度太高，以3D MRI 作為數(shù)據(jù)輸入的配準、診斷、分割等方案的實時性對于手術場景來說將是無法接受的。體素和網(wǎng)格的空間復雜度也高于PC，而且這些數(shù)據(jù)結構也存在精度問題。如果手術場景需要 3D 補充信息，PC 重建是更好的選擇。因此，繼續(xù)選擇 PC 作為腦外科場景的重建表示是一個合理的建議。
然而，大多數(shù)現(xiàn)有方法都存在以下兩個問題中的至少一個。首先是他們忽略了用于形狀重建的圖像往往不完整并且受限于光學傳感設備的光環(huán)境和手術計劃之外的各種可能的視覺污染（例如局部出血）而損壞。二是他們對輸入圖像的數(shù)量和角度要求太嚴格。輸入太多的重建方法可能會導致處理時間更長，從而增加術中事故的風險。到目前為止，還沒有人致力于在保持精度的同時解決 3D PC 重建中存在的這兩個問題。這篇文章的主要目的是找到一種方法，可以從盡可能少的潛在不完整圖像中感知和重建目標的形狀。
高效完成三維形狀重建任務的新方法
為了從單個不完整圖像中的不完整圖像重建準確完整的 PC 結構，研究人員提出了一種基于生成對抗架構和多層編碼器-解碼器結構的新型復合模型，稱為分層形狀感知網(wǎng)絡 (HSPN)，以高效完成 3D 形狀重建任務并盡可能滿足腦外科手術場景的特定需求。
圖示：模型的體系結構。（來源：論文）
HSPN 的編碼器由一個基于生成對抗網(wǎng)絡 (GAN) 架構的預測器和幾個 PointNet++ 編碼塊組成，而解碼器由多層解碼塊組成。在相應的編碼和解碼塊之間構建可以傳輸提取的特征信息的分層注意力管道。
一種包含多個圖卷積網(wǎng)絡（GCN）的新型分支生成器內(nèi)置于預測器中，可從單個不完整圖像準確生成不完整 PC。編碼塊及其對應的結構一致性解碼塊分層感知目標的形狀，重建完整的PC，并確保不同的重建級別可以由相應的形狀結構引導。
此外，他們在編碼和解碼塊中設計了注意門塊（AGB），以有效地聚合由分層注意管道傳輸?shù)牟煌暾c云的局部幾何特征和重建點云的內(nèi)部特征。AGB 的使用可以顯著提高細節(jié)表達能力，同時減少生成錯誤并增強穩(wěn)定性。
通過提出的 HSPN，可以自發(fā)地實現(xiàn) 3D 形狀感知和完成。通過倒角距離和點云到點云（PC 到 PC）誤差測量的綜合結果表明，所提出的 HSPN 在定性顯示、定量實驗和分類評估方面優(yōu)于其他競爭方法。
「所提出的方法具有明顯較短的推理時間，可以有效地實時反饋局部圖像屬性?！雇踅淌谡f，「這種反饋可以指導醫(yī)生找到具有診斷價值的手術位置?！?/div>
我要收藏
點個贊吧
轉發(fā)分享
微信"掃一掃"，分享轉發(fā)
咨詢詳情：如需咨詢文中涉及的相關產(chǎn)品或解決方案詳情，請加微信：ZiDongHuaX 。
微信聯(lián)盟：中科院微信群、人工智能微信群、醫(yī)療手術自動化微信群、機器人微信群，各細分行業(yè)微信群：點擊這里進入。
鴻達安視：水文水利在線監(jiān)測儀器、智慧農(nóng)業(yè)在線監(jiān)測儀器 查看各品牌在細分領域的定位宣傳語
微信聯(lián)盟：中科院微信群、人工智能微信群、醫(yī)療手術自動化微信群、機器人微信群，各細分行業(yè)微信群：點擊這里進入。
鴻達安視：水文水利在線監(jiān)測儀器、智慧農(nóng)業(yè)在線監(jiān)測儀器 查看各品牌在細分領域的定位宣傳語
評論排行