MicroNeuro微創(chuàng)腦手術(shù)機(jī)器人展示。

延伸醫(yī)生的手、眼、腦

澎湃科技：能否介紹一下中科院香港創(chuàng)新院人工智能與機(jī)器人創(chuàng)新中心目前從事的研究？

劉宏斌：目前主要聚焦醫(yī)療健康領(lǐng)域，包括基于AI的腦手術(shù)現(xiàn)實(shí)增強(qiáng)及導(dǎo)航技術(shù)、Embodied AI多模態(tài)手術(shù)大模型、未來具身智能手術(shù)室以及MicroNeuro微創(chuàng)腦手術(shù)機(jī)器人。其中未來具身智能手術(shù)室是較為長遠(yuǎn)的總體目標(biāo)，將集成創(chuàng)新中心各類人工智能、機(jī)器人技術(shù)。

MicroNeuro是國際上第一個(gè)用于微創(chuàng)神經(jīng)外科的柔性機(jī)器人系統(tǒng)。腦外科醫(yī)生可以操作機(jī)器人到達(dá)腦部深處，并進(jìn)行穩(wěn)、準(zhǔn)、可見的智能化微創(chuàng)手術(shù)，同時(shí)將腦組織損傷降低50%以上。MicroNeuro還集成了AI多模態(tài)手術(shù)大模型，能夠在手術(shù)過程中實(shí)時(shí)融合視覺、觸覺等多模態(tài)信息，協(xié)助醫(yī)生對手術(shù)場景進(jìn)行實(shí)時(shí)推理判斷。該模型不止有語言功能，還有分析實(shí)時(shí)影像信息的多模態(tài)能力，比如內(nèi)窺鏡超聲等功能模塊已經(jīng)集成到了大模型里，專門面向手術(shù)垂直應(yīng)用領(lǐng)域。

澎湃科技：如何解釋未來具身智能手術(shù)室的概念？

劉宏斌：未來具身智能手術(shù)室是一個(gè)集成性的概念，現(xiàn)在的手術(shù)室只是醫(yī)生做手術(shù)的空間，但未來的手術(shù)室其本體可能就是一個(gè)機(jī)器人，或者說一個(gè)智能的技術(shù)集合體。它的組成部分包括：微創(chuàng)手術(shù)機(jī)器人，是醫(yī)生手的延伸；各種各樣的成像設(shè)備，比如內(nèi)窺鏡、手術(shù)室監(jiān)控?cái)z像頭、超聲等實(shí)時(shí)影像設(shè)備，是醫(yī)生眼睛的延伸；AI大模型，部署在一個(gè)邊緣計(jì)算系統(tǒng)上，是醫(yī)生大腦的延伸。

澎湃科技：未來具身智能手術(shù)室目前發(fā)展情況如何？

劉宏斌：目前仍在起步階段，由于技術(shù)限制，沒辦法將所有技術(shù)集成在一個(gè)真正的手術(shù)室中，但很多子模塊的功能已經(jīng)開始實(shí)施。

其中有手術(shù)大模型Embodied AI在神經(jīng)內(nèi)鏡方向的應(yīng)用，現(xiàn)在已經(jīng)與香港威爾士親王醫(yī)院的神經(jīng)外科合作。在手術(shù)的過程中，AI可以比較準(zhǔn)確地得出智能診斷建議，還可以對手術(shù)器械進(jìn)行跟蹤、對不同的解剖學(xué)結(jié)構(gòu)進(jìn)行辨識。對于AI大模型，醫(yī)生們的反饋也很積極，未來不只是一個(gè)醫(yī)生、一名護(hù)士受益，具身智能手術(shù)室將擁有增強(qiáng)一整個(gè)醫(yī)療團(tuán)隊(duì)手術(shù)水平的能力。

澎湃科技：MicroNeuro微創(chuàng)腦手術(shù)機(jī)器人的特點(diǎn)是什么？取得了哪些突破？

劉宏斌：該手術(shù)機(jī)器人系統(tǒng)性的突破主要體現(xiàn)在兩方面，首先是對微小且柔軟器械的精準(zhǔn)控制。比如，如何保證其在狹窄的空間里拐急彎時(shí)不失控。這一問題看起來很容易解決，但要想保證操作又穩(wěn)又準(zhǔn)又靈活，實(shí)際上涉及到非常復(fù)雜的算法。

第二點(diǎn)突破在于技術(shù)間的結(jié)合，將手術(shù)大模型與機(jī)器人相結(jié)合能夠有效幫助醫(yī)生在高度緊張的情況下順利完成腦手術(shù)。做腦手術(shù)的一個(gè)痛點(diǎn)就在于，即使是經(jīng)驗(yàn)非常豐富的醫(yī)生也很容易緊張，可能忘掉下一步該做什么。而通過AI大數(shù)據(jù)模型，醫(yī)生可以讓機(jī)器輔助他判斷目前的手術(shù)到了哪一階段，有哪些需要注意的事項(xiàng)，進(jìn)行實(shí)時(shí)提醒。

此外，增強(qiáng)現(xiàn)實(shí)技術(shù)和機(jī)器人的結(jié)合也很重要，這里我需要特別提及一下，為什么神經(jīng)外科的手術(shù)機(jī)器人發(fā)展相比腹腔鏡機(jī)器人比較緩慢，其中很重要的原因就是神經(jīng)外科是一個(gè)高風(fēng)險(xiǎn)手術(shù)，容錯(cuò)率非常低。

進(jìn)入腦中做手術(shù)，醫(yī)生沒辦法通過肉眼來判斷機(jī)器人的交互情況，整個(gè)手術(shù)過程中只能看到前端內(nèi)窺鏡傳回來的畫面，視野極小，但深入腦部的器械全程都在腦組織進(jìn)行接觸，這就需要非常精準(zhǔn)的導(dǎo)航和增強(qiáng)現(xiàn)實(shí)技術(shù)彌補(bǔ)。我們的機(jī)器人又是一種可彎曲的柔性結(jié)構(gòu)，對導(dǎo)航系統(tǒng)的要求就更高。增強(qiáng)現(xiàn)實(shí)技術(shù)可以為醫(yī)生呈現(xiàn)三維建模的仿真畫面，還可以使用AI算法識別人體解剖學(xué)結(jié)構(gòu)，從而在虛實(shí)結(jié)合的狀態(tài)下進(jìn)行手術(shù)。

去年開始，我們已經(jīng)在威爾士親王醫(yī)院做預(yù)臨床手術(shù)實(shí)驗(yàn)，進(jìn)行了三次尸體實(shí)驗(yàn)，且成功率很高。通過這種預(yù)臨床實(shí)驗(yàn)的模式，證明了與我們合作的醫(yī)生陳達(dá)明主任的一個(gè)想法，即現(xiàn)在很多需要開兩個(gè)顱骨上骨瘡的腦手術(shù)，通過微創(chuàng)機(jī)器人，可以簡化至只鉆一個(gè)小孔就能完成。相較于傳統(tǒng)方式，對腦組織的損傷可降低一半以上，且機(jī)器人的安全性、可靠性也已經(jīng)得到驗(yàn)證。

增強(qiáng)現(xiàn)實(shí)技術(shù)可以為醫(yī)生呈現(xiàn)三維建模的仿真畫面，還可以使用AI算法識別人體解剖學(xué)結(jié)構(gòu)，從而在虛實(shí)結(jié)合的狀態(tài)下進(jìn)行手術(shù)。

如何保護(hù)病人的隱私？

澎湃科技：Embodied AI手術(shù)大模型是如何開發(fā)出來的？具體能起到什么作用？

劉宏斌：我們中心由中科院自動(dòng)化所領(lǐng)導(dǎo)，很多研發(fā)和自動(dòng)化所協(xié)同進(jìn)行，因此我們所使用的基礎(chǔ)大模型是“紫東·太初”（注：中國科學(xué)院自動(dòng)化研究所開發(fā)的多模態(tài)大模型）。

我們的手術(shù)垂直模型，除了使用公開的醫(yī)療數(shù)據(jù)庫訓(xùn)練，還針對手術(shù)進(jìn)行了專門的訓(xùn)練，比如手術(shù)教科書、手術(shù)科研資料、手術(shù)論文，整理了大約有200G的語料?！白蠔|.太初”是多模態(tài)大模型，所以我們還使用了大量標(biāo)注過信息的手術(shù)視頻進(jìn)行跨模態(tài)訓(xùn)練。

目前大模型在手術(shù)過程中可以幫助醫(yī)生看得更清楚，還可以給醫(yī)生做一些提示指導(dǎo)，包括在手術(shù)過程中判斷某些操作是不是符合流程規(guī)范。但是目前AI還不能自己做判斷。

澎湃科技：目前手術(shù)大模型在應(yīng)用過程中遇到了什么問題嗎？這些問題在醫(yī)療領(lǐng)域會不會產(chǎn)生嚴(yán)重后果？

劉宏斌：首先是大模型本身的技術(shù)瓶頸，比如有時(shí)候模型會出現(xiàn)“幻覺”，還有就是模型的算力不強(qiáng)。

醫(yī)療領(lǐng)域需要避免這些問題，所以我們在手術(shù)大模型上外掛了一個(gè)專家知識庫，對于AI來說，如果遇到特項(xiàng)手術(shù)會優(yōu)先調(diào)用專家知識庫中的信息。此外，AI做出的判斷會由一個(gè)醫(yī)生進(jìn)行最終判定。就目前大模型的水平來說，仍然需要真人把控。

澎湃科技：是否涉及病人的數(shù)據(jù)隱私？

劉宏斌：我們在訓(xùn)練模型的時(shí)候，數(shù)據(jù)是經(jīng)過脫敏處理的，對于醫(yī)療行業(yè)來說，我們有一個(gè)原則，疾病以及其在患者身上的表現(xiàn)的數(shù)據(jù)是可以用的，但絕對不能出現(xiàn)通過數(shù)據(jù)追溯到某個(gè)人的情況，打斷這個(gè)追溯的鏈條非常重要。

澎湃科技：數(shù)據(jù)難流通是否是目前AI醫(yī)療大模型面臨的問題？是否會帶來模型偏見？

劉宏斌：對于AI來說，肯定是高質(zhì)量數(shù)據(jù)越多，性能越穩(wěn)定，多樣性越好，可靠性越高。數(shù)據(jù)分享很重要，某些罕見病從人口基數(shù)上來看確實(shí)很罕見，但對于擅長專項(xiàng)治療的醫(yī)院，可能就不那么罕見了。一個(gè)四五線城市，某些特殊的口腔癌一年最多就兩個(gè)病例，但要去到湖南，到長沙湘潭醫(yī)院，一年幾千個(gè)病例都有可能。

我覺得數(shù)據(jù)的分享問題需要從政府層面推動(dòng)監(jiān)管，還要讓醫(yī)院有動(dòng)力來分享，醫(yī)院在提供數(shù)據(jù)后，訓(xùn)練的模型提高了他們的工作效率，實(shí)現(xiàn)了好的手術(shù)效果，他們才會更樂意去分享。

什么是AI全流程數(shù)字化？

澎湃科技：醫(yī)療領(lǐng)域引入AI是否會帶來更多醫(yī)療糾紛問題？

劉宏斌：我覺得引入AI就是為了解決這些問題。很多醫(yī)療糾紛源自于，醫(yī)生按照流程合規(guī)進(jìn)行手術(shù)，但“空口無憑”，很多患者、患者家屬并不相信，帶來很多矛盾、分歧。

但引入AI后，手術(shù)全流程數(shù)字化，每一項(xiàng)操作都有記錄，實(shí)現(xiàn)透明化，對于醫(yī)患雙方都是一個(gè)很好的保護(hù)。

澎湃科技：全流程數(shù)字化的醫(yī)療過程是什么樣的？

劉宏斌：第一個(gè)環(huán)節(jié)，患者把自己的一些癥狀告訴醫(yī)療機(jī)構(gòu)，然后醫(yī)療機(jī)構(gòu)分流至醫(yī)院，醫(yī)生看病例，然后通過病例來判斷是否要手術(shù)，進(jìn)行什么類型的手術(shù)。

在這個(gè)過程中AI起輔助作用，如術(shù)前的一些檢查，拍CT、核磁、化驗(yàn)血等，可使用多模態(tài)大模型對醫(yī)學(xué)影像、檢驗(yàn)報(bào)告進(jìn)行分析。

然后AI可進(jìn)行手術(shù)規(guī)劃，這也是醫(yī)療元宇宙的概念，使用算法仿真整個(gè)手術(shù)流程，小到患者在手術(shù)臺上怎么躺，醫(yī)生都能清晰明了地看見模擬過程。

在開始正式手術(shù)之前，AI還會評測術(shù)前準(zhǔn)備是否無誤，比如手術(shù)器械是否準(zhǔn)備妥當(dāng)、人員是否站位合理、是否經(jīng)過了嚴(yán)格的消毒程序。病人進(jìn)手術(shù)室后，AI還要進(jìn)行核對，確保開刀的位置正確，這個(gè)聽起來有點(diǎn)可笑，但其實(shí)每年都會發(fā)生這樣的事故。

手術(shù)過程中 ，AI和機(jī)器人共同輔助醫(yī)生完成手術(shù)流程，在手術(shù)過程中對安全性進(jìn)行監(jiān)控，對一些重要的手術(shù)節(jié)點(diǎn)給予指導(dǎo)提醒，在手術(shù)過程中給醫(yī)生一些增強(qiáng)現(xiàn)實(shí)輔助。

如垂體瘤手術(shù)，這是一種經(jīng)鼻的微創(chuàng)手術(shù)，需要進(jìn)入鼻腔，在鼻腔后部打開骨窗，從而到達(dá)腦部。這個(gè)過程中，有很多重要結(jié)構(gòu)需要避開，此前全憑醫(yī)生經(jīng)驗(yàn)，而現(xiàn)在通過增強(qiáng)現(xiàn)實(shí)技術(shù)和AI算法，將影像仿真或投影到顯示器上，AI就可以隨時(shí)提醒醫(yī)生。

手術(shù)結(jié)束后，AI能夠客觀地記錄所有流程，未來還可以自動(dòng)生成手術(shù)報(bào)告，核對每一條執(zhí)行是否準(zhǔn)確無誤，這些信息跟隨進(jìn)入病人的康復(fù)階段，輔助術(shù)后康復(fù)過程直至患者康復(fù)。

澎湃科技：引入AI是否會提高成本，增加患者負(fù)擔(dān)？

劉宏斌：首先看病的花銷不能只看一場手術(shù)，需要計(jì)算一個(gè)人從看病到恢復(fù)的整個(gè)周期耗費(fèi)的時(shí)間、成本，引入AI增加了手術(shù)成本，卻加快了康復(fù)流程，這是完全可以接受的。還有就是技術(shù)要有不可替代性，實(shí)際上，現(xiàn)在很多微創(chuàng)化手術(shù)的想法，很多年前就已提出，只是AI的發(fā)展水平還有沒有跟上。而微創(chuàng)化恰恰是減少患者身體損害、加快恢復(fù)過程最主流的一種思路。

澎湃科技：AI能否解決醫(yī)療資源緊張問題？

劉宏斌：AI可以助力分級診療的實(shí)現(xiàn)，目前縣域醫(yī)療水平的提升以及分級診療的落實(shí)，并不能單純地依靠5G等通訊技術(shù)的賦能，更重要的是對于基層醫(yī)生的培訓(xùn)。我們研發(fā)這些AI算法并不是為了幫助閱歷豐富的臨床專家，而是為了幫助一些缺少練手機(jī)會的醫(yī)生。比如基層醫(yī)生，他們接觸的病人少，就需要AI來對他們進(jìn)行培訓(xùn)，讓他們在診斷的時(shí)候因?yàn)橛蠥I的加持更加有信心，同樣也讓病人更加信任他們。大模型不光只是幫醫(yī)生做出判斷，在使用的過程中，也是在給醫(yī)生一個(gè)從AI身上學(xué)習(xí)的機(jī)會。

我們目前面臨的難題并不是臨床專家無法通過遠(yuǎn)程進(jìn)行手術(shù)，而是專家數(shù)量有限。手術(shù)機(jī)器人未來的發(fā)展就是要讓一些普通手術(shù)變成“傻瓜式”的，無論是誰來做這個(gè)手術(shù)效果都一樣。只有這樣才能實(shí)現(xiàn)病人的分流，大家才愿意去基層醫(yī)院看病。