浙大病理AI助手，3秒鎖定癌癥病灶

惡性腫瘤作為一種復雜且兇險的疾病，近年來呈現出年輕化、發病率上升的態勢，是威脅人類健康的“頭號殺手”。隨著國家醫療水平的提升和居民健康意識的增強，癌癥的篩查和診斷逐漸受到重視，隨之而來的是病理科等科室醫生日益飽和的工作量和驟升的診斷壓力。

面向臨床病理診斷的真需求，從2020年起，浙江大學計算機學院宋明黎教授團隊聯合浙江大學附屬第一醫院章京教授團隊，依托豐富的數據和算力資源，組建起一支計算機+醫學的學科交叉團隊，致力于用AI技術賦能臨床精準診斷，提高醫生工作效率和醫療質量。

近日，團隊發布視覺與語言模型融合的AI病理助手——OmniPT。該病理助手已在浙大一院病理科多個高發病率癌癥開展臨床驗證，1-3秒內就能鎖定病理圖中癌癥病灶。

今天，讓我們一起走進他們的故事，了解他們如何為癌癥診斷裝上智能“大腦”。

讓機器“聽懂”醫生的話

對于計算機背景的宋明黎團隊來說，學習基礎的醫學知識、理解病理學的復雜性和多樣性是開展交叉研究的第一大挑戰。

“與普通X光或CT的讀片相比，病理診斷的難度在于依據復雜多樣的關鍵組織結構進行精準定性及定量分析。”浙大一院病理科副主任醫師張秀明介紹，癌癥組織的單個切片雖然只有指甲蓋大小，但多切片的掃描圖像有著驚人的尺寸——數10億像素，是手機照片的數千倍。

上億個細胞圖像背后隱藏著無數的生命信息和醫學奧秘。醫生在分析病理切片時，需要耗費大量時間觀察微觀細節，在長期讀片的工作中，容易出現視覺疲勞。而且早期癌癥的病變細胞數量少，漏診也是醫生們最為擔心的問題之一。

AI助手的加入，無疑為病理科醫生和病人們來了新的希望。宋明黎團隊研讀大量的醫學文獻，與章京團隊長期深入交流，逐漸構建起病理學的知識框架。

然而，如何將人類的知識理念轉化為機器能夠“聽”得懂的語言？

團隊成員們歸納癌癥病理結構的形態特征，在圖像上進行精細的標注和分類，反復打磨細胞檢測、組織分割等算法工具，磨合人-機的溝通方式，4年間，從無到有建立起多個癌癥病種的診斷分析專用模型，OmniPT就此誕生。

為了提高推理效率，OmniPT在處理超大尺寸病理圖像時采用了一種跨層級的快速鎖定技術：先抓取大范圍的可疑區域，再對這些可疑部分逐級放大，分析細節。

軟件學院副教授馮尊磊說，這種“抓重點”的讀圖模式模仿了病理科醫生在臨床診斷時的思路，實現病理智能診斷分析效率的大幅提升。人工耗時至少10多分鐘分析的圖像，OmniPT只需要1-3秒就能快速鎖定病灶區域。

經過無數次的嘗試和優化，OmniPT突破了超大尺寸病理圖秒級推理、精準分析的難題，在胃癌、結直腸癌和宮頸癌等十余個高發病率癌種上取得了95%以上診斷準確性，為病理科醫生帶來了強大的助力，也為患者爭取到了更快、更準的診斷結果。

人機交互，助力科研

“OmniPT的設計也充分考慮了醫生的使用習慣和需求，融入了文本和視覺的強對齊功能。”馮尊磊說，這使它更像是一位懂得“察言觀色”的智能伙伴。

醫生可以通過輸入文本或框選圖像的方式，快速標注出需要重點關注的區域，跨層級的高效特征鎖定技術為醫生和OmniPT之間搭建了一座溝通的橋梁，實現了真正的人機“交流”。醫生可以隨心所欲地引導OmniPT，讓它聚焦于自己關心的每一個細節，使讀片診斷變得更加智能、更具針對性。

腫瘤標志物作為癌癥診斷和治療監測的重要生物指標，其表達水平與腫瘤的生物學行為及臨床預后具有相關性，可為個體化治療方案的選擇提供重要參考依據。OmniPT通過其高性能計算分析能力，對細胞形態學特征和組織結構特征進行定量解析，從大規模高分辨率病理圖中成功識別出多個具有潛在臨床應用價值的新型腫瘤標志物。“這些標志物在腫瘤的早期診斷、分型及預后評估中具有重要價值。”張秀明說。

此外，OmniPT還揭示了這些標志物與腫瘤發生、發展之間的潛在關聯，為腫瘤的診斷、治療和藥物設計提供了新的思路和方法，為未來的科研工作奠定了堅實的基礎。

構建智能化病理生態

“我們的這項工作將助力推動臨床診療指南的更新，為指南的制定提供更加科學、系統的依據。”馮尊磊說，這有助于提高診療的規范性和有效性，為患者帶來更好的治療效果。

AI醫生是否會取代人類醫生？

面對這一備受關注的問題，團隊成員們給出了答案：不會。OmniPT的定位非常清晰，在醫療診斷中它只是醫生的助手。“醫學是一門復雜的學科，醫生是診斷的責任主體，數據和算法固然重要，但最終還是需要回歸到醫生的經驗和判斷。”章京說。

對于未來，宋明黎團隊有著更加長遠的規劃和愿景。依托于工信部和國家藥監局聯合審批的數字病理人工智能醫療器械臨床試驗中心，他們希望通過OmniPT的臨床應用和底層數字病理掃描設備的結合，深度推動病理科的高效、精準診斷分析。同時，他們還計劃將OmniPT拓展到更多癌種及非腫瘤疾病中，構建一個智能化的病理生態。

“我們的目標是構建一個智能化的病理生態。”宋明黎說，“在這個生態中，AI技術將與醫學知識深度融合，為醫生提供更加便捷、高效的輔助工具。同時，我們也希望這個生態能夠推動醫學的進步和發展，為患者帶來更好的治療效果和生活質量。”

從組建團隊到研發OmniPT

從拓展應用領域

到構建智能化病理生態

宋明黎團隊用他們的智慧和汗水

書寫了一段傳奇

他們不僅為癌癥診斷

裝上了智能“大腦”

更為醫學的進步和發展

注入了新的活力

來源：浙江大學官微