科大研發創新人工智能框架實現醫學通用及專科模型高效協作

香港科技大學（科大）研究團隊成功開發一套創新的人工智能（AI） 「通用—專科協作」框架（Generalist–Specialist Collaboration, GSCo），實現了醫學通用基礎模型和專科模型在疾病診斷任務的高效協作。研究結果顯示，GSCo在醫學影像診斷、視覺問答及放射報告生成等多項任務的表現，均比單獨運作的通用或專科模型顯著優勝；同時，該框架能大幅降低訓練醫學模型，以適配全新臨床任務的研發成本。此項成果有望加速醫學基礎模型應用在日常臨床工作。研究成果已於國際頂尖期刊《自然—生物醫學工程》發表，題為「透過通用—專才協作實現醫學人工智能的通用化」。

是次研究由科大計算機科學及工程學系、化學及生物工程學系助理教授、醫工交叉聯合創新中心主任陳浩教授帶領的團隊，聯同哈佛醫學院、威爾康奈爾醫學院、香港中文大學、香港大學，以及中山大學等合作開展。

醫療AI模型一直面對兩難局面。通用基礎模型雖然基於龐大的醫學語料庫進行訓練，具備靈活應對多元任務和精準識別影像模態的能力，但在單一疾病診斷上往往不夠精準。反觀專科模型，雖然提供精準的臨床推理和專業診斷，但因過於專門，一旦面對新任務或部署於新醫院時，便需重新訓練。專科模型亦無法與臨床醫生一同以自然語言進行推理，面對新的醫學影像診斷任務時，其準確率會大幅下降。此外，為每項新任務重複訓練通用基礎模型，運算成本不僅高昂，更受限於病人私隱合規限制，數據不能離開醫院。因此，單一使用通用或專科模型，皆難以滿足實際臨床工作需求。

為應對上述挑戰，是次跨院校國際團隊開發出全新協作式 AI 框架「GSCo」。該框架建基於陳浩教授團隊開發的開源醫學通用模型 MedDr，利用多元醫學影像模態和逾200萬個樣本對MedDr進行深度訓練，並同步構建了一組輕量級專科模型，僅需單張消費級顯示卡（GPU）即可完成訓練。在雙向協作下，專科模型在AI推論過程中負責比對相似的過往病例，並提供診斷預測；MedDr則擔當「核心決策者」的角色，負責將專科模型提供的證據與自身醫學知識整合，從而作出最終診斷結果。

為驗證GSCo的表現，研究團隊在32個公開數據集、共約260,000張醫學影像上進行全面評測，涵蓋醫學影像診斷、視覺問答及放射報告生成等多項任務。結果顯示，MedDr的表現顯著優於RadFM、LLaVA-Med及Med-Flamingo等現有醫學通用模型，而GSCo在所有內部及外部基準測試中均取得整體排名第一，表現優勝於十個最先進的視覺基礎模型。

在一項皮膚病變診斷測試中，團隊首先利用HAM10000皮膚鏡圖像數據集訓練專科模型，並透過GSCo框架，將其部署於全新的BCN20000皮膚鏡圖像數據集進行測試。結果顯示，GSCo診斷表現高達0.8420分（滿分為1.0），遠勝通用模型 MedDr在零樣本狀態下取得的0.7545分，以及專科模型單獨運作時的最佳成績（0.8292分）。

在另一項針對胸部 X 光報告生成的臨床人工評估中，七位執業放射科醫生中有六位一致認為，GSCo生成的報告品質優於目前最先進的專科模型R2GenGPT。壓力測試更進一步證實MedDr的高穩定度，即使故意引入系統性偏差，假設所有病理影像被錯誤判定為正常時，MedDr仍能正確辨識出67.6%的腫瘤影像。基於此出色糾錯能力，GSCo的整體準確度因而得到顯着提升。

與微調通用模型相比，調整GSCo以執行全新臨床任務的研發成本可大幅降低近100倍。在GSCo框架下開發的專科模型，可在醫院內部利用所屬機構的數據進行訓練；隨後只需以匿名形式分享成果，便可確保病人病歷毋需離開醫院。

論文通訊作者陳浩教授表示：「醫學 AI通用和專科模型各有所長，而GSCo的核心價值正是讓兩個獨立運作的模型能以『協作者』身分並肩運作，並由通用模型擔任總決策者，將專科模型的專家建議與模型自身廣博的醫學知識完美整合。團隊期望，這一嶄新框架能為醫學基礎模型融入臨床工作流程，提供更切實可行的路徑，尤其是讓AI計算資源有限的環境，也能共享AI醫療成果。」

展望未來，研究團隊計劃將MedDr進一步擴展至電腦斷層掃描、磁力共振成像等三維影像模態及醫學影像領域。同時，團隊將探索更先進的多模態及基於圖結構的檢索策略，並研究通用與專科模型之間更多元化的協作形式，例如引入測試時運算，以賦予模型深度思考能力，進一步提升診斷結果的準確度。MedDr開源通用模型和GSCo框架已公開發布，以推動全球科研及臨床應用，詳情請瀏覽：https://github.com/sunanhe/MedDr。