7月5日，在2024世界人工智能大會“可信大模型論壇”上，支付寶公布了其AI技術在醫療領域布局的最新進展：發布多模態醫療大模型，同時，全新推出包括醫療可信一體機、可信云等多款數智化解決方案。現場，支付寶還與人民衛生出版社、北京大學醫學部、浙江省衛生健康委等20家機構，聯合發起AI醫療共建計劃，共同探索AI數智技術底座與創新應用服務。

支付寶多模態醫療大模型亮相

經過半年多測試打磨，支付寶醫療大模型正式亮相，這也是國內首批多模態醫療大模型之一。

螞蟻集團大模型應用部總經理顧進杰介紹了背后的技術研發。螞蟻百靈大模型已具備能“看”會“聽”、能“說”會“畫”的原生多模態能力，可以直接理解并訓練音頻、視頻、圖、文等多模態數據。支付寶醫療大模型以此為基座模型，添加了包含報告、影像、藥品等百億級中英文圖文、千億級醫療文本語料及千萬級高質量醫療知識圖譜，中英文醫療考試、基準測試達到或超過GPT4水準，醫療專業能力在中文醫療LLM評測榜單promptCBLUE中，位列A榜第一，B榜第二。同時，全棧自研醫療多模態結構，使得模型識別報告、藥品、毛發等圖像準確率達90%以上，相關技術在行業頂尖技術期刊與會議 CVPR、KDD、ECCV等發表了多項成果。

為了讓回答對話更加可靠，在研發階段，支付寶還與數百個專業醫學團隊、專家進行合作標注數據，保障信息權威可信，同時聯合上海仁濟醫院推出首個中文醫療專科問答推理數據集RJUA-QA。模型測試階段，用戶、患者、醫生參與問答反饋，在專業同時，兼顧患者關懷。

支付寶醫療大模型發布現場

目前，該多模態醫療大模型不僅提供智能問答、病歷結構化和檢索、輔助診斷，還可識別解讀藥品及上百種復雜的醫學報告，進行毛發健康檢測等，這些都能嵌入醫院等機構醫療環節全流程，創新醫療服務的同時，也助力提升機構運營效率。

顧進杰表示，AI的深度應用，不僅對數據、算法、算力提出了更高要求，也對可靠、安全、隱私提出更多挑戰，醫療場景下，保障技術可靠與數據隱私安全，至關重要。為此，支付寶面向行業推出全新的“醫療可信一體機+可信云”的解決方案，通過密態計算與存儲，讓醫療數據可用不可見，機構保管更安全。

據介紹，百靈醫療可信一體機，核心解決醫院面臨的算力不足痛點，可實現開箱即用，訓推一體，支持國產算力，軟硬件協同優化加速。醫療大模型可信云方案，通過公有云與專有云部署密態推理，聚焦解決數據隱私安全和商業機密保護問題。

AI醫療創新應用“聯盟”來了

從去年以來，支付寶就加速了AI技術在醫療領域的開放與布局。去年11月，浙江衛健委應用支付寶開放的“AI就醫助理”解決方案，依托大模型、數字人技術，打造了全國首個數字健康人“安診兒”，給浙江居民提供云陪診、健康咨詢等服務，上線以來，服務了1000多家醫療機構。上海市第一人民醫院，應用AI大模型，不僅上線了上海首個可語音交互的“數字陪診師”，還在業內首創了生成式電子病歷，將繁雜的文書工作從原本的10分鐘縮減到了15秒。

醫療技術的創新，需要依托平臺、產業、學界共同努力。大會現場，支付寶、人民衛生出版社、北京大學醫學部、浙江省衛生健康委、廈門市衛生健康委員會、浙江省人民醫院、上海交通大學醫學院附屬仁濟醫院、北京大學人民醫院、復旦大學附屬腫瘤醫院、上海市第一人民醫院、首都醫科大學附屬醫院等20多家機構、企業，聯合發起了AI醫療共建計劃，共同探索大模型應用及各類專科模型創新研發。

支付寶AI醫療共建計劃啟動現場

支付寶副總裁、數字醫療健康事業部總經理張俊杰表示：“支付寶希望用最頂尖的技術做最普惠的服務，讓AI像‘掃碼支付’一樣便利每個人的生活。支付寶也會持續開放AI技術與行業解決方案，攜手合作伙伴一起，推動智能醫療走向普惠、普及。”

據了解，2014年支付寶支持全國第一筆遠程掛號繳費，經過十年發展，平臺已服務超6億看病就醫人群，是國內規模最大的醫保第三方在線服務平臺、一站式的醫療健康服務平臺。目前，全國300多個城市、超3600家醫院在支付寶上提供一站式數字醫療服務。