夸克公開國內首個覆蓋全階段醫師考試的健康大模型測試集
雷峰網 (公眾號:雷峰網) 9月16日消息,夸克將其訓練健康大模型的醫師考試測試集悉數公開,這是國內首個覆蓋全階段醫師考試的大模型測試集。
據了解,前不久夸克健康大模型成功通過中國 12 門核心學科的主任醫師筆試評測,并發布技術報告《QuarkMed Technical Report》,公開了“主任醫師級”能力技術實現細節。通過公開模型研發技術與醫師考試測試集,夸克旨在推動AI與醫療相融合的進一步發展。?
此前國內一直缺少一款時效性高、覆蓋面全的醫師考試測試集??淇吮敬喂_的醫師考試測試集覆蓋執業醫師、主治醫師、副主任醫師、主任醫師全階段考試,精選普通內科學、普通外科學、婦產科學、兒科學等12門核心學科,共計約7600道題,真題部分均取自2024年最新考試。
該測試集將不同測試等級有效梯度化。初級考試以單選題、記憶類題目為主,隨著考試級別升高,多選題、案例分析題比例隨之升高,對模型的推理能力也要求越高。梯度化的測試集能為模型測試提供更明確的標準,并能有效發現模型短板、推動模型優化升級。
壹生檢康 CEO 王強宇表示,該測試集讓創業團隊少走很多彎路,豆蔻婦科大模型訓練過程中遇到的關鍵難題是如何評判模型性能,“MedBench這些通用醫療基準在婦科場景下適配性很差,無法準確衡量模型真實水平。有了夸克這套專業測試集,我們不用在基礎素材上耗費精力,能把更多資源投入到模型算法優化、婦科場景深度適配這些核心工作上?!?/p>
雷峰網原創文章,未經授權禁止轉載。詳情見 轉載須知 。