首个丨中国信息通信研究院开展医疗健康大模型效能评估工作

真实自我 10-14 134

默认

摘要： 北京时间月日晚间英超联赛第轮曼联做客维拉公园球场挑战阿斯顿维拉本场比赛主裁判为罗伯特琼斯双方首发名单阿斯顿维拉首发达米安马丁内斯卡什孔萨保托雷斯迪涅菲洛吉恩巴克利蒂勒曼斯利昂贝利摩...

北京时间10月6日晚间21:00，英超联赛第7轮，曼联做客维拉公园球场，挑战阿斯顿维拉，本场比赛主裁判为罗伯特-琼斯，双方首发名单：阿斯顿维拉首发：23-达米安-马丁内斯、2-卡什、4-孔萨、14-保-托雷斯、12-迪涅、19-菲洛吉恩、6-巴克利、8-蒂勒曼斯、31-利昂-贝利、27-摩根-罗杰斯、11-沃特金斯替补：3-迭戈-卡洛斯、9-杜兰、10-布恩迪亚、18-乔-高奇、20-科斯塔-内德伊科维奇、22-马特森、26-博加德、50-斯温克尔斯、72-卡丹-扬曼联首发：24-奥纳纳、3-马兹拉维、5-马奎尔、35-埃文斯、20-达洛特、37-梅努、14-埃里克森、10-拉什福德、8-布鲁诺-费尔南德斯、17-加纳乔、9-拉斯穆斯-霍伊伦替补：1-巴因迪尔、4-德利赫特、2-林德洛夫、6-利桑德罗-马丁内斯、18-卡塞米罗、25-乌加特、16-阿马德-迪亚洛、21-安东尼、11-齐尔克泽

近年来，党、国务院高度重视以大模型为代表的人工智能技术，《2024年工作报告》中强调要积极推动人工智能在各行各业深度赋能，培育新质生产力，促进产业数字化转型和智能化升级。为促进人工智能与医疗健康的跨界融合，中国信息通信研究院在行业主管部门指导下，按照“标准先行”的工作路径，联合产学研用医各方，共同搭建医疗健康行业大模型标准体系，已形成技术要求、方法及成熟度评估三大系列。

·技术要求系列：包含总体技术要求、应用技术要求、合成服务治理总体要求、安全能力总体要求四个方面。重点关注大模型的基础设施、数据处理、安全治理等通用技术规范；同时聚焦医疗健康领域的特定需求，如医院侧医疗服务、患者侧医疗服务、智慧医保、公共卫生、临床科研、医学教育、健康管理、传统中医等；

· 方法系列：制定大模型性能评估和应用效果验证的标准方法；

·成熟度评估系列：研究面向不同用户提供特定服务的医疗健康行业大模型成熟度模型架构，包含咨询、预防、诊断、、康复等场景。

同时，中国信通院依托系列标准，为多家技术厂商提供医疗健康大模型的能力符合性验证，持续完善评价细则，提升标准实用性和适用性，助力行业大模型规范化、集约化发展。

2024年6月起，中国信通院选取GPT-4T bo、GPT-4O等国外通用大模型，文心一言、通义千问、混元和智谱清言Ch GLM等国内通用大模型，灵医Bot、夸克健康助手、讯飞星火医疗大模型和华佗GPT II等医疗健康行业大模型展开效能评估。通过构建数据集、开展符合性验证和模拟实际应用场景，邀请医疗健康、人工智能领域十余位专家形成评估小组，对参测大模型的多轮问询结果进行准确性、完整性、流畅性、可解释性等维度的综合，考察大模型在多学科知识问答、多形式语言理解、多场景文书生成、多环节辅助诊疗、多轮对话交互、多模态支持等六大方向的实际应用效能，助力医疗健康行业大模型的规范化发展，支持医疗机构选取可信大模型产品，协助技术厂商加快能力提升。

结果显示，通用大模型在医学知识广度方面具有一定优势，医疗健康行业大模型在特定医疗任务上表现优异。

以讯飞星火医疗大模型为例，在个人画像、健康干预方案、病历文书生成及质控、检验检查报告解读、体检报告单解读、药盒解读等细分任务中表现均处于领先，在健康常识、疾病百科、用药知识、电子病历结构化、专业知识生活化、考试辅助智能化、导医导诊便民化、辅助首诊及推荐检验检查、辅助确诊、用药安全指导等方向上均展现高度专业性。

下一步，中国信通院将继续联合医疗机构、科研院所、技术厂商等各界力量，结合动态效能评价工作经验，持续推进医疗健康行业大模型成熟度系列标准研制，建立针对不同医疗任务的大模型成熟度评价细则，确保标准贴合实际应用需求，促进能力提升和应用落地。通过优化评估数据集、构建自动化，打造可信、互信的产业生态，树立产业发展风向标，加强人工智能在医疗健康领域创新应用，释放数字健康经济新动能。