联影智能@CCR,多模态医疗大模型牵引医疗场景全新蝶变

11月14日至17日,以“规范创新 · 引领发展”为主题的 2024 年中华医学会放射学年会(以下简称:CCR)在上海盛大举办。

年会现场,来自全国各地放射学分会及影像技术分会的专家学者齐聚一堂,共议放射学领域的新技术、新场景、新应用。作为联影集团在人工智能领域的重要战略布局,联影智能聚焦临床诊疗、医疗大模型等领域,携60余款影像辅助诊断AI应用以及医疗大模型产品亮相CCR,以AI创新力绘制智能医疗未来。

联影展区

数质赋能新质发展,大模型时代奔涌而来

近十年来,医疗数据以惊人的速度增长,与此同时,全球医疗健康需求也持续增加,时代正在呼唤更高效、精准的医疗大模型给医疗行业带来新变革。

本届CCR的主旨报告环节,联影智能联席CEO沈定刚教授带来《多模态医疗大模型:应用与展望》的主题演讲。

联影智能联席CEO沈定刚教授在主题演讲现场

“在医学应用领域,基于传统算法的AI「小模型」目前已进入较为成熟的阶段。目前,联影智能已推出 100+AI应用,其中获批NMPA三类证FDA、CE认证的产品均超十余款。而在这个过程中积累的场景与落地经验、模型基础与模型能力、海量数据与标注等,都为大模型的智能蝶变打下坚实的基础。”沈定刚教授在演讲中表示。

现场,沈定刚教授也分别分享了联影智能在医疗影像大模型、医疗文本大模型、医疗混合模态大模型方面的最新成果。

基于海量医学影像数据训练出的uAl影智大模型在全身不同部位、不同模态的分割任务中表现更精准高效,泛化性更强。

在跨模态影像分割的应用方面,uAI影智大模型在8种器官分割任务中的分割准确性,均要优于单一任务的小模型。即使在没有训练过某些期相任务的情况下,大模型也可充分利用不同器官之间的相关性,保持卓越的分割效果。

在生成式AI对视频分割的助力方面,以数字减影血管造影(DSA)为例,不仅数据难收集,而且由于图像中的造影导丝非常细,背景存在较多噪音,对导丝的分割和追踪也是极具挑战性。而基于uAI影智大模型,可根据标注完成少量数据,生成具有不同背景的DSA视频,再将生成的数据参与到模型训练后,经过验证,造影导丝的分割准确性可提升6%。

医疗文本大模型已在入院录/首程录辅助书写、跨院医疗资料数字化等场景下实现应用,大幅提升医疗记录的实时性、准确性和完整性,带给医生更高效的报告记录体验。

联影智能文本大模型产品,已在复旦大学附属中山医院落地,能够辅助医生一键生成住院场景中多种类型的医疗报告,包括患者入院录、首程录、查房录、出院小结等,重塑报告书写模式,带给医生更高效的报告记录体验。

值得一提的是,中山医院x联影智能uAI影智大模型落地案例已成功入选中国信通院华东分院联合上海人工智能实验室重磅发布的《2024大模型典型示范应用案例集》,该榜单以产业化为导向,筛选具备先进性、引领性、示范性的典型案例,是具备行业影响力的大模型领域权威成果。

基于在文本、影像等混合模态的技术积累,联影智能在多序列MR脑影像融合诊断、CT 胸部影像一扫多查、辅助 PET/CT 诊断结论生成、手术治疗等场景实现应用。

在最为复杂的手术场景,香港大学牙医学院口腔颌面外科团队基于联影智能uAI MERITS多元手术规划平台,完成了全球首例混合医疗大模型驱动的口腔颌面整复外科手术。

基于医疗混合模态大模型技术的另一成果,是联影智能影智医声报告系统的应用。该系统可基于对医生的语音识别,智能分析语音描述、自动匹配影像部位,并可根据语音指令智能生成规范化的检查结论。通过语音加持诊断报告书写,让该流程更加快速、简单、规范。

瞄准临床诊疗痛点,打造全场景覆盖专科解决方案

医疗场景复杂多变,传统单点、单线的AI应用模式,难以与多个医疗场景实现深度融合。

如何实现AI全场景覆盖,打造全链互通的智能解决方案,以提升医疗服务的效率和质量?

基于「将AI场景化覆盖」的思维,联影智能展出uAI 专科诊疗解决方案,覆盖肿瘤、心脏、神经、胸部、骨科、泛血管、手术七大关键场景,让AI实现场景化无缝融合。

随着以ChatGPT、SORA为代表的大模型在语意理解、视频生产、知识推理等方面展现出令人惊艳的能力,以大模型为核心的人工智能时代正奔涌而来。

相信在不远的未来,大模型一定也会引领医疗行业升维发展,带来高质高效和全新体验的涌现和蝶变,为医疗场景持续赋能。

打开APP阅读更多精彩内容