展品展示

首页 > 展览展示 > 展品展示 > 世界5G大会组委会-一种基于5G-MEC的VR虚拟现实超声教学创新应用

1
2

世界5G大会组委会-一种基于5G-MEC的VR虚拟现实超声教学创新应用

妇产科超声检查是妇产科疾病诊断、产前筛查、手术难度评估不可或缺的手段。为解决妇产科超声医学生几乎无实操练习机会的难题,深圳移动联合北京大学深圳医院创新打造“一种基于5G-MEC的VR虚拟现实超声教学创新应用”,推动全国首个5G-MEC+VR虚拟现实超声教学项目落地,率先建立全国领先的5G超声专业教学系统,助力住院医师规划培训基地更好地培养妇产科超声医师人才队伍。

展品详情

产品功能及原型设计理念和框架

一、5G专网

项目采用5G+两级云结构,通过下沉部署UPF至医院机房,同时协同公有云及边缘云,创新实践妇产超声智慧教学模式。

网络架构如图所示:

 

二、5G应用场景

1、5G+VR妇产超声医师培训

北京大学深圳医院利用5G+VR等技术,针对超声医师初学者的培训,以国家卫健委能力建设与继续教育发展中心的全套超声医学专科能力建设专用初级教材为基础,将书籍内容和案例进行电子化编辑处理,高精度还原各部位完整的三维正常声像图和病例声像图,攻克超声虚拟现实技术的核心难点;同时搭建全国共享的5G+虚拟现实临床应用公共服务平台,实现妇产科超声真实案例实时汇聚平台,使妇产科超声医师培训从围观学习转变为随时随地沉浸式的真实案例学习,更全面、更体系化地传授超声诊断操作方法和诊治技巧,大大缩短妇产科超声医师的培养周期。

 

5G+VR妇产超声教学平台

创意特色及技术性能

本项目是基于前期“虚拟现实技术在医疗领域的应用”为研发方向打造的医疗教学产品,后期将 5G 商用技术进行融合,打造成基于5G 边缘云的医疗教学 SaaS 云产品。具有以下几点功能创新:

(1)采用 5G 行业虚拟专网架构,极大降低企业布网成本

本项目完全复用 5G(室分)基站和频率等公网的无线资源,利用 QoS、无线空口切片等方式保障 5G 专网业务数据与公网数据逻辑隔离,部署快、成本低。

(2)采用 5G 边缘计算能力,实现轻量化终端与 5G 边缘云端平台低时延交互

本项目将 VR 超声教学系统部署在运营商地市级共享 MEC 侧,利用运营商提供的共享型大算力服务器资源,通过地市级共享 UPF 与共享 MEC 的对接,实现更低成本、更低时延的“端与边”数据交互服务。

(3)超声教学系统采用 AI 算法,实现对体数据自由角度和方向扫查

对超声容积数据进行解析,用 MPR 方式进行数据重建,通过 AI算法实现对体数据的自由角度和方向扫查,并模拟超声成像效果。

(4)超声教学系统采用多点 AI 算法,增大扫查范围

通过标准数据采集 SOP,可以对进行多个体数据的采集,以覆盖培训所需的脏器;培训过程里,模拟探头在移动的过程中会通过 AI 算法,自动检测并展示该部分脏器所对应的体数据,从而最终实现模拟扫查范围的扩大。

(5)超声教学系统通过 AI 算法,有效处理图像畸变问题

在模拟探头即将超出预设数据边缘时,很容易出现对应图像的畸变问题;为了减弱图像的畸变,一方面通过采集更多体数据来扩大探头可扫查的范围,另一方面对于横跨不同体数据的成像角度,通过体数据之间的补偿算法对实际成像进行优化,从而减弱畸变效果。

(8)采用真实超声大数据

区别于市场上大部分的教学/应用,本项目提供的模拟教学所用的超声数据均从真实人体采集而来,基于标准采集 SOP 获取的容积体数据,可快速采集和拓展各类病例进行模拟教学,使得被培训者可以快速体验各种常见病和疑难杂症的具体超声表现。

(9)虚实结合的呈现方式

可以通过虚拟现实的模式,戴上 VR 眼镜可以看到虚拟的超声诊室、超声机及患者,并进行扫描学习,让学生(被培训者)产生一种身临其境的感觉,大大增加临场感和学习效率。

该产品技术的研发在国内属于首创,已经申请了发明专利。

与5G结合性及强相关性及产业联动效应

从医学角度研发以虚拟仿真技术为主的超声专业教学系统,利用 5G 通信技术的特性及能力,将传统教学手段无法展现的一些视角盲点,以三维虚拟交互的形式使学生生动、直观地熟悉流程,掌握规范。依托 5G 大带宽,低时延的特性以及 5G-MEC 边缘计算能力,

实现教学数据边缘云端处理,管理中心远距离同步更新设备系统数据库资源的云网融合下的新教育模式及教学体验。

产业联动效益:

该产品硬件有 NDI 电磁定位仪、VR 头显、显示大屏等常规设备,

可批量定制采购,样机结构制作工艺简单,成本低,软件系统部署在运营商地市级共享 MEC 侧,可随时随地随网接入。通过对边缘云端的系统及数据随时远程更新,无需耗费太多维护成本。

超声影像虚拟仿真培训系统结合超声医生学习的特点,真实重现了医院超声科场景以及影像设备结构,让枯燥无味的操作转变成可以 VR 形式的交互学习,通过数字技术制造虚拟环境,创造了一种全新的三维视觉体验。使医生学习兴趣大增,为以后实地训练和真机操作奠定坚实的基础,同时解决了目前许多医院医疗设备及实验模体贵重,以及专业医师缺乏,难以开展快速有效的教学实训的难题。由于不受设备、场地等的限制,所以培训成本大大降低,其优越性和市场前景是不可估量的。

5G与AI、大数据、先进计算、区块链等技术的融合度

本产品的设计分为两部分,一部分为医学超声教学平台研发,包括大数据与 AI 算法,一部分为应用信息交互的 5G 云网架构组建。通过 5G 网络传输——边缘计算(MEC)处理——云端存储及管理的架构,将部署在云端的超声教学平台的大数据不断丰富、实时更新;在边缘云(MEC)部署 AI 算法与前端应用。

项目的价值以及市场需求、分析市场容量和

项目价值:

(1)应用示范情况介绍

该产品首先在北大深圳医院超声科,经过专业医生指导进行规范化培训落地应用,这在深圳卫视《我的白大褂》之规培医生的节目中做了专门的采访和报道,其在医学院校以及规培医生的教学实习中具有很强的使用价值。

(2)产品合作情况

本项目 5G-VR 超声教学系统产品与深圳大学旗下控股教育品牌机构深圳市优课再学教育科技有限公司合作,依托于深圳大学倡导发起的“全国地方高校 UOOC(优课)联盟”,签署协议合作推广,促进产品在各大医学院校的教学应用落地。

市场需求容量分析:

医学超声教学市场需求分析医学超声影像学作为数字化医疗时代发展的代表学科,以高分辨薄层扫描、多模态成像为特点的影像设备和技术的飞跃发展,影像数据以每年 30%的速度增长,占医院数字化数据的 90%,使得医疗科医师每天的图像数据浏览工作量剧增,而每年医疗资源和人力投入增长远远不能满足需求。而且随着超声医学的飞速发展和就诊模式的改变以及无创伤性、可重复性等优势,临床医生及患者对超声的需求急剧增加,超声检查已成为临床常规检查方法之一。超声医师的高效培养显得越来越重要,尤其对县域超声医生来说,已经有超过 10 万人次的巨大缺口。但是超声医生培养模式已远远跟不上时代需要,因此迫切需要转型和加强。

基于 5G 技术支持下的云 VR 市场需求分析:

目前云 VR 处于发展初期,画质与交互感均比较差。随着云 VR 的不断发展,更高的画质与更强的交互感能为用户带来更好的云 VR 体验,但也要求更高的网络带宽与更低的端到端时延保证稳定的视频传输。在带宽方面,8K 分辨率能基本满足云 VR 对清晰度的需求。8K 分辨率的全景视频使用全视角传输方案与 H.265 编码标准,需要140Mbps 以上的传输带宽。同等清晰度的强交互业务至少需要260Mbps 以上的传输带宽。在时延方面,强交互业务在端云异步渲染方案下,网络端到端时延要小于 15ms 才能基本满足云 VR 的交互需求。5G 网络可实现 10Gbps 的下行速率能保证云 VR 更高画质的稳定传输,基于 5G MEC 的云 VR 解决方案,将 VR 应用部署在 MEC 上,在 MEC 上实现 VR 视频的转码与分发,VR 云视频及图像的计算与渲染,终端与云平台之间只需经过基站,一跳可达,传输节点少,时延低,能真正实现毫秒级的端到端时延,保证 VR 用户良好的业务体验,将成为主流的云 VR 解决方案。但该方案需要成熟的 5G 网络支撑。在国家政策的大力推动与运营商的积极建设下,5G 的快速发展,将有效助力云 VR 的推广与普及。

因医疗领域专业性强细分领域多内容厂商同时兼顾内容制作和应用推广投入大内容更新慢不利于 VR 在医疗领域的发展。未来云平台模式云 VR 平台与内容厂商、解决方案商分工合作共同推动 VR 在医疗领域的应用更具优势。VR 在医疗领域已经实现了急救操作训练、直播教学、新生儿探视、ICU 病人探视、精神疾病及心理疾病康复治疗等细分领域的应用。2020 年我国医疗机构数量共计 102.3 万个,医院达 3.5 万个。按照医院平均采购 50 台基层医疗机构平均采购 10 台计算预测 VR 在医疗领域可达到 1000 万的用户规模。在内容方面如上文所述医疗领域专业性强细分领域多需要由资深医疗背景的内容开发团队或者内容制造商与医院合作开发内容开发难度大且开发周期长发展较缓慢。综上所述在医疗领域示教、探视及简单操作训练等体验易保障且内容易开发的应用场景发展速度较快。

产业效应:

该产品在超声领域属于教学培训环节,通过 5G 以及虚拟现实、人工智能技术的提高,其产业化之后,将极大地促进超声医生人才培养地便捷和高效,极大地降低超声医生人才培养的时间和金钱成本,由此将极大地促进超声影像行业的发展。

同时,该产品可积累的大量临床数据,还可用于训练超声机械臂,为机器学习提供了大量样本数据,这将为超声机器人的研发提供强大的数据基础和实验空间。

社会效益

该产品可快速采集和拓展各类病例进行模拟培训,使得被培训者可以快速体验各种常见病和疑难杂症的具体超声表现,并通过虚实结合的方式反复操作进行临床手法练习。这将极大地解决各地医疗资源分配不均、超声医生培养质量参差不齐的问题。

该产品开创了虚拟现实在国内超声住院医师规范化培训领域及医师继续教育领域系统化应用的先河,将最先进的 5G+虚拟现实、人工智能技术与临床应用进行产学研多点融合,让 5G+虚拟现实、人工智能技术为医疗产业赋能,驱动产业创新,从而推动医疗产业发展,提升医疗公共领域服务能力。

商业模式

市场定位:

本项目研发的基于 5G-MEC 的 VR 虚拟现实超声教学系统产品,目标市场定位于医疗行业及专科院校的教学及再教育场景下的应用,以及医疗行业专业研讨、学术交流等场景下,对特殊病历个案、经典病历个案的交流展示,打破医疗学科交流纯理论探讨、纯书面或多媒体介绍等二维展示方式,通过虚拟现实及增强现实技术,为医学学习及交流现场更具沉浸式体验。而 5G 技术使得沉浸式的虚拟现实技术部署更为便捷,提高教学及学术交流的效率。

商业模式:

向上服务于各个住院医师规范化培训基地,向下联合各个医院的优质学科实时更新学习案例,共享优质资源。

其他展品推荐