5G架构下超便携混合现实颅脑手术导航系统建设

产品功能及原型设计理念和框架
（一）主要功能
本项目拟以复旦大学附属华山医院为中心，构建5G医疗示范网，以神经疾病患者治疗效果为导向，面向神经疾病患者建立AR可视化手术导航系统。AR可视化远程手术指导和导航系统包括影像数据三维重建、三维数据可视化、病灶轮廓勾勒、手术规划及导航、虚拟现实等功能，具体功能描述如下：
（1）汇报病例：B医院（医生）将患者病例数据及扫描影像上传至医疗云储存中心并对A医院（专家）进行授权抓取，实现医学影像数据的编码、压损、云同步、授权等。主要承载的功能有：数据上传云端功能，接收检查PACS发送的数据，对PACS数据接收者授权访问和抓取，自动路由数据功能，信息系统同步功能等。
（2）影像数据调阅：在5G网络支持下实现秒级获得医疗机构共享的医学影像数据和诊疗资料的调阅能力，提升了医疗协作的效率和质量。为了医学影像数据的高效便捷使用，支持所有的终端应用平台（win、ios、android）及主流型号的手机、平板、移动推车、会诊大屏等移动终端，医生可以根据治疗需要按需调阅指定患者的影像资料，并进行源数据的下载，用于病灶标柱和算法模型的训练。
（3）脑部模型的重构和可视化显示：采用手动和半自动轮廓勾勒方法得到病灶组织和重要组织轮廓，由轮廓线重构病灶和其他组织的表面模型，使用体模型和面模型混合绘制脑部三维模型，提供多角度、多深度和任意剖面的显示。
（4）虚拟手术：通过对模型的多角度观察，医生可以对患者脑部任意位置的状况有一个清楚的了解，医生可以通过系统提供的模型清楚的“观察”病人脑组织的情况，在模型上进行手术规划和验证，以确定具体的手术方案，根据各种参数调整手术规划方案。
（5）AR导航：选取离病灶最近或者不损伤重要脑皮层的安全入路进行手术，避开重要的组织和神经，同时也避免人工测量带来的定位误差，与传统“洋导航”相比效率更高，可及性更高，并可实现多人多点远程协助，另外目前的“洋导航”无法同时显示颅内动脉、静脉、传导束等精细结构，利用5G技术可以在医生在现有的移动终端上就可以快速方便的实现多模型融合展示于手术导航。




（6）病例数据预处理：将患者的病例数据及扫描影像载入系统，进行预处理和自动、半自动分割，得到病灶组织和重要组织的轮廓，由轮廓线重构病灶和其他组织的表面模型，使用体绘制和面绘制混合绘制脑部三维模型，提供多角度、多深度和任意剖面的显示。
（7）术前讨论：基于“病例数据预处理”的绘制结果，通过对模型的多角度观察，可以对患者脑部任意位置的状况有一个清楚的了解，在5G网络的支持下，双方医院可在超低延时下同时通过系统提供的模型清楚的“观察”病例脑部的内部情况，并且在模型上进行手术入路设计、术前虚拟手术对手术方案进行验证，评估手术风险。

图示 术前展示肿瘤核心（黄）与锥体束关系

图示 肿瘤水肿范围（绿）与锥体束关系


图示 三维影像展示肿瘤、水肿、脑室、锥体束之间的关系

图示 三维影像上由表及里显示皮肤、皮层静脉、脑沟脑回、肿瘤及水肿、脑室等结构

图示 通过AR方式在患者头部显示皮层静脉、动脉、脑沟脑回、肿瘤及水肿、脑室等结构，合理地设置手术入路，规避静脉的损伤

（8）回传术前计划：将手术方案及预处理结果回传至医疗云储存中心，由B医院（医生）对手术方案及预处理结果进行拉取，并且载入到AR导航模块中在患者头部显示病灶组织、其他重要组织和手术入路，规避或降低正常组织的损伤。
（9）术中影像指导：B医院（医生）在手术时，在5G网络的支持下，将手术过程，手术计划，三维影像通过实况直播至A医院（专家）。A医院（专家）在三维影像上标注关键结构并在术中通过三维影像引导来指导B医院（医生）完成手术。
（10）术中远程教学：在5G网络的支持下，A医院（专家）可以将术中过程以及病例影像实时直播至B医院，并提供实时讲解，供B医院的医生学习。


图示 按照规划的手术切口显露脑组织，A根据术中皮层静脉和脑沟脑沟走行，对应三维影像上的平层静脉和脑沟，可以指导B定位深部肿瘤位置和确定手术切除范围，并避开功能区


图示 A在三维影像上设计手术入路的角度和范围，并根据B手术情况，实时判断手术深度与可能要显露的结构进行预警

图示 按照三维影像和术前计划，A指导B显露出肿瘤

图示 切除肿瘤过程中，确认周边重要解剖结构

（二）设计理念
本项目将建设以5G医疗专网和医疗云平台为基础，医疗数据中心为中枢，以智慧医疗应用为核心的AR可视化手术导航系统，整体架构图如下：

其中基础设施层重点建设的是5G系统，包括各种基站以及网络的控制管理系统等，采用多网融合的架构来保障项目应用的快速开展。平台将多系统数据进行标准化和融合，并利用机器学习、数据挖掘，对患者人口学信息、疾病的诊断、化验结果、药物、治疗措施、预后等进行整合，建立急诊高危因素人工智能辅助预测系统。根据患者诊治过程中状态的变化，自动计算心、肝、肾、凝血等脏器功能风险值，并对高危患者及时发布预警信息，提早进行干预或准备，提升手术安全性，降低医疗风险；将手术辅助定位技术应用于移动终端，为外科医生在术前对患者体内病灶进行三维重建和可视化处理，制定最合理、安全的手术计划。

创意特色及技术性能
采用5G、深度学习、人工智能算法、边缘计算，全面分析进展性颅内出血风险因素和相关系数，挖掘潜在预测和干预目标，这在世界范围内属于前沿性工作；基于5G边缘计算+大数据AI的出血性脑卒中疾病库将实现数据的实时化、网络化采集，数据标准化更好，兼容性更强，是对我国现有数据库的良好补充；借助该平台和系统可以实现临床医疗质量实时监管；相关风险因素的确立有助于指导卫生资源合理分配和相关政策的制定；
进展性颅内出血的人工智能预测在国际和国内都属于创新性工作，为未来开展神经疾病领域其他临床研究和人工智能应用建立基础：2019年初，复旦大学附属华山医院以2013-2018年间神经外科1万余例急诊患者的人口学特征、急诊化验结果、用药史等近亿条数据为数据池，通过数据清洗、筛选、建模、机器学习等方式，构建了人工智能预测系统，截止2019年12月，该系统累计为一线临床医生辅助诊断急性凝血功能障碍2056例，急性心功能不全1047例，急性肾功能不全865例，急性电解质紊乱632例。另外，改应用不仅验证了传统医学知识体系中人体肝功能、纤维蛋白原含量等与凝血功能的关系，还进一步发现酸碱度、肾功能、感染与人体凝血机能之间的关系。在进一步对所有外科急诊手术患者（4万余例）进行前瞻性验证的过程中，系统预测的敏感度和特异度均超过95%，预测稳定度超过85%。
自主研发的穿戴式仿生动力下肢外骨骼系统和台架式自适应减重外骨骼系统在国内属于前沿研究，填补多项技术空白，并已申请国家专利。

与5G结合性及强相关性及产业联动效应
华山医院是卫生部部属医院、复旦大学附属教学医院和中国红十字会冠名的三甲医院，1992年首批通过国家三级甲等医院评审，是国内最著名、最具国际化特色的医教研中心之一，也是全国首家通过JCI认证的部属公立医院。华山医院目前拥有包括神经外科在内的国家教育部重点学科10个，国家临床重点专科建设项目20个，上海市临床质控中心7个，WHO研究与培训合作中心1个、3个卫生部及上海市重点实验室、各类研究所、中心近20个。华山医院有职工近3000人，其中有院士3名、长江学者5名、国家杰青4名、“973”首席科学家4名、国家“千人计划”学者4名、国家级专业学术委员会主委或副主委34名、上海市级主任或副主任委员62名，医疗技术力量雄厚，著名专家云集。
依托海量患者资源和数据沉淀，华山医院在2017年成立神经疾病临床大数据和人工智能研究中心，经过2年多的运行，中心发展迅速，除了在本地部署有强大的计算和存储能力外，中心还拥有在上海张江高科技院区的远程计算储备，并已完计算集群和数据存储平台、多组学生命数据分析平台和数据共享平台的建设。中心已开展的研究项目包括： 多模态多尺度数据算法理论与应用；类神经形态计算模拟与仿真；通过发展模式识别、深度学习等类脑智能方法，寻找与基因、影像、认知功能相关的诊断指标，整量级提升脑疾病的临床诊断和治疗评估的准确性和效率。
在此基础上，课题组与SAP、华东信息通讯研究院进行跨学科合作，陆续开展了神经外科疾病库、神经重症数据深度学习、神经外科手术风险智能预测等项目。2017年起，课题组依托上海市神经外科临床质控中心、上海市脑损伤评价质控中心，以及神经外科工作站，分别在上海和全国范围内筹建多中心大数据协作网络，将各个医院内已有的HIS、EMR、PACS、LIS等系统，利用分布式平台和数据共享协议构建神经外科疾病库，实现疾病各阶段和患者多维数据索引和分析，建立重症监护风险的人工智能预测模型，提升医疗安全与效率。目前课题组已有项成果发表，并已申请相关软件著作专利。
以上这些前期工作分别在政策支持、研究范围、研究方法、数据收集、数据处理、团队协作方面为本课题的开展打下扎实的基础，依托华山医院以及上海市神经外科质量控制中心的支持，本项目开展的条件已完全成熟。
复旦大学附属华山医院与中国联合网络通信有限公司上海市分公司就5G智慧医疗领域签订了战略合作协议，同时挂牌成立了5G智慧医疗应用示范基地。
（一）在智慧医疗等领域创新应用的全面合作：就5G关键技术、边缘计算、网络切片、云计算与大数据、数据中心等领域开展技术研究、概念验证、设备试验、标准制定和应用孵化，实验成果共享与发布。
（二）利用双方先进技术和合作伙伴产业链优势，共同探讨智慧医疗领域创新产品与商业模式研究。
（三）资源共享，共同推动智慧医疗领域供需对接、知识共享和优势互补，促进智慧医疗产业发展。
（四）合作组建面向智慧医疗领域物联网终端的网络能力开放实验室，标准研究，完成行业标准白皮书的研究与制定。

5G与AI、大数据、先进计算、区块链等技术的融合度
采用5G、深度学习、人工智能算法、边缘计算，全面分析进展性颅内出血风险因素和相关系数，挖掘潜在预测和干预目标，这在世界范围内属于前沿性工作；基于5G边缘计算+大数据AI的出血性脑卒中疾病库将实现数据的实时化、网络化采集，数据标准化更好，兼容性更强，是对我国现有数据库的良好补充；借助该平台和系统可以实现临床医疗质量实时监管；相关风险因素的确立有助于指导卫生资源合理分配和相关政策的制定。

项目的价值以及市场需求、分析市场容量
（一）项目可行性
本项目将在政策的导向下开展，主要在于国家关于医疗卫生体制改革特别是公共卫生体制改革，以及医院信息化建设特别是智慧医疗方面的具体政策要求的变化。中国政府高度重视5G 、人工智能、大数据等新一代信息通信技术的发展，并积极推动医院信息化的跨越式发展，因此本项目的建设符合国家政策导向。项目单位将及时了解国家相关领域的政策要求，在建设内容和相关单位的对接上提前做好业务需求沟通。
本项目中，5G智慧医疗相关的产品与服务在医疗卫生领域的应用存在一定的技术创新，不同种类新产品的成熟度以及对医疗卫生领域的适应情况可能存在较大的差异。本项目整合国内领先的医疗机构以及医疗卫生和信息通信领域的专业机构与领军企业，将提前做好技术验证工作，并上线之前充分做好功能、性能和安全性测试。
本项目的承担单位和主要参与单位为国有企业事业单位，人员构成稳定。项目实施期间，在技术方案和采购技术要求确认之前，对可选的厂商进行深入调研，确认核心人员的稳定性，再开展招标和建设工作。另外本项目的实施团队管理结构将保持稳定，对关键人员依赖的风险还可以通过软件开发团队化，开发过程标准化，岗位分工清晰化进行缓解。
（二）推广可行性
基于AR可视化远程手术指导和导航系统，通过5G网络超高速率、极低时延的实时通信，利用5G无线空口的高速通信能力、网络切片技术和精细化的QoS保障提供eMBB大带宽能力解决了传统网络条件下脑卒中患者的医疗数据尤其是影像（CT、MR）的传输易丢包、图像回传延时、高性能网络的可及性差、涉及个人隐私的医疗数据传输过程存在数据泄露风险、远程操作类应用场景控制信令传输时延高等典型问题，通过本次试点可以有效缓解手术导航设备造价高、使用不灵活、基层配置率低、由于基层治疗水平不足错过卒中患者黄金抢救期的问题。平台落地推广上由于5G网络的特性可以很好的满足远程治疗场景对于网络通信能力的要求，且大大加强了网络的灵活性和可及性,部署成本更低，能够支持医疗业务实时性、高效性和稳定性，兼具可行性与经济优势，对于医疗联合体、基层医疗机构甚至是偏远地区的服务水平提升，推进分级诊疗，下沉优质医疗资源方面有显著推广价值。本项目可推广范围如下：
（1）上海市辐射机制（上海市脑疾病中心、上海市神经系统疾病临床研究中心、复旦大学脑疾病中心）
依托已有的上海市脑疾病中心、复旦大学脑疾病中心（均挂牌于华山医院西院）和上海市神经系统疾病临床研究中心，搭建上海市辐射网络。核心单位包括:上海长征医院、上海长海医院、复旦大学附属中山医院 、复旦大学附属儿科医院、上海交通大学附属瑞金医院、上海交通大学附属仁济医院、上海市第六人民医院、上海市第十人民医院、上海新华医院、上海东方医院。网络成员单位包括:上海市第九人民医院、上海市第一人民医院、华东医院、 岳阳医院、上海市第五人民医院、徐汇区中心医院、上海市第三人民医院、复旦大学附属金山医院、奉贤区中心医院、杨 浦区中心医院、浦东医院。通过各级单位的协同联动，在上海范围内率先开展神经医学临床研究、推广先进诊疗技术、培养后备医学人才。
（2）华东地区辐射机制（华东六省一市神经外科协作中心单位、长三角神经外科联盟发起单位）
以华山西院为中心，以上海的优质医疗资源辐射长三角，建立跨省市的“长三角医联体”，完成医疗技术输出、管理模式输出、诊疗标准输出、上海品牌输出，带动长三角区域医疗协同发展，优质医疗资源的共享共用，合理流动， 推动长三角一体化可持续发展;同时，服务国家“一带一路”战略，以中国进口博览会为契机，发挥国家级顶尖学科的辐射作用，实现产学研结合，带动国产医疗产业走向世界，增强国际影响力;探索共享、合作、共赢的运行机制，持续推进公立医院机制性改革，构建多层次医疗服务体系，全力打响上海医疗服务品牌。具体包括七大方面：广辐射（周良辅院士创新单位、基金会）、建联盟（泛长三角神经外科联盟）、搭体系（长三角创伤急救体系）、做示范（多学科融合病房）、云共享（5G视角下的信息互通平台）、同质化（成人烟雾病多中心体系建设）、重教育（长三角神经科学培训基地）。
（3）全国辐射机制（周良辅神经外科创新中心单位、支边、地方高水平人才代培）
总体思路是“建设核心网络开展临床转化研究、建设广覆盖网络开展适宜技术推广”。①建设和联合区域性神经医学中心，以上海为中心，形成覆盖全国所有省、自治区、直辖市及特别行政区的神经医学核心单位网络及医联体20家以上。每家核心单位分别下设联络医院10-15家，形成神经医学的广覆盖网络。核心网络的主要任务是监控各重大神经疾病的发病与救治状况，完成全国性多中心临床研究5-10个，形成行业指南或规范3-5个，并为国家制定相关卫生政策提供数据支撑。②建设远程会诊信息系统，广覆盖网络单位将就近接受核心网络单位指导，因地制宜开展适宜技术的培训与推广，并将把适宜技术进一步推广到区县级、乡和地段医院，努力提高基层医疗单位和边远地区神经疾病的急救、康复、慢病管理水平，提高同质化医疗水平。③以“一带一路”为契机，依托上海的枢纽作用发挥健康扶贫作用。在现有新疆喀什、陕西富平、延安、云南丘北、西藏洛隆等对口帮扶工作的基础上，通过新亚欧大陆桥、中蒙俄、中国－中亚－西亚、中国－中南半岛等国际合作走廊输送神经医学新理念、新技术，通过常驻医疗队、远程会诊、共同举办会议、人才交流等多种方式实现更大范围的健康扶贫。
（4）国际交流机制（华山国际神经外科大会、WFNS培训基地、WHO培训基地、陈天桥脑转化医学研究院）
依托一年一度的华山国际神经外科大会，邀请国际神经医学领域专家参会，交流本领域前沿动态，展示我国最新研究成果，并在国家医学中心的推动下，将会议逐渐发展为国际知名的脑科学、神经医学大会；以WFNS培训基地、WHO培训基地为根据，继续广泛吸纳世界范围内的青年神经内、外科医生，通过半年到1年的规范化培训，切实提高临床诊疗技能，向其他国家输送我国最新的诊疗经验；以陈天桥脑转化医院研究院为纽带，与加州理工大学等脑科学尖端研究团队保持长期合作关系，通过人才共同培养、协作开展研究、定期互访及视频会议等方式，取长补短、寻求共赢，进一步扩大我国在本领域的国际影响力。

（二）社会与经济效益
本项目的社会和经济效益可以从以下四个方面进行描述：
创新探索：采用5G、深度学习、人工智能算法、边缘计算，全面分析进展性颅内出血风险因素和相关系数，挖掘潜在预测和干预目标，这在世界范围内属于前沿性工作。
提升效率：利用人工智能在短时间内辅助诊断患者可能出现的并发症和风险因素，使急危重症患者的诊断和治疗更加全面。
引领示范：推动结合华山医院神经外科的学科优势完善神经疾病救治体系，充分发挥5G+技术特点优势。引领5G智慧医疗健康新产品、新业态、新模式。
创造价值：5G和AI技术为驱动的智能医疗是一项必然趋势，兼具医学价值、社会价值与经济价值，加快5G应用建设。
本项目的实施，不仅是结合华山医院神经外科的学科优势完善神经疾病救治体系，也可以充分发挥5G技术的特点优势，丰富5G技术在医疗健康行业的应用场景，推动运用5G技术改造提升卫生健康网络基础设施，在5G+远程治疗领域提供良好的借鉴，培育可复制、可推广的5G智慧医疗健康新产品、新业态、新模式。

商业模式
自2006年起，手术导航系统在国内医院陆续现身。国内手术导航市场主要集中在骨科、神经外科领域，以进口设备为主，如Medtronic（美敦力）、史塞克（Stryker）、通用（GE）、BrainLAB（博医来）等。但全是数百万元身价的“洋导航”，导致手术费用高昂，在我国很多地区级医院以及中西部地区，医疗机构和患者难以负担；需要专业人员操作、导航准备耗时较长（需要摄片、标记、定位、反复校准等步骤，一般至少需要1-2小时准备时间）无法多人共享使用等不足，这就限制的手术导航设备应用的普遍性、也限制了基层和经济欠发达地区医院相关手术的开展。
在这样的背景和需求下，适用于移动设备的手术导航设备应运而生。成为计算机辅助手术技术的新热点。随着智能手机的和高速移动网路的应用，目前已开发出具有手机导航功能的App软件。使用软件时，将患者磁共振、CT的原始图像（DICOM格式）通过云存储发送至手机终端（每位患者平均500M-1G），在5G环境下，上传和下载仅需要5s，经算法合成后，通过手机摄像头可以对真实患者进行深部病变的体表定位。目前这种手机辅助手术导航适用于几乎所有神经外科手术，可以精确定位病灶并降低手术风险。尤其适用于以下情况：脑深部病变，如：脑干、丘脑、垂体等部位病变；边界不清的病变，如：恶性胶质瘤等各种恶性肿瘤；微创手术，如脑出血微创手术治疗、颅内异物取出等。初步临床试验表明，手机辅助手术导航病变定位平均耗时 4±1分钟，精度可以和传统导航仪相媲美，手术的定位精度可以从厘米级变为毫米级。
本项目以5G医疗专网和医疗云平台为基础，在算法、设备、传输等方面进行创新，以神经外科手术为起点，以神经疾病患者治疗效果为导向，面向神经疾病患者建立AR可视化手术导航系统，致力于打造一套创新的神经疾病救治体系，全面提升全国神经疾病的救治水平。