领域 | 大有可为！围手术期AR/VR医疗运用大清点

发布日期：2022-03-23 作者：WLT 点击：

作家：思宇研发院官方

序言

紧随人口的增长与科技的快速成长，人们敌手术治愈的高需要、强需要极大地鞭策了加强现实和虚拟现实技巧在医疗行业的运用。加强现实(Augmented Reality，AR)和虚拟现实(Virtual Reality，VR)技巧在医疗行业中获取了明显的聚焦力，正在少量地运用于多个医疗情景。

虚拟现实和加强现实是借用计算机技巧与现实场景交互的一项科技，变成可以供应医学场景的两类首要措施。医师能够看见真正手术部位和可视化虚拟三维解剖全息图并在全息图上对感兴致的部位进行标志，为医师创立了一类真假结合的半沉溺式手术场景。依据国际信息企业（IDC）世界半年加强和虚拟现实消费指南，AR/VR支付的五年复合年增长率（CAGR）将为78.3％。估计2023年世界加强现实和虚拟现实支付将到达1600亿美圆，远高过2019年预判的168亿美圆。在医疗行业，依据Research&Markets.com调研显现，AR/VR医疗正在历经大幅度的提高，其预料复合年增长率为33.36%，市场价值估计将从2018年的6.217亿美圆增至2024年的34.97亿美圆。

一、什么是AR&VR？

Lavallee等人早在1995年就提出了基于加强现实的混合建立模型（hybrid model construction）建立一个虚拟模型针对医师施行手术是非常必须到，因而它提出了将CT/MRI/X光等医学影像信息、AR/VR头显设施、患者、手术机械人等建立T1、T2…Tn坐标系，将T1…Tn多个坐标系串联起来，用来为手术体系采集不同类型的数据。

针对AR/VR的详细差别，知乎大神说得较好——VR是梦到鬼了，AR是大白昼碰到鬼了。虚拟现实技巧为客户缔造一个特定情景的虚拟空间，应用户完全沉溺在一个虚拟的合成场景中，不能看见真正场景，拥有交互性（Interaction）、沉溺性（Immersion）和设想性(Imagination)三大特征，也被称为3I特征。加强现实技巧可以把全息图、

、视频、声响等交融在现实场景中真假结合，真正的场景情景与虚拟的全息数据进行交互，两类数据交互补足和叠加。PokemonGo是加强现实技巧的详细表现，玩家通过在现实世界中走动以抓取虚拟宠物脚色。

以下就让咱们就来看看AR/VR在医疗行业的详细运用吧！

二、AR医疗首要运用情景

1、术前模仿/计划/培训

ImmersiveTouch

ImmersiveTouch位于芝加哥的伊利诺伊州，建立于2005年，首要应用Vive和Oculus Rift头戴式显现器（HMD）并且触觉反馈设施设计多种AR/VR交互式医疗应用情景，已顺利为到神经内科、矫形内科、眼科、耳鼻喉科等多科室的术前模仿、术中应用供应了辅助。现在企业营业首要划为三个模块：ImmersiveView? VR、ImmersiveView Surgical Planning (IVSP?)。

ImmersiveSim? Training首要供应手术培训、手术模仿的性能，首要面向医学院学生及逐个医疗器械企业。该平台可以为应用者供应身临其境的独到模仿/培训机会，开发了多种学习模块能够代替低廉的尸首训练，能够通过触觉反馈设施清楚地体验到患者肌肤、肌肉、骨骼之间的触觉差别。每个模块能为应用者供应及时的教程反馈，并可配备修正性培训和高难的评分体系，以改进和量化手术操控标准性。该平台与克利夫兰诊所、芝加哥大学医学院、约翰霍普金斯大学医学院等医疗机构协作，少量试验信息显现该平台可以提升手术的确切性、变短手术时间，减小手术并发症，加大内科医师的信念。

ImmersiveSim 示企图

Medivis

两位来自纽约大学医学核心(NYU Medical Center)的医师Osamah Choudhry、Christopher Morley在2017年联合创建了Medivis，Medivis是众多寻求将AR和VR等新技巧引入OR的企业之一。往年3月Medivis颁布了基于HoloLens和Magic Leap的解剖学培训平台AnatomyX，AnatomyX平台可供应5000个以上的解剖构造3D模型，这类模型信息来自于真正病人的CT和MRI。学生们可通过手势和100多种语音指令与这类模型交互，在Magic Leap One中它还追随6DoF手柄交互。另外，该平台最多可追随20人实时合作。西海岸大学、宾夕法尼亚大学已然在应用这类平台。除了与微软存在设备协作同伴联系外，Medivis还与通讯大头Verizon协作，变成其大举宣扬的5G网络协作同伴。5G的到来促使SurgicalAR能在30秒内从服务器中提炼医学图片进行全息显现。Medivis还正在调整机械学习的性能，以便在病人开启策划手术流程时，从他们的医疗记载和诊疗中辨认出最有关的数据。

AnatomyX示企图

Touch Surgery

Touch Surgery建立于2013年，由两位伦敦的内科医师创建。客户头戴微软的HoloLens头显，客户会看见一个专业内科医师的实时视频反馈，在这之上还会覆盖虚拟引导，奉告手术是怎样进行的。现在已开发出数百个内科手术的视频教学，比较驰名的是Go Surgery，客户能直接应用iPhone/ipad，它将为医学生供应全息逐渐指南，手把手地手术教程，每一项手术操控含盖全面的简介，含盖解剖位子、麻醉方法、顺应症及忌讳症、术后并发症等，现已顺利在英国和美国的医院完结了测验。

Panteleimon Pantelidis等人刊登了《Virtual and Augmented Reality in Medical Education》论文，此中罗列了许多在AR&VR医疗行业的产品，在解剖、内窥镜手术、神经手术、骨盆手术等行业的运用产品，如下图所示。

2、术中诊疗/导航/手术

Medivis

Medivis在建立早期就收到了Initialized Capital、DELL、微软等企业的鼎力追随，获取了230万美圆的出资，并颁布了第一代产品SurgicalAR，随后SurgicalAR一路风生水起，在往年6月获取了FDA认证。现在内科手术仍旧首要依附二维成像技巧来解读和操控极其高难的病人病理。Medivis将全息可视化和导航技巧引入内科手术，为内科医师供应加强现实信息集成和可视化工具，从基本上推动了手术干预，彻底变化了内科医师对病人的安全操控方法。Medivis可以访问患者信息，并将其可视化地表达为三维模型，供医师在策划手术时考虑。这类模型被映照到病人身上，进而为内科医师供应一类最好的手术计划。Medivis首席施行官、神经内科医师乔杜里Choudhry表达“全息可视化是手术成像和导航的终极前端。”

Surgical AR示企图

EchoPixel

EchoPixel在2017年的第103届北美放射学会(RSNA)聚会上展现了最新版本的交互式的混合现实医疗软件True 3D，现在True 3D已获FDA认证。该软件借用DICOM图片信息创立器官、血管和其余构造的真正尺寸的全息版本，容许医师转动、调节大小、解剖和作出切口，以虚拟病人特定的解剖。这一性能使医师可以更快地读取图片，进而更快地进行诊疗，并供应更好的术前计划，还扩展了计算机断层扫描(CT)和磁共振成像(MRI)之外的追随形式，多种医学影像信息可以有助于更好地评价植入式装置的大小、子宫肌瘤和子宫血管的散布并且胎心的评价。该企业在2017年获取了由英特尔领投的850万美圆A轮融资。

ImmersiveTouch

ImmersiveView? VR将患者的CT、CBCT、3D血管造影和MRI扫描等术中实时医学影像展现在医师佩带的头显上，使医师看到另一个数字化患者(digital twin)。该平台可用来放射室、手术室、医师办公室，使医师查阅患者术中的要害扫描数据，也能使患者更清晰诊断状况，现在这款平台已通过FDA及CE认证。

IVSP?沉溺式手术计划平台将DICOM信息转换为高保真的三维VR模型进行可视化，在此根基上供应了对应的可视化手术工具，辅助医师队伍研发、评价、计划手术并在手术中应用，以及可以与医学数字成像信息(DICOM)并且患者档案和通信体系(PACS)兼容，可应用Oculus Rift手柄能够实行切割、丈量、标志等手术操控。该平台能使医师加入到耳鼻喉腔道、神经束等细微视角，也有上帝视角观测全局解剖构造，由深及近地进行手术计划。现在 IVSP?已通过FDA认证，HIPAA认证及CE认证。

IVSP?示企图

Surgical Theater

Surgical Theater是由前以色列空军职员创建的，结合了以色列军方的顶尖斗争机飞翔模仿技巧。Surgical Theater的首要产品为Precision VR，通过VR 技巧进行内科手术的影像引导，改进内科医师手术方法，辅助手术顺遂进行。Surgical Theater与光学导航体系NordicNeuroLab企业协作，将其企业的nordicBrainEX DTI(弥散张量成像)解决运用调整在Precision VR平台中，如此会使医师对有关的解剖、性能组织和细部组织进行深入的细节扩展和提升沉溺感。Surgical Theater曾在2016年获取HTC供应的1100万美圆A+轮出资。

3、术后痊愈

Vivid Vision

Vivid Vision企业建立于2014年，企业建立动机是想运用VR技巧治愈弱视和斜视类眼疾。现在顺利颁布痊愈治愈类游戏《Vivid Vision》，借助VR让患者通过特定设计的视觉成效去牵连大脑感觉本领，在游戏流程中通过准确的痊愈动作训练客户眼部内未被应用过或正在休眠的肌肉组织，进而到达治愈成效。此外之外，借助 VR 技巧修复视力，以免了苦痛、乏味的物理治愈方法。现在产品仅在北美的41家眼科诊所供应服务，且必需由医师处方才能获得，估计往年晚些时候推向国际市场，现在在申报FDA认证。

VRHealth

VRHealth建立于2016年，是世界上首批通过ISO认证且其一切医疗运用均获取FDA受权的VR医疗保健企业之一。其旗舰产品VRPhysio运用软件已然获取了FDA认证，以及首先用在了斯波尔丁痊愈医院和波士顿的Beth Israel Deaconess医疗核心，其在欧洲的CE认证也将要完结。VRHealth策划在一年内公布四款新的产品，VRPsyc用来精神阻碍，含盖常见的紧绷、恐慌症、焦急症、进食阻碍和创伤后应激阻碍(PTSD) ；VRCoordi会与VRPhysio配套应用，首要对于有成长协作阻碍和各类不同程度的自闭症的孩子们，改进他们的协作本领；VRCogni首要用来改进中风患者、老年痴呆症患者、脑震荡患者、帕金森病患者的领悟性能；VRReliever目标是应用户通过完结特定的动作分散注重力来治理慢性疼痛。以治愈创伤性脑伤害为例，患者参加虚拟游戏，任务是将拳击手套与在他们面前弹出的一组灯相搭配。他们的呼应时间、错误和进度是实时丈量和解析的。可用来评价运发动在脑震荡后的状况。

SeeMe VR

SeeMe VR首要用来中风或内伤性脑伤害患者，早在2009年就已然上市，使其变成首个用来此类患者的商用VR体系。SeeMe借助Kinect双目摄像头或规范的网络摄像头，将特定的医疗情景图片传输到患者的电脑，使患者沉溺到一个订制的治愈情景中。在这个情景中，患者须要完结由医师制订的练习项目。医师能够应用该体系来评价患者的力量、耐力、运动范畴、姿态操控、反应时间、本体体验、运动品质、知觉、分派性注重和记忆力等。

三、结语

前段时间HoloLens2终究揭开了秘密的面纱，27388元非消费级程度的价钱仍旧让许多人对这项黑科技直呼“真香”，这距离HoloLens1公布的时间已过去了四年。HoloLens2的到来能否估计了AR/VR会迎来一个簇新的成长浪潮？

反观几年前时常被用来与HoloLens作较为的Magic Leap，那时英气地说出“The World is Your New Desktop”（世界就是你的新桌面）的Magic Leap现在被传出销量昏暗、盈余严重、抵押专利、高管离任。Magic Leap现在正在开发代号为ML2的第二代AR头显，会兼容5G、具有更强的深度感觉。一位参加该项目标职工表达，因为根本的技巧限定，这款设施还须要数年时间才能颁布。

黑科技层出不穷，有人欢喜有人忧，但绝对能够必定的是：AR/VR在医疗行业的运用绝对会为愈加普及、愈加完美。AR/VR/5G/近程医疗并且多种人工自动技巧的成长，在绝对水平上会牵连乃至变化传统的医疗诊断方法，有望在将来数年鞭策AR/VR医疗的成长。

- END -

作家谢坦然 | 编纂刘稷轩 | 排版 Elsa

本文转载自其余网站，不代表健康界观念和态度。真有内容和