热线电话:0755-26943630

新闻中心/ News Center

内镜和外科的人工智能和自动化

时间:2022-11-29 07:58 点击:/次

背景:

现代内窥镜依赖于数字技术,从高分辨率成像传感器和显示器到电子连接可配置的照明和机器人关节的驱动系统。除了能够进行更有效的诊断和治疗干预外,程序性工具集的数字化还能够以前所未有的水平捕捉人体内部解剖的视频数据。介入性视频数据封装了患者解剖的功能和结构信息,以及手术过程中的事件、活动和动作日志。这种详细但难以解读的内镜检查记录可与术前和术后记录或患者影像学信息联系起来。人工智能(尤其是有监督深度学习)的快速进展可以利用内镜手术的数据开发辅助手术的系统,从而实现计算机辅助干预,从而能够更好地在手术期间导航、图像解读自动化和机器人辅助工具操作。

 

简介:

2022年11月9日,来自英国伦敦大学学院,威康/EPSRC介入和外科科学中心的Danail Stoyanov教授课题组Nat Rev Gastroenterol Hepatol(IF: 73.0)杂志上发表题为“Artificial intelligence and automation in endoscopy and surgery”的文章[1]。在这篇文章中,作者总结了人工智能在消化内科和外科的计算机辅助干预方面的最新进展。

 

 

主要结果:

 

计算机辅助检测和计算机辅助诊断。

CADe和CADx方案旨在解决围手术期病灶检测和诊断的难题。在内窥镜检查中,它们特别旨在通过判别性视觉特征来检测和分类异常组织区域。早期的CADe和CADx解决方案是基于手工特征的检测和分类,这些特征满足可归因于特定疾病的外观或纹理模式的先验假设。相反,深度学习方法根据数据本身学习特征来区分异常和正常组织,除了用于训练它们的标记数据之外,没有直接假设,并且它们以更稳健的能力对异常进行分类。

 

计算机辅助检测。

尽管结肠镜检查显著降低了结直肠癌死亡率,但系统综述也报告,对于结直肠癌风险升高的患者(如有家族史或合并症的患者),腺瘤的漏诊率可达33%。进一步证实,腺瘤漏诊率与肠道准备的质量、所探查的结肠切片、腺瘤的类型、大小和位置以及个体医师的操作或技能高度相关。2020年发表的一篇关于基于学习的息肉检测和分割方法的系统综述特别指出,基于AI的CADe系统显著降低了传统白光内镜检查中腺瘤的漏诊率,是进一步预防结直肠癌发病率和死亡率的一种成本节约策略。

 

计算机辅助诊断。

内镜CADx系统旨在对肿瘤性病变进行分类。大多数CADx方法依赖于增强的内镜成像能力,可以在白光成像光谱之外检查组织。最早的基于学习的CADx方法能够区分增生性病变和腺瘤,特别是依赖于NBI和放大的NBI成像。然而,尽管这些方法有很好的效果,但大多数都没有在真正的手术中实施。AI的最新进展,特别是CNNs,极大地促进了CADx解决方案的改进。最新的系统可以在白光和NBI内镜下对腺瘤和增生性息肉进行实时分类,对于最有效的架构,分类准确率达到90%。此外,NBI还显示基于cnn的CADx方法可以区分5种不同的结直肠病变(改良Sano (MS)分类:MSI、MSII、MSII0、MSIIIa、MSIIIb)。类似的方法已成功应用于细胞内镜检查和结直肠病变的诊断,并具有相当的分类准确性结果。

 

图1:基于人工智能的CAIs在胃肠道MIS中的应用

 

内镜成像。

内镜场景的3D映射和内镜在这种环境中的定位是必不可少的,并使导航技术帮助定位解剖。结合内镜场景语义分析,此类CAI平台可以提高内镜操作的安全性,促进内镜报告系统的发展,甚至在多模式内镜的发展中发挥重要作用。

 

内镜定位和导航。

大多数用于内窥镜的同时定位和映射(SLAM)方法依赖于复杂的摄影测量管道,目的是直接从一系列图像中同时推断内窥镜场景的几何形状和内窥镜位移。传统的SLAM方法假设场景是刚性的,这限制了其在可变形内镜应用中的适用性。此外,在内镜检查和MIS中,检测和跟踪视觉特征可能具有挑战性,因为内镜检查和MIS中可能缺乏显著的组织质地,外观可能因出血等临床事件而异。ORB-SLAM及其专用于内镜的变体仍然是白光内镜中目前的金标准SLAM方法。这些系统的区别主要在于图像匹配策略,最新的方法可以实现内镜场景的实时密集重建。

 

解剖结构识别。

在临床实践中,上消化道有不同的分型。根据英国指南和日本指南,提出了区分上消化道11个位置(咽、食管、鳞状柱交界处、顺行观中上体、下体、胃窦、十二指肠球部、十二指肠降部、胃底、反行观中上体、角和第12类不合格标志)的新数据集。本研究进一步证明了传统的CNN结构同样具有良好的性能,平均分类准确率可达85%。考虑到白光和NBI在食管胃十二指肠镜分类上的差异,使用另一种传统的CNN架构,分类的准确率达到>95%。

 

类似的研究也被提出用于结肠镜检查中的解剖部位分割。本研究连续3年(2017-2019年)分析了参考CNN方法在3个参考结肠镜图像分类挑战中的性能。最新的挑战是评估图像分类方法,以区分解剖位置(z线、幽门、盲肠、直肠后弯、胃后弯)、异常(息肉、溃疡性结肠炎)、息肉切除病例(染色和隆起的息肉、染色的切缘)和手术背景(正常结肠黏膜、中等程度的粪便夹杂物、显著的粪便夹杂物、无用的模糊图像、检测到的手术器械)。大多数最先进的基于CNN的方法在结肠镜检查中达到>90%的准确性。

 

图2:基于人工智能的CADe和CADx系统

 

手术器械检测。

大多数研究集中在腹腔镜(尤其是机器人辅助腹腔镜)手术工具分割(AI系统识别器械图像区域和解剖结构的其他图像区域),而不是内镜检查,以及在机器人自主方面取得进展。用于训练AI模型的数个开放数据集使最先进的方法能够依赖有监督的基于CNN的语义分割方法,但在图像合成和图像翻译方面也取得了显著进展。ROBUST-MIS 2019挑战突出了这类方法在分割手术工具方面的效率,但也在分割定位于摄像机视轴、快速移动、重叠或交叉器械的小工具方面缺乏稳定性。

 

人工智能在外科手术中的应用。

手术工作流程或活动的识别是自动内镜报告的关键,并且可能在手术操作自动化中发挥重要作用(例如,显著允许生成大型注释数据集)。此外,了解这些过程可以作为构建外科技能评估系统的重要模块,并有助于开发用于内镜培训的CAI平台。

 

手术流程识别。

对操作理解的认识主要集中在腹腔镜手术流程的分析。主要的研究是通过自动分解(将完整的程序视频记录的时间事件分解)将手术过程转化为不同粒度级别的动作,如手势、活动或阶段(从低级别或精细到高级别或粗分解)。最先进的方法是基于将时间信息与模型相结合的架构,这些模型可以单独基于图像和/或视频数据,也可以集成多模态数据(例如,机器人运动学等传感器信息)。

 

图3:基于人工智能的计算机辅助导航

 

手术技能评估。

手术技能评估的努力主要集中在自动评估从业者在执行特定手术任务时的专业知识。随着时间神经网络的出现,与手术流程分析密切相关的手术技能评估的自动化程度大大提高。值得注意的是,这些网络经过了训练,可以在JIGSAWS数据集的三项任务上区分三个水平的从业者专业知识(新手、中级和专家),并以更精细的方式共同识别手术手势和评估机器人辅助泌尿外科的技能评分(6 ~ 30分)。两种方法的技能评估准确性均达到>95%,但缺乏真实的手术数据评估是其有效性和影响的主要限制。也有人提出了一种基于颞神经网络的三阶段腹腔镜胆囊切除术方法。在私人胆囊切除术数据集上,它在区分手术技能好坏方面的平均分类准确率约为85%。

 

图4:基于人工智能的手势识别用于机器人手术缝合的例子

 

机器人辅助和自动化。

机器人系统STAR(智能组织自主机器人)是第一个能够在最少的引导下进行缝合操作的机器人系统。自那以后,通过整合专业的缝合工具和超越可见光谱的先进成像系统,它得到了实质性的改进。2022年,STAR系统在体模和动物模型上证明了腹腔镜下肠吻合口缝合的可行性,这是一项复杂的软组织外科手术,需要高水平的准确性和一致性,以防止吻合口漏的风险。

 

尽管微创、机器人辅助手术的应用日益广泛,但据报道,使用直觉手术系统进行的手术占美国软组织手术总数的10%,占全球所有手术总数的0.5%。直觉手术系统是目前全球市场的领导者。机器人辅助手术推广的主要障碍是费用、术者学习曲线、手术时间、手术工具和成像模式的有限数量,以及缺乏证据表明机器人辅助手术在许多手术中优于传统手术和微创手术。

 

图5:基于人工智能的机器人辅助手术

 

结论和展望:

本文简要总结了人工智能系统在内窥镜视频分析方面的研究进展,并对其对内窥镜机器人的影响进行了展望。AI的不断进步和越来越多的专家注释数据集的可用性显著促进了AI CADe和CADx设备在消化内科的集成。然而,关键的技术和临床挑战严重阻碍了自主决策和介入AI设备的实施。尽管前景广阔,但AI设备要想成为现代外科能力的关键组成部分,还需要克服当前基于学习的方法的内在局限性。

猜你喜欢