彭键清
中山大学智能工程学院特聘副研究员陈启瀚
中山大学智能工程学院研究生
文丨彭键清、陈启瀚 编辑丨周会霞
校对丨吴政希 图丨由受访人提供
纵观全球,当前手术机器人的发展正处于快速上升和不断更新迭代的发展阶段。
本文从微创机器人的研究回顾出发,分析了微创机器人的发展现状。为了见“微”知著,还以腔镜机器人为例讲解了其中的关键技术和共性技术,总结了当前微创机器人亟待解决的技术难题,以期从微创机器人映射整个手术机器人行业的发展现状,为国产手术机器人未来的发展提供借鉴。
微创机器人的研究现状
(一)微创外科机器人的应用背景
微创外科手术是指外科医生通过患者身体上面的微小创口,利用内窥镜观察并操控手术器械进入患者体内完成操作的手术过程。与传统的开放性手术相比较,微创手术具有损伤小,术后恢复快的优越性。但是,随着微创手术的推广和普及,微创外科医生也面临着各种各样的挑战。
1.操作灵活性低:因为手术创口十分小,伸进患者体内的手术器械的活动范围有限,这导致医生操作的灵活性受到极大的影响。
2.手眼协调性差:传统的手术器械呈现杠杆效应,手术器械末端的运动方向与医生手部的运动方向相反,增加了操作难度。
3.画面不稳定:持镜医生长时间手持内窥镜引起的手臂肌肉疲劳,可能导致内窥镜显示画面的不稳定,影响手术质量。
4.缺乏深度信息:内窥镜显示画面为二维图像,缺乏深度信息,增加了医生的操作难度以及培训成本。
5.手部颤动放大:微创手术需要极其精细的操作,医生操作时手部的抖动会在器械尖端放大,所以难以完成更加细致的操作。
上述的不利因素,是现阶段微创内窥镜手术的瓶颈,也是限制微创技术纵深发展的最主要因素。
随着机器人学、智能医疗和人工智能技术的发展,采用机器人辅助微创外科手术成了一种热门的解决方案。微创机器人的操作不是直接取代医生,而是辅助医生手术,这不仅可以保证患者的生命健康,还能减轻外科医生的工作负担。
(二)国外的研究现状
为了解决微创外科遇到的诸多问题,机器人辅助微创外科手术技术得到广泛的关注。其中,最具代表性的是由美国直觉外科研发的达芬奇手术机器人系统,该系统由三部分组成,分别是成像系统、机械臂系统和外科医生控制台。该系统提供了与实际手术一样的直觉反馈与处理能力,使医生可以对机器人系统进行远程控制。
同时,该系统具有自动纠错功能,可以避免操作者手部轻微颤动等造成的干扰。达芬奇手术机器人系统已经在心脏外科手术与腹腔镜手术被验证效果显著。然而,该机器人系统也存在着造价昂贵,缺乏力反馈等缺点。
美国Computer Motion研发的宙斯(ZEUS)机器人在很大程度上提高了手术机器人系统的操作精度,并通过超远程胆囊摘除手术完成了临床验证。
然而,宙斯机器人系统因为存在从操作手体积过大、占用空间过多、灵活性不足等问题,限制了自身的进一步推广与应用。
2018年澳大利亚迪肯大学和哈佛大学联合研发了HeroSurg机器人系统[3],该系统首次引入了力反馈,这使得外科医生通过机器人进行剪切等操作时,可以获得触碰反馈信息。力反馈信息的引入有助于医生实现更好的手术操作,但是HeroSurg机器人依然存在着控制系统复杂、灵活性低等问题。
为了提高微创手术机器人的灵活性,并适应人体狭小腔道的限制,小巧灵活的柔性机器人成为该问题的热门解决方案。直觉外科最新研发的达芬奇SP型机器人获得FDA认证,可以应用于耳鼻喉科手术。
卡内基梅隆大学机器人研究所的研究成果,极大地提高了微创柔性机器人的可操作性,使其足以进行心脏和身体其他区域的内窥镜手术。基于该研究的Flex Roboti c System也于2005年获得了FDA喉科和结直肠手术的批准。
(三)国内的研究现状
微创手术机器人的研究在国内起步比较晚,最早的研究是在北京航空航天大学、哈尔滨工业大学等高校展开的。早期的研究主要集中在普通外科手术机器人上,北航与海军总医院等单位在2001年研发了第二代无框架立体定向机器人系统。该系统引入虚拟现实技术提高了手术的规划精度与安全性。
天津大学王树新团队研发的“妙手S”手术机器人是国内微创机器人的典型代表。该机器人系统面向腹腔微创手术,由主操作端和从操作端两部分组成。该机器人的最大特点就是引入了立体视觉,采用双目视觉为医生提供手术环境下的深度信息,极大地提高了微创手术的安全性。
目前,该系统已经在动物上成功实施了胆囊切除手术,并完成了相关验证。但是,该系统存在着操作空间受限等问题,因而其临床推广受到一定的限制。上海交通大学徐凯教授团队则将超冗余的连续体机构用于腔镜手术机器人系统,创新性地提出了“对偶连续体机构”这一设计,解决柔性连续机构在手术机器人系统应用中出现的负载能力不足、结构可靠性低等问题。该系统装有柔性内窥镜和灵巧的手术器械,能够在狭小恶劣的腔内环境中进行复杂的手术操作。
近年来,国内涌现了许多医疗机器人公司,其中最具有代表性的是微创机器人公司。该公司研发的“图迈”机器人,在2022年获得国家药品监督管理局的批准,成为我国首款投入临床使用的四臂腔镜机器人。同年,该公司研发的“鸿鹄”机器人获批准上市,其是我国首款搭载自主研发机械臂的骨科机器人。
国产手术机器人虽然起步比较晚,但是目前在部分领域已经实现了突破,并且很多产品完成了初步的临床试验。但仍有诸多基础研究问题和系统集成问题等待探索与解决。
以腔镜机器人为例,
分析微创手术机器人的关键技术
腔镜手术机器人是微创机器人的一个典型代表,也是目前发展比较成熟的微创手术机器人之一。在腔镜机器人中,内窥镜是机器人的眼睛,从操作手相当于外科医生的手。
机器人从观察到安全地执行操作,依赖的关键技术主要有:目标检测技术和内窥镜视野控制技术。当前国内典型的有中山大学彭键清团队开发的一款智能持镜跟踪机器人系统,它能根据主刀医生的动作和多模态指令实现手术视野的自主跟踪。智能持镜机器人具有响应快、稳定性强及精度高等优势,能够自主辅助主刀医生智能调整内窥镜的视野。
该系统解决了持镜助理医生的疲劳操作和因“主从”协调不当而降低了内窥镜视野的稳定性和外科手术的执行效率等问题,在外科辅助手术中具有广泛的应用场景。目前,该方案计划在中山大学附属第六医院落地。
腹镜机器人的关键技术主要有:
(一)器械识别定位:目标检测技术医疗器械的识别定位,是对器械进行追踪的前提。在早期发展过程中,常利用在手术器械添加标志物来帮助识别定位。标志物分为主动式和被动式两种,但无论是哪一种,都需要对器械进行改造,在增加成本的同时,又增加了患者潜在感染的风险。
越来越多的学者尝试探索不需要依赖标志物的方法,利用视觉算法对内窥镜获取的图像进行分析。但是,传统的视觉算法容易受到光照、血迹等环境污染的干扰,很难满足临床上对算法稳定性的要求。
近几年,深度学习特别是卷积神经网络在图像上的优异表现,受到了学术界的普遍关注。基于深度学习的目标检测技术的典型代表是Fast-RCNN和YOLO系列。斯坦福大学的李飞飞团队利用Fast R-CNN在m2cai16-tool数据集上进行手术器械的识别检测,并利用该检测结果对外科医生的手术操作进行了评估。
与此同时,他们进一步利用Fast R-CNN完成手术器械的包围盒识别任务,但由于存在高延迟等问题,该方法只用于医疗手术训练的指导评估,并不能满足临床手术对实时性的要求。
考虑到临床对实时性的要求,日本北海道大学Hiroyuki Sugimori 团队利用YOLOv2对内窥镜视频中的手术器械进行检测,用包围盒的中心代替器械的末端位置,并使用数据增强方法使得模型效果更佳。
合肥工业大学丁帅教授团队则利用改进的YOLOv3实现了医疗器械的识别定位,并提出空间向量约束方法以实现机器人末端内窥镜对手术器械的自主追踪。
综上,虽然YOLO系列网络可以实现实时预测,但难以兼顾信息表达的全面性。为了兼顾实时性和信息表达,中山大学彭键清团队提出了一种新型的医疗器械识别模型,创新性地利用箭头对医疗器械的方向和角度进行表示,并将箭头约束在包围盒内部。基于箭头包围盒的模型,并利用Arrow-YOLO识别网络和对应的优化算法,实现对多医疗器械的识别和表达,成功地解决了这一难题。
(二)安全追踪:窥镜视野控制技术在手术器械识别和定位之后,接下来的任务就是通过控制机械臂的位姿实现内窥镜对手术器械的追踪。
跟踪任务需要实现两个目标:第一,安全并实时地追踪手术器械的尖端,确保器械尖端落在内窥镜视野理想区域内;第二,持镜机器人需要对内窥镜的视野方向进行优化并提供尽可能清晰的图像。
为了满足上面的两个目标,研究人员进行了多方面的探索。基于图像雅可比的控制方法是目前应用最广泛的视觉伺服控制技术。哈尔滨工业大学付宜利教授团队通过远心(RCM,Remote Center of Motion)不动点约束对图像雅可比矩阵进行优化,但是该方法不能解决器械尖端深度信息缺失的问题。
为了获取器械尖端的深度信息,法国格勒诺布尔大学Philippe Cinquin教授团队利用先验知识和图像分析的方法成功估计出了器械尖端的深度信息。
但是,上述方法容易出现深度信息估计错误的情况,并且忽略了RCM约束和内窥镜镜头运动之间的耦合关系。而合肥工业大学丁帅教授团队提出的基于跟踪向量的视觉伺服控制方法虽然不需要进行深度估计就能实现内窥镜的位置控制调整,但是该方法忽略了手眼协调的影响。
香港中文大学刘云辉教授团队提出了一种基于数据驱动的内窥镜视野自主控制方法,通过深度学习方法实现器械尖端的深度估计,并利用零空间控制器实现对内窥镜位姿的自主控制。
近几年,基于学习的控制方法得到了学术界的广泛关注。这些方法建立了针对柔性持镜臂关节运动的二次规划模型,同时考虑了器械尖端的跟踪控制、RCM约束以及关节角限制约束等方面。其通过循环神经网络对二次规划问题进行求解,得到柔性持镜臂的期望控制量。
微创手术机器人亟待解决的问题
与未来发展方向
微创手术机器人辅助系统的相关技术已经发展了很多年,部分机器人系统也已经成功应用到临床手术中。现阶段,微创机器人的应用场景主要体现在骨科手术机器人和腔镜手术机器人中。
其中,最具有代表性的骨科手术机器人有脊椎微创机器人和关节微创机器人等,而腔镜手术机器人主要分为腹腔镜机器人、耳鼻喉科手术机器人和血管介入微创机器人等,这也是目前外科手术辅助智能化发展的重点方向。
(一)亟待解决的问题
(二)未来的发展方向(未完,完整内容,请订阅杂志。)
· 文章版权归本编辑部所有,未经授权不得转载。
· 如需获取转载、合作、采访等需求请到微信公众号菜单栏,获得相应信息。
· 您亦可在知网、今日头条、南方号等相关平台上关注我们。
《科技与金融》杂志2022年9月刊
已正式发售
订阅后可查看全文(剩余80%)