医学图像分析在图像引导干预中起着重要作用。医学图像分析包括图像分割，图像或检查分类，解剖对象定位和医学图像注册。深度学习算法，特别是卷积网络，已经迅速成为分析医学图像的首选方法.

分割是医学图像分析中高度相关的任务。自动划分感兴趣的器官和结构通常需要执行视觉增强，计算机辅助诊断，干预和从图像提取定量指标等任务。深入学习算法最近已被用于医学图像分割

图像或考试分类是深入学习对医学图像分析做出重大贡献的第一个领域之一。图像或检查分类通常集中于将小部分医学图像分类为两个或更多个类别（例如结节分类）。对于许多这些任务，需要本地信息和全局上下文信息才能进行准确的分类。

检测图像中感兴趣或病变的物体是诊断的关键部分，是临床医生中劳动密集度最高的一个。通常，任务包括在整个图像空间中的小损伤的定位和鉴定。计算机辅助检测系统的研究传统很长，旨在自动检测病变，提高检测精度或减少人类专家的阅读时间。

医学图像的注册是一种常见的图像分析任务，其中从一个医学图像到另一个医学图像计算坐标变换。通常这是在一个迭代框架中进行的，其中假定了一种特定类型的（非）参数变换，并且优化了一个预先确定的度量。一般来说，目前的文献中普遍存在两种策略：（1）使用深度学习网络来估计两幅图像的相似性度量，以推动迭代优化策略，（2）使用深层回归网络直接预测变换参数。

医学图像分析中的其他任务包括基于内容的图像检索（CBIR），图像生成和增强，并将图像数据与报告相结合。