1文章基本信息

论文题目：《Flotation froth image segmentation using Mask R-CNN》

论文作者：Behzad Karkari Gharehchobogh, Ziaddin Daie Kuzekanani, Jafar sobhi *, Abdolhamid Moallemi Khiavi

论文来源期刊：Minerals Engineering

期刊分区：SCI 工程技术2区

期刊影响因子：4.8

出版年份：2023年

2研究背景与目标

这篇文章的核心内容是开发了一种基于Mask R-CNN的实时图像分析系统，用于浮选泡沫的分割和气泡尺寸测量，以及“non-loaded bubbles”（无负载气泡）的识别。

本文研究背景：浮选是采矿业中用于从矿石中提取有价值矿物的选择性分离过程。自动控制浮选过程需要实时的泡沫指标信息，如泡沫纹理、运动速度、形状以及气泡的数量和尺寸分布。

本文研究目标是开发一种基于Mask R-CNN的图像分析系统，以实现在工业铜浮选过程中对泡沫中气泡的检测、气泡尺寸分布的测量，以及“non-loaded bubbles”（无负载气泡）的检测。

3实验过程

本文提出一种使用掩膜区域卷积神经网络(Mask R-CNN)分割泡沫图像实例的新方法，开发的框架是Python和Tensor Flow库，用于机器学习。所提出的图像分析系统在一个工业铜浮选回路中进行了安装、测试和验证。通过8张手动分割的图像来评估该方法的性能，并与分水岭算法的结果进行比较。

3.1实例分割模型Mask R-CNN

本文所使用的实例分割模型Mask R-CNN，使用ResNet-101主干网络进行特征提取，并使用特征金字塔网络(FPN)算法提取低级特征(角、轮廓等)以及高级特征(背景、气泡、无负载气泡等)。其结构如图所示。

3.2实验装置设计

实验装置设计如下：在浮选槽上方1.5米处安装了一个Basler相机和一个Basler镜头，为了照亮泡沫表面，使用一个高功率LED环（4000k，9w）。在实验中，使用经典图像处理技术提取主要泡沫图像参数(颜色，泡沫速度，纹理和稳定性)，同时使用深度学习算法进行气泡检测和尺寸分布测量的图像分割。此外，使用一个罩子将泡沫与外部光源隔离。在该方法中，使用经典图像处理技术提取主要泡沫图像参数(颜色，泡沫速度，纹理和稳定性)，同时使用深度学习算法进行气泡检测和尺寸分布测量的图像分割。然后通过Python和WinCC之间建立的OPC UA通信将测量值传输到WinCC HMI。整个浮选过程实时图像分析系统如图所示。

3.3数据收集

数据收集过程如下：从第一个粗选浮选槽的泡沫中录制了100个视频，每个视频持续约一分钟，包含1200至1500帧图像，原始图像的大小为1440*1080像素，平均包含150个气泡；从每个录像中随机选取100张图像，以提供与相应录像相关的代表性样本，总共得到10,000张图像；从10,000张图像中随机选取1000张图像（每100张样本中选取10张），用于深度学习算法的训练；使用LabelMe工具手动分割和标记了1000张图像，总共标记了150,000个气泡。数据集被进一步划分为训练集（70%）、验证集（20%）和测试集（10%）。根据文献(Moolman et al.，1995) ，在手动分割气泡时标记了五种气泡类型。在下图的手动分割结果中图a-e分别代表低矿物含量泡沫、多面体泡沫、理想泡沫、椭圆形泡沫、不规则椭圆形且硬的泡沫。

3.4泡沫分割模型训练

使用Mask R-CNN和ResNet-101作为特征提取器，由于网络有101层和数百万可训练的超参数，因此需要大量的标记图像；另外采用迁移学习，使用在COCO数据集上训练好的网络权重作为起点，进一步微调以识别铜浮选泡沫中的气泡；对Region Proposal Network (RPN)、分类器和掩模生成部分的网络权重进行了训练，在计算机上训练了100个批次。采用迁移学习的原因是可以减少训练网络所需的图像数量，而且减少了训练模型所需的时间，提升模型的分割效率。五种类型的泡沫分割结果如图所示，模型分割结果中图a-e分别代表低矿物含量泡沫、多面体泡沫、理想泡沫、椭圆形泡沫、不规则椭圆形且硬的泡沫。

4实验结果分析

4.1泡沫图像分割结果对比

为了评估该方法在浮选泡沫图像分割中的性能，将所有图像中的10%作为测试图像。Mask R-CNN模型对测试图像的准确率为92.82%。同时选择8张图像手动分割，并与分水岭算法的结果进行比较。从手动分割、分水岭算法和Mask R-CNN算法分割结果的比较中可以看出分水岭算法分割的气泡数量和手动分割(真实值)的差距较大，而使用深度学习分割出的气泡数量的误差会小很多，具体如下表所示。

从下面的对比图也可看出分水岭算法的分割精度并不佳，深度学习方法分割的精度则会高出许多。产生过这种差异的原因是相较于分水岭算法而言，深度学习方法在识别气泡的过程中不需要均匀照明，泡沫颜色和矿石性质的变化对识别结果影响不大；但对于对分水岭算法来说，要求成像条件(包括光源和物体)固定且稳定，但现场的照明条件、颜色和泡沫类别的变化以及泡沫阴影的互相影响会对泡沫的识别造成干扰。因此会造成分水岭算法分割效果不佳。

4.2泡沫尺寸分布

在利用Mask R-CNN方法对浮选泡沫图像进行分割成功后，可以计算出给定图像的各个气泡面积。同时使用Digimizer软件对8张手动分割的图像中每个气泡的面积进行计算，作为基准数据；将二者的结果进行比较，分析两种方法得到的气泡尺寸分布曲线的一致性。从下图可以看出在人工分割图像的基础上，由Digimizer软件计算得到的气泡尺寸分布曲线与Mask R-CNN方法得到的气泡尺寸分布曲线在这8幅图像上都有很好的匹配。

这里使用的Digimizer是一款图像测量和分析软件，可用来测量各种类型的图像，分析各种图像的数据，不仅拥有图像处理功能，还可以精确的完成图像测量任务。

4.3无负载气泡的识别

识别“non-loaded bubbles”（无负载气泡）的作用在于引入新的参数来控制浮选过程中添加化学药品的剂量。无负载气泡的特征在于在光照下具有较高的反射性，呈现出类似于镜子的效果。同时为了更好地识别使用环形光源而非单个光源(实验设施中设置高功率LED环的原因)。为了实现无负载气泡的识别，采用了与上文泡沫分割相同的方法，建立了一种新的无负载气泡识别模型。该模型的识别结果总结在下表中，可见该方法在空载气泡检测中的误差为7.3%。“non-loaded bubbles”（无负载气泡）指的是在浮选过程中没有携带矿物粒子的气泡。无负载气泡的存在会影响浮选过程的效率，因为它们占据了泡沫层的空间，但没有贡献于矿物的富集。

5本文的创新性与局限性

这篇文章展示了如何利用深度学习技术实现浮选泡沫的自动化图像分析，展示了深度学习在图像处理领域的强大能力。其中在研究方法上采用了将深度学习方法和传统的阈值分割以及手工方法做对比，这一方法值得借鉴；

文章在算法层面并无创新之处，但创造性的将其运用于浮选过程中的气泡识别以及无负载气泡识别的场景中，这对于提高矿物加工过程的自动化水平具有重要意义，也为特别矿业领域中处理复杂背景和光照条件下的图像分割问题提供了范例；

此研究依然存在一些局限，在实际工业生产中，由于泡沫的复杂性和多变性，可能会出现一些难以预斜的情况，例如：不规则形状的泡沫或者不同种类的物质会混合在一起，这可能会导致算法的准确性下降，因此需要进一步的研究和优化；论文只针对铜矿浮选过程进行了实验验证，对于其他类型的矿物浮选过程是否适用还需要更多的研究和验证；使用深度学习的方法识别气泡需要更长的处理时间，这可能会影响实时性的实现等。