岩石薄片矿物鉴定是地质勘探和岩石学研究的基础工作。 传统的矿物鉴定主要依靠通过光学显微镜进行人工鉴定，耗时长、效率低，且受到鉴定人员工作经验的限制。
随着人工智能技术的快速发展，深度学习方法使计算机能够自动从图像中提取更准确的语义信息，从而为岩石薄片图像的智能分析提供了有效途径。
提出一种基于深度学习的岩石薄片矿物自动识别方法。 它利用深度卷积神经网络自动提取岩石薄片图像中不同矿物的有效特征，并对其进行语义分割和识别。 它综合利用单偏振和正交两种偏振光图像实现矿物的自动识别。 在南京大学岩石教学薄片显微图像数据集上进行了矿物鉴定测试。 结果表明，总体准确率为86.7%，Kappa系数为0.818。 识别结果比传统的图像分类方法更加准确。
------内容大纲------
0 前言
1 个数据集
2 矿物鉴定方法
2.1 基于CNN的矿物颗粒语义分割
2.2 单偏振和正交偏振语义分割结果融合
3 对比实验与讨论
3.1 深度学习与极大似然法的比较
3.2 单偏振与交叉偏振融合对比
4。结论
----------------
0 前言
矿物鉴定是岩石分类和命名的重要依据，也是了解岩石形成机制、物质迁移和演化历史的基础。 它在采矿学、岩石学、火山学等地质学科中发挥着极其重要的作用。 通常，先将岩石磨成薄片，然后专业人员在单偏振光和交叉偏振光下从不同角度观察待鉴定矿物的颜色、纹理、消光角、形状等特征，从而获得矿物信息。效率低下且取决于专家经验。 除光学显微镜外，X射线衍射（XRD）、扫描电子显微镜-能量色散X射线光谱仪（SEM-EDX）、MLA、电子探针、拉曼光谱等分析方法也可以更准确地分析矿物成分的岩石样本。 定量分析，但价格昂贵，人工成本和时间成本较高，仅适合样本数量较少的情况。 近年来，随着深度学习在数字图像处理领域的发展，利用计算机快速自动识别岩石切片图像上的矿物已成为可能。 矿物自动识别可以有效提高岩石学基础研究工作效率，避免受识别专家主观因素影响，支撑和推动“大数据+人工智能”范式在岩石学领域的应用。
目前，针对岩石薄片图像自动矿物识别的研究较多。 最常见的方法是首先依靠人工干预提取矿物特征，然后利用图像算法学习特征并建立矿物识别模型，实现矿物的自动识别。 总体而言，识别方法经历了从依赖单一颜色特征到依赖颜色、纹理、亮度等多种特征协同识别的转变。例如，基于这三种特征，采用最大似然分类方法识别了四种矿物。矿物图像的原色（RGB）特征。 使用人工神经网络（ANN）方法根据色调-饱和度-强度（-，HSI）颜色空间识别10种矿物。 通过比较矿物在RGB、色调-饱和度-高度(HSV)和三种颜色空间中的识别效果，提出了一种基于RGB和HSV颜色分量并对矿物进行分类的ANN方法。 然而，对于某些矿物，仅凭颜色特征很难区分。 因此岩石物理学基础，后续研究进一步增加了矿物的纹理特征，以提高识别精度。 例如，IZADI 等人。 提出了基于颜色和纹理特征的2个ANN级联的矿物识别方法，取得了可靠的结果。 基于颜色和纹理特征，通过最近邻算法和决策树算法实现矿物识别。 后来为了提高识别准确率，又加入了更多的图像特征。 例如，他们根据颜色、纹理和亮度特征比较了三种机器学习算法对沙子样本中矿物颗粒的识别效果。 鲁博等人。 从离散卷积滤波器中提取了 75 个卷积特征，结合 5 个非卷积特征，并使用 ANN 和随机森林方法来识别碳酸盐薄片中的矿物和孔洞。
近年来，以卷积神经网络（CNN）为代表的深度学习方法发展迅速，在数字图像处理领域显示出巨大优势。 CNN方法不需要人工干预，可以自动从图像中捕获大量特征，并通过多层卷积运算在大感受野中积累丰富的上下文信息，非常适合图像特征的学习和表达。 目前，深度学习方法已成功应用于数字岩相学相关研究，如岩石分类、矿物识别等，并取得了比传统图像算法更准确的结果。 苏等人。 提出了一种基于岩石薄片图像的级联卷积神经网络（Con-CNN）进行岩性分类，取得了良好的效果，总体准确率达到89.97%。 此外，CNN在矿物识别方面的应用也有很多探索，涵盖了不同尺度的矿物图像识别，即以手工标本图像为代表的宏观尺度矿物识别和以岩石薄片显微为代表的微观尺度矿物识别。图片。 矿物鉴定。 宏观矿物识别常用于解决多幅矿物图像之间的分类问题。 例如，基于V3模型，Peng 等人。 引入中心损失函数作为收敛条件来限制模型，实现了16类常见手标本矿物图像的识别。 冈田等人。 使用高光谱相机捕获矿物图像，设计了CNN来区分黄铜矿、方铅矿和赤铁矿，并对不同粒径的赤铁矿进行了分类。 显微矿物鉴定既包括对某种矿物的精提炼，也包括对多种矿物的鉴定。 例如，陈等人。 使用具有修正权重函数的 U-Net 架构来解决页岩薄片后向散射图像中粘土复合体与矿物基体的分离问题。 由于两者的灰度级相似，无法使用传统方法。 图像阈值算法分离。 郭彦军等. 使用-18研究了岩石薄片单偏振光图像上五种常见矿物的识别。 研究了基于深度卷积神经网络（deep，DCNN）耦合的图像分类和目标识别任务，可以同时定位和识别多个碳酸盐岩切片图像中的6至9种矿物颗粒、基质和胶结物。
现有研究表明，CNN方法在岩石薄片图像矿物自动识别方面显示出巨大的潜力和优势，但仍面临诸多挑战。 首先，自然界矿物的形态复杂多样，图像的形状、大小、颜色、纹理等特征千差万别； 其次，矿物在不同光属性下的特性没有得到充分、综合的利用。 基于此，本文提出了一种用于岩石薄片图像自动矿物识别的深度学习方法。 通过构建基于CNN的语义分割网络，自动提取矿物的多尺度复杂特征和语义信息，并分别利用矿物的单偏振光图像和正交偏振光图像进行矿物识别建模。 通过融合不同的光学图像，获得更准确的识别结果。 在南京大学岩石教学薄片显微图像数据集上的测试结果表明，该方法总体准确率为86.7%，Kappa系数为0.818。 对比实验结果表明，该方法的矿物识别准确率和效率较高。
1个数据集
岩石薄片图像来源于南京大学岩石教学样本显微图像数据集，其中包括28种沉积岩、40种火成岩、40种变质岩的单偏振图像和交叉偏振图像。 每幅图像的大小为1280像素×1024像素。 。 岩石样品主要来自我国，采集于1970年至2019年间，然后制成薄片。 岩石薄片的偏光显微照片分别拍摄于2014年和2019年。
由于火成岩数据基本涵盖了常见的造岩矿物，因此它不仅是岩石分类和命名的重要依据，也是了解岩石的化学成分、成因和成矿作用的基础。 因此，将火成岩切片0°处拍摄的透射单偏振图像和透射交叉偏振图像分别作为训练样本和测试样本。 岩片有石英闪长岩、花岗闪长岩、花岗岩、石英二长岩、黑云母花岗岩等。
通过人工显微镜识别对数据集中的部分图像进行矿物标注，并作为深度学习网络的训练样本。 总共标记了9种矿物，包括石英、斜长石、碱性长石、角闪石、黑云母、绿泥石、不透明矿物、孔洞等。 为了方便深度学习网络的使用，将带注释的矿物标签图像及其对应的单偏振和交叉偏振图像统一裁剪为512像素×512像素的子图像，最终得到330组（单偏振+交叉偏振） + 标签图）数据。
2 矿物鉴定方法
由于矿物图像特征复杂多变，为了在识别过程中充分提取特征，提出一种岩石薄片图像中矿物的自动识别方法。 如图1所示，该方法的结构主要分为两部分：（1）构建深度卷积神经网络，通过多层深度卷积运算自动挖掘和提取图像的低层和高层特征，在保持图像原始拓扑位置的同时，在不改变关系的情况下学习矿物的大量特征，最终通过图像语义分割得到岩石薄片图像的像素级矿物识别结果； (2)基于矿物的单极化特征和交叉极化特征是区分矿物类型的重要依据。 ，人工识别需要结合不同的光学特性进行判断。 因此，语义分割网络分别针对单偏振图像和正交偏振图像进行训练。 在此基础上，采用软投票方法进行图像融合，综合利用不同的光学图像特征，以获得更准确的识别结果。
图1 基于深度学习的矿物自动识别方法结构
2.1 基于CNN的矿物颗粒语义分割
矿物颗粒语义分割网络整体遵循+网络结构，如图2所示。网络结构为编码器-解码器结构。 首先在编码器中提取图像的多尺度语义特征，然后在解码器中重构多尺度语义特征的空间信息，使得网络输出的预测图像的空间分辨率一致与原始输入图像相同。
图2 语义分割网络结构
网络输入数据为单偏振图像或正交偏振图像（一张偏振图像训练网络模型），主干网络在编码器中进行初步特征提取。 主干网络选择-101的前五个卷积模块。 除第一个模块为7×7卷积层外，其余四个模块均由不同数量的残差瓶颈结构堆叠而成，如表1所示。 残差的学习可以避免网络层数堆叠较深时出现梯度消失和梯度爆炸的现象，帮助网络更充分地提取图像中的局部细节特征。
表1 骨干网结构
注[]表示残差瓶颈卷积核的大小和通道数。
然而，仅通过局部细节特征来识别矿物是不够的。 通常，自然图像上的矿物特征具有很强的随机性，需要通过更深层次的语义抽象来进一步描述其特征。 为此，在主干网络之后，添加了空洞空间金字塔池化（ASPP）模块，以提取更多的统计深层语义信息。 ASPP 用空洞卷积代替了传统的卷积。 卷积核可以在不增加参数和模型复杂度的情况下，指数级扩大感受野，从而避免牺牲图像中过多的空间分辨率。 这意味着可以在任何分辨率的图像上有效地提取空洞卷积密集特征。 在此基础上，ASPP采用了4个不同扩张率的并行扩张卷积，即1个1×1卷积和3个3×3卷积（扩张率分别为6、12和18）。 然后对其进行全局平均池化和卷积融合，以获得大规模、多尺度的语义信息。
通常，通过ASPP提取的特征信息比较抽象，通道数非常多。 它缺乏包含图像边缘特征的局部详细信息。 因此，输入到网络解码器时，需要经过一个1×1的卷积层，以减少通道数。 数，然后融合主干网络提取的图像的低级特征，以补充缺失的局部细节信息。 对于融合后的特征图，采用3×3卷积降低特征通道维度，并采用双线性插值上采样将其恢复为与输入图像大小相同的矿物语义分割结果。 结果实际上是一组多通道矿物类别归属概率图。 通道的数量等于可识别矿物类别的数量。 每个通道上图像的像素代表该像素属于某个矿物类别的概率。
2.2 单偏振和正交偏振语义分割结果的融合
为了有效融合不同的光学特性，获得更准确的矿物识别结果，采用软投票方法对单偏振图像和交叉偏振图像获得的像素级矿物识别结果进行处理。 软投票方法允许从多个加权分类器的预测概率聚合中选择概率最高的类别作为模型的最终预测结果。对于软投票方法融合的矿物预测图像的每个像素j，矿物它所属的类别Cj是
其中岩石物理学基础，WPPL和WXPL=1−WPPL分别表示单偏振图像和正交偏振图像训练的矿物识别模型的权重，它们的最优值可以通过实验得到； PPPL和PXPL分别表示单偏振图像和正交偏振图像训练的矿物识别模型的权重。 偏振模型预测该位置的像素属于每个矿物类别的概率。 将两组的加权概率分别相加，取概率最大的矿物类别作为融合类别。
3 对比实验与讨论
设计2组对比实验：（1）比较深度学习与传统图像分类方法最大似然法在识别精度上的差异，验证深度学习方法在解决复杂问题时的优势。 (2)比较单极化深度学习模型与融合软投票模型识别准确率的差异，验证模型融合的改进效果。
采用深度学习框架，将数据集按照7:1:2分为训练集、验证集、测试集，并采用平移、旋转、缩放等组合方式放大训练设置5倍，使网络能够充分学习各种矿物的特性，避免过拟合。 最终得到两个网络，即单偏振图像语义分割网络和正交偏振图像语义分割网络。 训练过程中，两个网络使用相同的超参数，即基础学习率为0.00001，梯度优化算法为Adam，权重衰减项为0.0001，训练次数为100个epoch，并对训练结果进行评估每迭代 5 个 epoch。 一验证。 最大似然法采用ENVI图像处理软件，其训练样本和测试图像与本文方法相同。
采用像素级验证方法，从随机选取的测试集切片图像中随机选取4万个像素（约占每幅图像总像素的15%）作为验证样本，计算混淆矩阵和分类指标。
3.1 深度学习与极大似然法的比较
采用混淆矩阵、总体精度（OA）、Kappa系数等指标来衡量两种方法对单偏振图像和交叉偏振图像的矿物识别精度。 这些指标是图像分类和物体识别领域的主要验证指标，表明分类器的性能。 其中，混淆矩阵可以详细反映分类模型的性能，其中列代表预测类别，行代表真实类别。 通过混淆矩阵，我们可以清楚地看到正确分类的矿物像素的数量以及错误分类的类别和数量。 矩阵对角线上的值越高，模型给出的像素数就越正确。 基于混淆矩阵，进一步计算模型的OA和Kappa系数。 OA反映正确分类像素数之和占像素总数的比例，只统计混淆矩阵对角线方向正确分类像素数。 Kappa系数既考虑了对角线方向上正确分类的像素，也考虑了对角线方向外的各种误分类和漏检的像素，对于综合评价更有意义。 一般来说，Kappa系数大于0.8表明模型具有良好的性能。
基于深度学习得到的单偏振网络模型和正交偏振网络模型的混淆矩阵如图3所示。基于最大似然法得到的单偏振分类模型和正交偏振分类模型的混淆矩阵如图3所示如图4所示。为了便于标准化测量，将混淆矩阵中像素数的比例转换为0比1。
根据这四个混淆矩阵，分别计算出它们的OA和Kappa系数，如表2所示。从表2可以看出，对于单偏振模型，深度学习方法的OA比传统方法提高了22.1%。最大似然法，Kappa系数提高26.3%； 对于正交极化模型，深度学习方法的OA高于最大似然法。 增加了29.3%，Kappa系数增加了36.3%。 结合图3和图4可以看出，深度学习方法在混淆矩阵和整体模型中多种矿物的识别精度方面均优于最大似然法。 说明深度学习方法在矿物识别中具有更强的应对能力，能够取得更好的识别结果。
图3 基于深度学习的单极化网络模型和正交极化网络模型的混淆矩阵
图4 基于最大似然法得到的单偏振分类模型和正交偏振分类模型的混淆矩阵
3.2 单偏振与交叉偏振融合对比
为了获得用于不同光学图像矿物识别的融合模型，首先需要对融合模型中单偏振模型和正交偏振模型的权重进行实验，以获得最佳比例。 为此，取0.1作为步长，当单偏振模型的权重从0.1变化到0.9时，融合模型的识别精度变化趋势如图5所示。从图5可以看出，随着单偏振模型权重的增加，融合模型的精度先增加后降低。 当单偏振模型权重为0.4、正交偏振模型权重为0.6时，融合模型精度最高。 这个结果是合理且可以解释的。 结合表2可知，基于深度学习得到的正交极化模型的OA和Kappa系数均高于单一极化模型的OA和Kappa系数，因此正交极化模型的权重比例相对较小。 大的。
图5 OA、Kappa系数与单偏振模型权重的关系
表2 本文深度学习方法与最大似然法的准确率对比
取单偏振模型权重为0.4，正交偏振模型权重为0.6，计算融合模型的混淆矩阵如图6所示。然后计算融合模型的OA和Kappa系数，如表3所示可以看出，融合模型的OA比单偏振模型高11.3%，比正交偏振模型高6.1%； 融合模型的Kappa系数比单偏振模型高15.6%，比正交偏振模型高6.1%。 7.8%，表明融合模型可以进一步提高识别准确率。
图6 融合模型的混淆矩阵
表3 不同模型精度对比
为了更直观地体现融合模型的矿物识别效果，以霍 16 花岗闪长岩图像矿物识别为例，直观地展示结果，如图 7 所示。从图 7 可以看出（c )和(d)，融合模型的矿物识别结果与人工标注结果吻合较好。 预测的矿物类别和矿物图案形状与人工标注结果基本一致。 比如红框A中的石英、斜长石、碱长石、角闪石、不透明矿物、孔洞等都已经被比较准确地识别出来。 说明本文的模型能够很好地区分这些矿物。 值得注意的是，有些鉴定结果与实际不符。 例如，在红框B中，一些角闪石被错误地归类为黑云母。 这可能是因为角闪石和黑云母在薄片图像中相似。 两者在单偏振光下均呈黄绿色，在交叉偏振光下其干涉色重叠较多。 而且角闪石图像上的局部纹理、形状等特征并不明显，与黑云母造成一定的混淆，导致模型做出错误的判断。
图7 霍16花岗闪长岩单偏光、正交偏光图像及矿物鉴定结果
4。结论
提出一种基于深度学习的岩石薄片矿物自动识别方法。 通过构建语义分割网络，自动学习和提取岩石薄片图像的矿物特征，获得像素级的矿物识别结果。 在此基础上，采用软投票方法融合单偏振图像和交叉偏振图像的识别结果，进一步提高矿物识别的准确率。 利用南京大学岩石教学样品显微图像数据集，实现了石英、斜长石、碱长石、角闪石、黑云母、绿泥石、不透明矿物、孔洞等9种矿物的自动识别。 。 测试结果表明，总体准确率为86.7%，Kappa系数为0.818，优于传统图像分类方法最大似然法的识别结果。 由于深度学习方法主要依赖于大量数据的训练和优化，可以预见，随着标注矿物种类的增加和图像数据的扩大，其矿物识别能力和准确率将不断提高。
