编辑推荐：
为解决金属表面缺陷检测难题，北京中医药大学的研究人员开展基于光度立体的复杂结构零件表面缺陷检测研究，创建 MSDD 数据集，验证多种检测方法。该研究成果对提升工业检测水平意义重大，推荐科研人员阅读。
北京中医药大学生命科学学院（School of Life Sciences, Beijing University of Chinese Medicine）的研究人员 Lin Wu、Yu Ran 等人在《Scientific Data》期刊上发表了题为 “A dataset for surface defect detection on complex structured parts based on photometric stereo” 的论文。这篇论文在工业生产中的金属表面缺陷检测领域意义重大，为解决该领域长期存在的难题提供了新的思路和方法，有助于提升工业产品质量检测的准确性和效率，推动相关产业的智能化发展。
研究概述
论文提出了一种基于深度学习和光度立体视觉的新型缺陷检测技术，并创建了金属表面缺陷数据集（Metal Surface Defect Dataset，MSDD）。通过频闪光源图像采集（Stroboscopic Illuminant Image Acquisition，SIIA）方法和泰勒级数通道混合器（Taylor Series Channel Mixer，TSCM），将多角度照明图像融合为伪彩色图像，利用通用目标检测器实现端到端的缺陷检测，在 MSDD 数据集上验证了四种目标检测方法，平均精度均值（mAP）达到 86.1% ，超越了传统方法。
研究背景
在工业生产中，表面缺陷检测对确保金属零件的美观质量和机械完整性至关重要。像炉渣夹杂、凹痕、裂纹、铸造不足和点蚀等常见缺陷，会严重影响产品性能，甚至带来严重的安全隐患。美国国家公路交通安全管理局（NHTSA）2022 年年度召回报告显示，美国因质量问题召回了超过 3080 万辆汽车，给汽车行业造成了超过万亿美元的经济损失。
自动光学检测（Automated Optical Inspection，AOI）技术在金属产品表面缺陷检测中日益重要，相比人工检测，它具有效率高、节省劳动力成本、受主观干扰小等优势。AOI 系统的基本原理是利用金属表面的光学特性，在特定光学成像条件下，缺陷会呈现出与背景不同的图像特征，进而通过 2D 成像系统和 3D 成像系统来识别和定位缺陷。
2D 成像系统在该领域的研究起步较早，以往研究多基于此进行缺陷检测，其依赖朗伯反射模型，通过明场、暗场、漫反射和背光等照明技术获取 2D 图像，根据缺陷与背景的亮度对比来识别和定位缺陷。基于 2D 成像技术建立了一些表面缺陷检测数据集，如东北大学表面缺陷数据库（NEU-DET）和 GC10-DET ，这些数据集被用于通用目标检测模型的表面缺陷检测研究。然而，2D 成像系统存在明显局限性，其光学系统对光照方向角度极为敏感，检测结果依赖光学工程师的专业知识，可靠性欠佳；而且 2D 图像缺乏深度和 3D 信息，难以区分阴影和污渍，导致误检率较高。
为解决 2D 成像系统的问题，3D 成像技术逐渐应用于表面缺陷检测研究。3D 成像技术利用深度信息提升表面缺陷检测系统的分辨率，不同成像模态相互补充，基于复合光源成像方案的光度立体（Photometric Stereo，PS）方法等被提出。PS 方法利用三个空间不同但照明相同的光源，根据测量表面的梯度构建深度信息，获取 3D 深度图像信息。还有研究采用结构光、立体视觉和扫描方法进行 3D 缺陷检测。这些研究取得了一定成果，并应用于冷轧、热轧钢带和高温连铸板坯等产品的生产检测中。但目前该领域仍处于发展初期，多数研究集中于平面结构产品，对于复杂 3D 结构零件的缺陷检测还面临诸多挑战。比如，复杂结构和多样的缺陷类型使得 2D 成像系统难以应对，3D 成像系统也因工作范围有限、视野受限和空间分辨率不足，在在线实时检测任务中适用性受限；照明路径的配置依赖光学工程师的主观经验，检测结果不稳定；同时，大规模、标准化的金属表面缺陷检测数据集稀缺，3D 传感器硬件成本高，相关数据集难以公开获取，限制了 3D 成像技术的广泛应用。
研究方法
- 光学成像：研究人员提出基于光度立体的 SIIM 方法，使用 m 个 CCD 相机和 n 个围绕检测对象圆周排列的光源。实际应用中，相机和光源在不同高度，从多个垂直和水平角度照明，可编程逻辑控制器（PLC）同步光源频闪和相机拍摄，每秒 30 帧（FPS），0.96 秒内可完成图像采集，满足铝合金铸造生产线每小时 300 件的生产周期要求。该方法基于经典光度立体原理，通过不同光源下各点亮度变化估计表面各点的法向方向和反射率，进而求解表面深度信息。
- 图像混合：提出 TSCM 将三个通道的图像组合成 RGB 伪彩色图像。n 个光源循环对称排列，相邻光源夹角为 T。光源依次闪烁，采集不同照明角度的图像并堆叠成张量，经过通道移位和 TSCM 处理，输出的张量分别作为混合图像的红、绿、蓝通道。TSCM 结构包含非线性激活层和线性激活层，非线性层采用四阶泰勒级数展开，相比传统 CNN 架构中的多层感知器（MLP）结构，能避免梯度消失和爆炸问题，网络收敛更稳定。此外，利用向量量化变分自编码器（VQ-VAE）对 TSCM 进行参数优化，通过多种损失函数提升图像混合质量。
- 特征提取（可选）：提出相位不变特征模块（Phase-Invariant Feature Module，PIFM），用于提取对色调变换不变的浅层特征信息，消除缺陷检测模型对光照角度的敏感性。PIFM 可直接利用潜在变量 z 重建图像以减少信息损失，通过量化损失构建离散稳定的潜在空间，使模型学习到对光照变化不敏感的特征，该模块可轻松集成到其他目标检测网络中。
- 数据预处理：研究收集了 1507 个有缺陷的金属零件图像，由六个相机在不同光照条件下多次拍摄，形成初始大数据库。使用高分辨率相机（最高 2560×1920 像素）可检测小至 0.5mm 的缺陷。采用滑动窗口技术将图像分割为 640×640 的补丁，有 15% 的重叠以确保完整检测缺陷。对图像进行轻微扭曲、缩放和剪切处理，去除产品标识，实验表明这些操作不影响缺陷检测性能。
- 数据标注：数据标注工作由两名专业训练的检查员和一名质量监督员完成。检查员先手动确认零件缺陷，再独立标注增强后的图像，通过计算标注框的交并比（IoU）判断是否需要质量监督员审核，最终确定标注结果。
- 缺陷检测：将 TSCM 混合的 RGB 伪彩色图像输入通用目标检测模型进行训练和检测。为融入 PIFM 并实现端到端优化，可将传统缺陷检测模型骨干网络的 P1 - P3 阶段替换为 PIFM。研究在 FCOS、YOLOv5、YOLOv8 和 RT - DETR 等模型上进行测试，利用 Ultralytics 框架快速构建目标检测网络，该方法具有良好的通用性和可扩展性，通过预训练模型的特征提取层可提高收敛速度和检测精度，色调变换在张量上实现，保证了端到端的可优化性。
研究结果
- 数据记录：整个数据集存储在 “datasets” 文件夹中，包含 “OrigImages”（多角度照明图像）、“JPEGImages”（混合伪彩色图像）和 “Annotations”（注释文件）三个子文件夹。数据集已上传至科学数据银行，可通过https://doi.org/10.57760/sciencedb.10794访问。数据集涵盖八种缺陷类型，注释文件采用 VOC 格式，包含图像文件名、尺寸、缺陷类别和边界框位置等信息。
- 技术验证：在配备 Intel Xeon (R) Silver 4110 CPU @ 2.10 GHz 处理器、32 GB 内存、24 GB NVIDIA GeForce 3090 GPU 和 Windows 10 操作系统的计算机上，使用 Pytorch 1.10.1 框架进行实验。将 MSDD 数据集按 4:1 的比例分为训练集和测试集。
- 消融实验：对比不同混合方法对测试集重建图像误差和缺陷检测平均精度均值（mAP）的影响。结果表明，TSCM 使峰值信噪比（PSNR）提高了 6.02 - 6.03 ，向量量化层对重建质量影响不明显，但使缺陷检测的平均精度提高了 1.6% 。
- 与先进模型对比：将该方法与 FCOS、YOLOv5、YOLOv8 和 RT - DETR 等先进通用目标检测网络对比。结果显示，使用静态混合 RGB 图像的缺陷检测方法优于直接输入原始图像训练，PIFM 模块相比静态混合方案使平均精度提高了 4.1% - 5.5% ，端到端优化的通道混合器进一步使平均精度提高了 1.1% - 2.1% 。在 MSDD 数据集上，YOLOv8 - l 网络表现最佳，mAP50 达到 0.854 ，YOLOv8 - m 网络精度与 YOLOv8 - l 相近，但检测速度更快，综合性能最优。不同缺陷类型受方法改进的影响不同，相位变换对 estamp collapse 和 parting line crack 缺陷的平均精度提升约 1% ，对 dent 和 inclusion 缺陷的平均精度提升高达 18.7% 。
- 数据集对比：与 NEU - DET 和 GC10 - DET 相比，MSDD 数据集不仅包含大量灰度图像，还有带深度信息的 RGB 伪彩色图像，缺陷类型更丰富，图像尺寸为 640×640 ，适用于非平面结构，为非平面材料表面缺陷检测提供了更有力的支持。
研究结论与讨论
研究人员成功提出了一种创新的基于深度学习和光度立体视觉的金属表面缺陷检测技术，创建了高质量的 MSDD 数据集，并通过一系列实验验证了该方法的有效性。该技术的优势明显，SIIA 方法结合 TSCM 能够从多角度采集图像并融合为含深度信息的伪彩色图像，增强了对不同光照条件的适应性；MSDD 数据集涵盖多种缺陷类型，为模型训练提供了丰富数据，保障了模型性能；方法具有良好的可扩展性，适用于不同架构的目标检测模型，能够在复杂几何形状和不同光照条件下检测缺陷。
然而，研究也存在一些局限性。SIIA 方法在高反射表面上存在问题，光源反射会干扰缺陷检测；数据集存在数据不平衡问题，可能影响模型对不同缺陷类型的泛化能力。针对这些问题，未来研究可从以下方向展开：持续收集数据以解决数据不平衡问题，提高模型对稀有缺陷类型的检测能力；对更多非 金属材料进行测试，验证方法的适用性；优化网络架构或增加训练数据多样性，进一步提高模型检测精度，以满足工业生产的严格要求。
总体而言，这项研究为金属表面缺陷检测领域带来了新的突破，其成果对于推动工业自动化检测技术的发展具有重要意义，有望在实际生产中广泛应用，提升产品质量检测的准确性和效率，减少因产品缺陷导致的经济损失和安全隐患。
