利用神经网络机器学习方法通过鱼皮对血液进行高光谱成像

《Journal of Spectroscopy》：Hyperspectral Imaging of Blood Through Fish Skin Using a Neural Network Machine Learning Approach

本研究提出一种基于交互式高光谱成像的神经网络模型，用于检测鱼肌肉中的残余血液浓度，尤其解决鱼皮遮挡带来的散射和光路长影响。通过对比约束光谱混元法（CSCM）和神经网络模型，发现神经网络在处理高血液浓度（>2 mg/g）及皮肤遮挡样本时表现更优，其预测结果与已知的血红蛋白吸收光谱高度吻合。实验验证了神经网络在商业鱼品加工线上的可行性，可自动评估整条鱼或鱼片的质量，减少因血液残留导致的食品浪费和经济损失。

　　本研究提出了一种新颖的模型，用于通过交互式高光谱成像技术确定鳕鱼鱼肉和整鱼中的残留血液浓度。残留血液的含量与分布是影响鱼类品质的重要参数，它受到捕捞和屠宰过程中机械创伤、粗糙处理、鱼类应激、放血程序和时间等多种因素的影响。随着从人工屠宰场向机械化生产线的转变，血液斑点和残留血液在鱼肉中的出现频率显著增加，这对鱼类的质量控制带来了挑战。残留血液不仅会导致鱼肉变色，影响消费者的接受度，还可能在储存过程中催化脂质氧化，导致鱼肉出现异味和口感下降，从而造成经济损失和食品浪费。此外，缺乏对单次捕捞中鱼类品质的详细信息，使得品质与价格之间的关系变得模糊，进而影响了离船市场的表现，造成大量低品质鱼类被浪费。

为了提高鱼类质量评估的效率和准确性，非侵入式、自动化的检测方法成为研究重点。高光谱成像作为一种记录光与样品在电磁波谱范围内相互作用的仪器技术，已被广泛应用于非侵入式化学和生物成分的量化分析。例如，在癌症检测和卫星遥感中的异常识别等领域，高光谱成像展现了其独特的优势。在食品加工行业中，它特别适合于在传送带上进行实施，因此成为质量控制的重要工具之一。以往的研究表明，受限的光谱解混方法在解析鱼肉中空间变化的血液浓度方面具有良好的效果，这种技术已在白鱼行业中用于评估不同因素对鱼肉质量的影响。

然而，受限的光谱解混方法在处理通过鱼皮进行成像的复杂问题时存在一定的局限性。鱼皮的结构复杂，包含表皮、黏液细胞、角质细胞、真皮和重叠的鳞片，这些结构使得光通过鱼皮的衰减和传输难以通过先验知识进行预测。在处理鱼皮覆盖的样本时，简单的多项式散射修正模型可能不足以准确描述光的非线性传输过程。此外，反射或交互式成像相较于透射成像，光程更长，这会增加光子的吸收事件和因材料折射率差异导致的费涅尔反射损失，从而影响成像质量。尽管如此，交互式成像系统在工业生产线上更容易实现，因此仍具有重要应用价值。

针对上述问题，本研究提出了一种基于全连接神经网络的模型，该模型在高光谱图像的像素级别上进行操作，旨在提高通过鱼皮检测血液浓度的灵敏度和准确性。该模型通过一系列受控实验进行训练，其中样本的血液浓度已知，成像时包括鱼皮覆盖和未覆盖的情况。研究发现，神经网络模型在处理通过鱼皮的血液浓度预测时表现更为出色，其预测结果与实际血液浓度之间具有较高的相关性。此外，模型的敏感度分析表明，其对血液的检测能力在鱼皮覆盖的情况下仍保持稳定，能够有效识别血液含量较高的区域。

在实验过程中，研究人员使用了两种高光谱相机进行成像，分别适用于实验室和工业场景。实验室使用的HySpex VNIR-1024相机具有1024个空间像素和216个光谱波段，覆盖范围为410至989.17纳米。而工业用的Maritech Eye系统则使用了88个光谱波段，覆盖范围为486.6至955.98纳米。为了减少光照不均匀和光谱特性变化的影响，图像预处理包括暗场减去、白参考样本的平均光谱除法，以及将图像单位从反射率转换为吸光度。此外，通过减去零阶多项式，研究人员进一步规范了光谱基线，以提高模型的鲁棒性。

在训练神经网络模型时，研究人员采集了83个未覆盖鱼皮的样本和42个覆盖鱼皮的样本，并手动分割图像区域，将它们与对应的血液浓度数据关联。同时，还引入了18个背景光谱，以提高模型对背景区域预测为零血液浓度的准确性。由于覆盖鱼皮的样本较少，研究者采用权重向量对样本进行平衡，以确保模型在训练和验证过程中能够公平地处理样本数量的不均衡。此外，为了强调高血液浓度样本的重要性，研究者将这些样本的权重乘以其浓度，以确保模型能够更好地捕捉高浓度血液的非线性特征。

研究还发现，使用三次多项式散射修正模型在处理鱼皮覆盖样本时表现最佳。这是因为水的吸光度在930纳米以上占据主导地位，而血液的吸光度则在这一波段以下更为显著。此外，通过测试不同波段范围，研究者发现440至930纳米的波段范围在血液浓度预测方面表现最佳，且能够将不同鱼皮覆盖的样本沿着较为一致的趋势进行分类。然而，当样本的血液浓度较高时，受限的光谱解混方法会出现饱和效应，导致血液浓度与吸光度之间的非线性关系难以准确捕捉。相比之下，神经网络模型在处理这些复杂情况时表现更为稳定和准确。

为了进一步验证模型的有效性，研究者将其应用于真实世界的数据集，包括整鱼、去头去内脏鱼和鱼片。通过对比神经网络模型与受限的光谱解混方法的预测结果，研究者发现神经网络模型在预测鱼皮覆盖区域的血液浓度方面具有更高的敏感度和精度。在实际应用中，神经网络模型能够识别出专家评估中发现的严重质量问题，例如由破裂的鱼鳔引起的血液渗出和组织损伤。此外，研究者还发现，通过神经网络模型预测的血液浓度与鱼片中的血液浓度之间具有较高的相关性，尤其是在鱼片的肌肉侧进行成像时，预测结果更加一致和可靠。

在实际应用中，研究者还发现，神经网络模型在处理不同鱼片侧的血液浓度预测时表现良好。尽管鱼片的两侧在成像时可能受到不同的光照和散射影响，但神经网络模型仍然能够捕捉到较为一致的血液浓度趋势。相比之下，受限的光谱解混方法在处理鱼皮覆盖样本时表现出较低的敏感度，特别是在血液浓度较高的情况下，其预测结果与实际值之间存在较大的偏差。这表明，受限的光谱解混方法在处理通过鱼皮的血液浓度预测时存在一定的局限性，而神经网络模型则能够更有效地处理这些复杂情况。

此外，研究者还发现，神经网络模型在处理不同类型的鱼肉样本时表现良好，包括不同部位和不同处理方式的样本。例如，在处理经过化学处理的样本时，模型能够准确预测血液的不同氧化状态，如脱氧血红蛋白和亚铁血红蛋白。这表明，神经网络模型不仅能够捕捉到血液浓度的整体趋势，还能够区分不同血液成分的特征。这一能力对于食品加工行业中的质量控制具有重要意义，因为它可以更全面地评估鱼肉的品质，从而减少因血液残留导致的食品浪费和经济损失。

研究还指出，尽管神经网络模型在预测血液浓度方面表现出色，但其作为一种“黑箱”模型，缺乏可解释性。因此，研究者通过计算模型的偏依赖性，分析不同波长对血液浓度预测的影响。结果显示，血液浓度预测与血红蛋白的吸光度曲线高度相关，尤其是在特定波长范围内，如440至930纳米。这一发现进一步支持了模型的有效性，并表明其能够捕捉到实际的化学效应。

研究还发现，神经网络模型在处理不同鱼片侧的样本时表现良好，尽管某些区域可能因鱼鳍的遮挡而受到影响。然而，通过将鱼片两侧的血液浓度预测结果进行平均，研究者能够获得更准确的整体血液浓度评估。这表明，神经网络模型不仅适用于单一鱼片的预测，还能够处理整鱼和去头去内脏鱼的血液浓度检测，为食品加工行业提供了一种更为全面的解决方案。

本研究的意义在于，它提供了一种非侵入式的、自动化的高光谱成像方法，用于检测鳕鱼鱼肉和整鱼中的残留血液浓度。这一方法能够有效应对鱼皮带来的光传输复杂性，提高检测的精度和可靠性。同时，研究还强调了受控实验在约束灵活的非线性模型中的重要性，通过这些实验，研究人员能够更好地理解光与组织之间的相互作用，并为模型的优化提供依据。

在实际应用中，该模型的高灵敏度和准确性能够帮助食品加工企业更好地控制产品质量，减少因血液残留导致的食品浪费和经济损失。此外，研究还表明，神经网络模型在处理不同鱼肉样本时具有良好的适应性，能够有效捕捉不同血液成分的特征。这为未来的研究提供了方向，例如开发能够区分不同血液成分的模型，以进一步提高血液浓度预测的精确度。

总的来说，本研究通过引入神经网络模型，解决了传统受限光谱解混方法在处理鱼皮覆盖样本时的局限性，提高了高光谱成像在鱼类质量评估中的应用潜力。研究结果不仅为食品加工行业提供了新的技术手段，也为进一步研究光与组织相互作用的复杂性奠定了基础。未来的研究可以进一步探索不同鱼类品种、季节和新鲜度对血液浓度预测的影响，以及不同成像参数对模型性能的影响，以提高模型的适用性和鲁棒性。