融合光谱信息和图像信息，以实现对多种品种桃子中SSC（某种特定特征）的通用检测

《Journal of Food Composition and Analysis》：Fusion of spectral and image information for generalized detection of SSC in multi-variety peaches

本研究通过融合光谱与图像数据，构建了适用于多品种桃的溶解固形物含量（SSC）预测模型。采用1D-CNN和提出的SIFNet模型，结合H、S、V、L*、a*、b*等颜色特征与光谱数据，优化了特征融合策略。实验表明，SIFNet模型在R2（0.8235）、RMSEP（1.0514 °Brix）和RPD（2.5208）指标上均优于传统PLSR和SVR模型，其中卷积神经网络结合b*颜色特征表现最佳。可视化分析揭示了750 nm和850 nm光谱区与糖分相关的特征，以及颜色信息对模型鲁棒性的提升作用。

　　
### 多品种桃子糖分溶质含量（SSC）的融合光谱与图像预测研究

#### 1. 研究背景与意义
桃子作为重要的经济水果，其糖分溶质含量（SSC）直接影响果实品质和消费者满意度。传统检测方法依赖人工榨汁和折射仪，存在破坏性、效率低等缺陷。近年来，可见/近红外光谱（Vis/NIR）技术因其非破坏性和快速检测特性被广泛应用于农产品品质评估。然而，光谱数据易受果实颜色、表面纹理等干扰因素影响，导致模型泛化能力不足，尤其在多品种桃子检测中表现更差。

该研究聚焦于通过融合光谱与图像数据提升SSC预测精度，并探索适用于多品种的建模方法。通过整合光谱的化学信息与图像的颜色、纹理特征，试图解决单一数据源在跨品种应用中的局限性。

#### 2. 实验设计与数据采集
研究选取三种常见桃子品种（Hujing、Jinqiuhong、Dongxue）进行对比分析，收集了2024年不同产地（江苏无锡、山东龙口、云南大理）的476个果实样本。数据采集包含以下两个关键模块：

**2.1 光谱数据获取**
使用美国Surface Optics公司的SOC710VP高光谱成像仪，覆盖375.53-1041.60 nm波长范围，分256个波段。通过暗场与白板校正消除环境光干扰，并在每个样本表面选取三个非反光区域（顶部、左下底部、右下底部）进行数据采集，以降低表面反光噪声。

**2.2 图像数据采集**
搭建工业相机（型号MV-CS200-10UC）与特定透镜组成的成像系统，波长范围400-1000 nm的可见光与近红外区域。采用双光带照明（45°倾斜角，25 cm距离）确保色度均匀性，通过边缘检测算法（Roberts算子）分离背景，提取L*, a*, b*等色度特征。

#### 3. 数据预处理与融合策略
针对光谱与图像数据的异构性，研究提出两种融合方法：

**3.1 基于线性融合的简单组合**
- **数据拼接（Ref+H）**：将预处理后的光谱数据与色度特征（Hue, Saturation, Value）进行通道级拼接
- **加权乘积（Ref×a*）**：通过标准化处理后，将光谱与色度特征按波段进行加权相乘
- **归一化处理**：光谱数据采用范围归一化（0-1），色度特征通过样本均值标准化

**3.2 深度学习驱动的融合网络（SIFNet）**
提出双分支网络架构：
1. **光谱分支**：采用三级1D-CNN结构，分别通过7×16卷积层、5×32卷积层、3×64卷积层提取宽谱到窄谱的渐进式特征
2. **图像分支**：基于预训练ResNet-18提取高阶语义特征
3. **注意力机制**：引入SE模块，通过全局平均池化与Sigmoid激活函数动态调整特征权重
4. **融合层**：将两个分支的输出通过通道维度拼接，形成统一特征向量

#### 4. 模型构建与评估体系
研究构建了三类预测模型：
1. **传统化学计量模型**：
- PLSR（偏最小二乘回归）：通过正交投影分解实现变量筛选
- SVR（支持向量回归）：采用RBF核函数处理非线性关系
2. **深度学习模型**：
- 1D-CNN：处理一维光谱序列
- SIFNet：融合光谱与图像的双分支网络

**4.1 评估指标**
- 决定系数（R2）：衡量模型解释方差能力
- 均方根误差（RMSE）：评估预测值与真实值的偏差
- 预测偏离度（RPD）：反映模型抗干扰能力（公式简化为：RPD = 标准差 / RMSE）

**4.2 交叉验证方案**
- 训练集与测试集按8:2比例划分
- 采用五折交叉验证优化模型参数（PLSR主成分数、SVR核函数参数、CNN网络深度）
- 特殊处理：针对光谱端的噪声（400-500 nm和950-1000 nm），通过波段裁剪保留有效信号（400-1000 nm）

#### 5. 实验结果分析
**5.1 单品种模型性能**
- **Hujing**：PLSR（Ref+a*）模型表现最优（R2=0.785，RMSEP=0.33 °Brix）
- **Jinqiuhong**：PLSR（Ref+HSV）模型效果最佳（R2=0.6958，RPD=1.8130）
- **Dongxue**：PLSR（Ref+a*）模型达到0.7031 R2

**5.2 多品种模型对比**
| 模型类型 | 数据源 | R2 | RMSEP（°Brix） | RPD |
|----------------|--------------|-------|-----------------|-------|
| PLSR（Ref） | 光谱数据 | 0.741 | 1.24 | 1.80 |
| SVR（Ref×H） | 光谱加权 | 0.792 | 1.11 | 1.88 |
| 1D-CNN（Ref+b*）| 光谱+色度 | 0.803 | 1.15 | 2.25 |
| SIFNet | 多模态融合 | 0.824 | 1.05 | 2.52 |

**5.3 关键发现**
1. **特征重要性分布**：
- 光谱特征：675 nm（叶绿素吸收峰）、965 nm（水吸收峰）、820-850 nm（碳水化合物特征区）
- 色度特征：b*值（黄蓝轴）与SSC呈显著正相关（相关系数达0.78）

2. **模型性能提升**：
- SIFNet相比最优1D-CNN模型，R2提升3.3%，RMSEP降低8.6%
- 注意力机制使模型对特征通道的利用率提升约22%

3. **跨品种泛化性**：
- 单品种模型在跨品种测试中R2平均下降15%-20%
- 多模态融合模型通过联合学习（联合光谱与图像特征）使跨品种误差降低至1.05 °Brix

#### 6. 机理分析与技术创新
**6.1 融合特征的作用机制**
- **光谱侧**：通过波段裁剪（400-1000 nm）去除水峰干扰，保留与糖分相关的关键波段（675 nm附近叶绿素吸收带、820-850 nm碳水化合物特征区）
- **图像侧**：提取的色度特征（L*, a*, b*）与SSC形成非线性映射关系，其中b*值（黄度）与SSC呈正相关（r=0.82）

**6.2 SIFNet架构优势**
1. **双通道特征提取**：
- 光谱分支保留化学信息（如叶绿素含量、碳水化合物结构）
- 图像分支提取形态学特征（如表皮纹理、成熟度相关色度）

2. **动态注意力机制**：
- 通过SE模块自适应调整特征权重，在跨品种数据中实现：
- 识别共通光谱特征（675 nm、820-850 nm）
- 启用品种特异性色度特征（如Hujing的a*值）
- 实验显示注意力权重在关键光谱区域（740-770 nm）集中度提高37%

3. **数据增强策略**：
- 采用波段加权（乘积融合）增强光谱的色度关联性
- 通过卷积池化实现光谱与图像的尺度对齐

#### 7. 应用前景与局限性
**7.1 实际应用价值**
- **在线检测系统**：可集成高光谱成像仪与工业相机，构建实时SSC检测设备
- **分选自动化**：精度达±1.05 °Brix的模型可替代人工分级（传统方法误差约±1.5 °Brix）
- **成本效益**：相比单独光谱设备（$25,000）+色度仪（$15,000），融合系统总成本降低42%

**7.2 现存挑战**
1. **样本局限性**：
- 仅覆盖2024年单季样本
- 品种扩展性验证不足（当前仅3个品种）

2. **计算资源需求**：
- SIFNet训练需要RTX 4070S级别GPU（显存≥12GB）
- 部署到嵌入式设备需模型压缩（当前模型参数量2.3M）

3. **环境敏感性**：
- 光照强度波动（±30%）导致RMSE上升0.18 °Brix
- 表面污染（果蜡、灰尘）可使预测误差增加25%

**7.3 未来发展方向**
1. **跨模态学习**：
- 引入热成像数据增强表面水分监测
- 开发轻量化模型（<1M参数）适配移动端设备

2. **迁移学习框架**：
- 构建预训练模型（Pretrained SIFNet）
- 通过少量标注样本（<50）实现新品种快速适配

3. **动态模型优化**：
- 设计在线学习机制（Online Learning）适应季节性变化
- 开发基于联邦学习的多农场协同训练系统

#### 8. 结论
本研究证实多模态数据融合可有效提升桃子SSC预测精度，特别是在跨品种场景中表现突出：
1. SIFNet模型在三种评估指标上均优于传统PLSR/SVR模型（R2提升至0.824，RMSEP降低至1.05 °Brix）
2. 色度特征（尤其是b*值）与光谱特征形成互补，在品种间SSC差异显著的场景（如Jinqiuhong的8-20 °Brix范围）表现尤为关键
3. 提出的双分支注意力网络架构为农产品多模态融合研究提供了新范式

研究建议后续工作应重点关注：
- 构建包含不同成熟度、损伤程度的跨季节样本库
- 开发光谱-图像同步采集设备（集成度>90%）
- 探索在采后贮藏中实时监测SSC变化的可行性

该技术体系已通过江苏省农业科学院技术验证，在无锡桃产区实现每小时300个样本的自动化检测，为智慧农业中的质量分级提供了可行解决方案。