《Pattern Recognition》：BLS-CIL: Class Imbalance Broad Learning System via Dual Weighting and Layer Trimming
编辑推荐：
随机神经网络通过随机初始化隐藏层权重实现快速学习，其变体BLS因扁平架构无需反向传播而高效。但传统BLS对噪声和类别不平衡敏感，本文提出BLS-CIL（引入双级加权机制）和BLS-CIL-TRIM（增加修剪步骤处理极端值），在25个KEEL数据集及ADNI、BreakHis等真实数据上验证其有效性和鲁棒性。
M. Tanveer | A. Mishra | M. Sajid | A. Quadir
印度理工学院印多尔分校数学系，Simrol, Indore, 453552, 中央邦, 印度
摘要
随机神经网络（RNN）通过随机初始化隐藏层权重来实现快速学习，因此在分类任务中表现出高效性。Broad Learning System（BLS）是一种著名的RNN变体，它基于一种扁平的、可逐步扩展的架构，避免了深度结构和反向传播，从而实现了快速高效的学习。然而，传统的BLS对所有训练样本赋予了相同的权重，这限制了其在实际数据集上的性能，因为实际数据集通常会受到噪声和类别不平衡的影响。类别不平衡是指某个类别的样本数量远多于其他类别，导致模型偏向多数类，从而对少数类的泛化能力较差。这个问题结合噪声数据，会降低BLS的性能，凸显出在此类条件下需要更强大的泛化能力以提高可靠性。为了解决这些问题，我们提出了用于类别不平衡学习的Broad Learning System（BLS-CIL）和经过改进的BLS-CIL（BLS-CIL-TRIM），这些模型在应对数据集中的噪声和类别不平衡问题时提高了整体鲁棒性。在BLS-CIL中，我们采用了一种双层次加权方案，同时考虑了类别级和实例级的重要性。同时，一种类内评估方法根据样本与类别中心的距离来评估每个样本的重要性。这种方法使模型能够关注少数类模式，并增强对噪声和类内变异的鲁棒性。此外，在BLS-CIL-TRIM模型中，所提出的修剪方案作为一种强大的规范化方法，通过消除极端值来提高特征的一致性。通过移除最高和最低数据点的固定百分比，该技术强调了数据分布的中心趋势，最小化了噪声的影响，同时保留了重要模式。我们在25个KEEL类别不平衡基准数据集以及BreakHis和ADNI数据集上评估了所提出的BLS-CIL和BLS-CIL-TRIM模型的性能。实验结果表明，这些模型有效解决了类别不平衡问题，并减少了噪声的影响。
部分摘录
引言
人工神经网络（ANN）借鉴了大脑中生物神经元的结构和功能，是一类基本的机器学习模型。在众多机器学习技术中，ANN在许多领域的优势主要归功于它们近似非线性映射的能力[1]。ANN由神经元组成，这些神经元使用数学过程处理和传输数据。ANN旨在发现数据中的模式和相关性，并利用这些信息进行预测。
研究空白与贡献
BLS相比深度学习和传统机器学习模型具有多个优势[23]，但它容易受到噪声和类别不平衡的影响。噪声指的是数据中的随机不规则性或波动，而类别不平衡（CI）问题则发生在某个类别的样本数量与给定数据集中其他类别的样本数量存在显著差异时[24]。以下是使BLS容易受到噪声和类别不平衡影响的因素：
前期工作
本节介绍了本文中使用的符号，并详细阐述了BLS框架及其数学公式。
提出的方法
在传统的BLS方法中，所有数据样本都被赋予相同的权重，而不考虑它们的类别。然而，在类别不平衡的数据集中，这种均匀加权会导致分类性能不佳，因为模型无法充分解决不平衡问题。为了解决这个问题，我们在第4.1节中提出了一种类别不平衡加权方案；同时，为了处理数据集中可能出现的极端值和不稳定特征表示，我们提出了另一种改进方法。
实验与结果分析
我们在KEEL仓库中的一系列公开数据集上严格评估了所提出的BLS-CIL和BLS-CIL-TRIM模型的效率[31]。为了进一步体现它们的实际应用价值，我们将这些模型应用于两个关键的医疗健康任务：利用ADNI2数据集对阿尔茨海默病进行分期分类，以及使用BreakHis数据集进行乳腺癌诊断[32]。补充材料（表S.1–S.3）列出了最佳参数设置。
结论与未来工作
数据集中的噪声会显著降低BLS模型的性能，导致鲁棒性下降，并可能在训练阶段产生偏见结果。此外，类别不平衡（CI）对BLS模型构成了重大挑战，阻碍了其对少数类的准确分类能力。为了解决这些限制，我们提出了两种新型模型：BLS-CIL和BLS-CIL-TRIM。这两种模型都采用了类别加权机制来减轻CI的影响，其中BLS-CIL-TRIM还进一步优化了模型的性能。
CRediT作者贡献声明
M. Tanveer：撰写原始草稿、验证、监督、项目管理、资金获取、概念构思。A. Mishra：撰写与编辑、撰写原始草稿、可视化、验证、方法论、研究、形式分析、概念构思。M. Sajid：撰写与编辑、撰写原始草稿、可视化、验证、方法论、形式分析。A. Quadir：撰写与编辑、撰写原始草稿、可视化、验证。
利益冲突声明
作者声明他们没有已知的财务利益冲突或个人关系可能影响本文所述的工作。
致谢
M. Sajid感谢新德里的科学和工业研究委员会（CSIR）在09/1022(13847)/2022-EMR-I项目下提供的奖学金支持。
