《Computers》：Transformer-Based Memory Reverse Engineering for Malware Behavior Reconstruction
编辑推荐：
本文提出了一种基于Transformer的文本自注意力框架，将原始内存字节视为语言标记，通过地址感知的位置编码，使模型能够将内存作为文本读取并推断非连续区域间的上下文关系。该模型在CIC-MalMem-2022和NIST CFReDS Basic Memory Images两个公开数据集上实现了约97%的准确率，显著优于CNN和LSTM基线，为自动化内存分析开辟了新范式。
引言：易失性内存取证的新挑战与机遇
随着网络威胁在复杂性、持久性和隐蔽性方面的不断演变，分析易失性内存已成为现代网络安全防御的基石。与磁盘上的静态工件不同，易失性内存捕获了系统的实时动态状态，为进程、线程和注入代码段的运行时活动提供了直接洞察。然而，这种动态性在带来价值的同时也带来了挑战：一旦系统断电或发生改变，这些痕迹就会消失，给分析师解码海量二进制转储以实时重构恶意行为带来了巨大困难。
传统的恶意软件检测和数字取证方法主要依赖于文件系统工件、静态签名和启发式模式匹配，这些方法在面对驻留内存和无文件恶意软件时不仅耗时且效率低下。高级持续性威胁（APTs）尤其采用了内存优先的执行策略，将有效载荷直接部署到RAM中，并通过反射式DLL加载或Shellcode注入来规避磁盘级监控。这些策略有效地中和了依赖静态指纹的传统防病毒和入侵检测系统。因此，易失性内存分析已成为理解这些内存威胁的唯一可行方法，能够发现从未接触文件系统的注入进程、隐藏模块或加密有效载荷的痕迹。
尽管内存逆向工程具有显著优势，但该过程在很大程度上仍然是手动的且依赖专家驱动。现有的工具如Volatility和Rekall依赖于基于插件的启发式方法，需要深入了解操作系统内部结构才能解释进程列表、内核结构和内存映射。这些技术还容易受到操作系统版本间结构偏移变化的影响，并且在面对在执行过程中改变其内存占用空间的多态或变形恶意软件时效果不佳。
为了应对这些挑战，研究人员探索了基于深度学习的恶意软件分析自动化方法。虽然卷积神经网络（CNNs）和长短期记忆（LSTM）网络等模型在安全领域取得了令人印象深刻的性能，但在应用于易失性内存时表现出固有的局限性。CNNs在识别局部空间模式方面有效，LSTMs可以捕获时间依赖性，但两种架构都无法模拟通常存在于遥远或不相交内存区域之间的长距离上下文关系。例如，位于一个地址的解密例程可能引用数百千字节之外的加密有效载荷。未能连接此类模式会阻碍恶意软件行为的完全重构，并导致碎片化或不完整的取证解释。
Transformer架构通过自注意力机制彻底改变了序列建模，该机制可以捕获可变长度输入序列上的全局依赖关系。最初为自然语言处理（NLP）开发，Transformer已被应用于多个领域，包括视觉、生物信息学和网络安全。最近的研究表明，它们在二进制分析和逆向工程任务中具有潜力，Transformer可以在无需手动特征工程的情况下提取代码区域或指令之间的关系。这些研究表明，注意力机制在设计上能够检测非连续数据点之间的语义关联，这正是内存快照分析所需的特性。
方法论：将内存视为文本的Transformer框架
本文介绍了一个基于Transformer的框架，该框架将易失性内存视为一种语言形式。在此框架中，原始内存字节在字节级别被标记化，并通过地址感知的位置编码进行丰富，从而有效地将内存空间转换为一系列可解释的标记。这种视角允许Transformer学习分散内存区域之间的文本依赖关系，类似于语言模型中单词在句子中的关联方式。通过使用多头注意力，该模型捕获了复杂的跨区域关系，同时保持训练和推理的完全并行性。
数据收集与预处理
为了验证性能和在现实世界中的适用性，本研究采用了两个公开可用的数据集：
- •
CIC-MalMem-2022：一个包含58,596条标记记录的基准数据集，涵盖四个平衡类别（良性、木马、间谍软件和勒索软件）。每条记录源自恶意软件样本的沙箱执行，并编码了结构化的进程级内存特征。在本研究中，每个特征维度被视为固定长度序列中的一个“标记”，允许Transformer关注内存行为指标而非原始字节。
- •
NIST CFReDS Basic Memory Images：一组精选的公共Windows内存快照，用于提取字节级片段（良性与恶意）以进行外部验证。这些原始字节直接作为[0, 255]范围内的整数值进行标记化，并与地址偏移位置编码相结合，使模型能够对其相对位置有感知地应用文本自注意力。
用于易失性内存的文本注意力Transformer
本研究采用了标准的仅编码器Transformer架构，并针对序列分类进行了调整。该架构的核心优势在于其能够计算内存标记之间的上下文关系，而无需依赖循环或卷积，这对于建模非连续和混淆的内存模式非常有效。
具体而言，内存被视为标记化字节序列（对于CFReDS为字节，对于CIC-MalMem-2022为内存衍生特征），并辅以与地址偏移相关的位置编码以保留空间局部性。设Z ∈ Rn×d表示嵌入的输入序列，其中n为内存标记数，d=256为嵌入维度。编码器由L=6个堆叠层组成。每个编码器块包含一个多头自注意力机制（MHSA）和一个位置前馈网络（FFN），每个都包装了残差连接和层归一化。
MHSA模块能够捕获输入序列上的多个独立焦点模式。对于每个注意力头i，其计算为：
headi= Attention(Qi, Ki, Vi) = softmax(QiKi?/ √dk) Vi
其中Qi= ZWQ(i), Ki= ZWK(i), Vi= ZWV(i)。本研究使用dk=32和h=8个头。注意力头被连接并投影：
MultiHead(Z) = [head1; ...; headh] WO
在注意力之后，位置前馈网络应用两个带有非线性的线性投影：
FFN(x) = W(2)σ(W(1)x + b(1)) + b(2)
其中W(1)∈ Rd×dff, W(2)∈ Rdff×d，dff是FFN块的隐藏维度。该子网络增强了特征抽象并增加了模型容量。
最终编码器层的输出H ∈ Rn×d在标记上进行池化以产生固定长度的表示：
H? = (1/n) ∑i=1nHi
分类层将H?映射到logits：
y = softmax(WoH? + bo)
其中C是行为类别的数量。Softmax产生类别上的有效概率分布。
训练与评估协议
优化使用Adam优化器，其中β1=0.9，β2=0.999，权重衰减为10-5，初始学习率为10-4，并采用余弦退火。小批量大小为128。最小化分类交叉熵目标：
L(y, ?) = -∑c=1Cyclog(?c)
正则化包括在注意力和FFN层中使用dropout（p=0.1）、标签平滑（ε=0.1）和早停（耐心7个epoch）。
评估指标包括准确率、精确率、召回率、宏/微F1和AUC（一对多）。在CIC-MalMem-2022上进行了5折交叉验证，以减少对分割方差的敏感性。
计算与时间复杂度研究
对于具有L层、嵌入维度d、序列长度n和h个注意力头的Transformer编码器，主要计算成本来自多头自注意力机制。每个注意力头需要O(n2·dk)用于注意力分数计算，以及O(n2)用于softmax操作。对于h个头，每层的MHSA复杂度变为O(n2·d)。位置前馈网络增加了O(n·d·dff)。因此，每层的总时间复杂度为O(n2·d + n·d·dff)，对于L个堆叠层，端到端的复杂度为O(L·(n2·d + n·d·dff))。
虽然对于大的n，二次项n2·d占主导地位，但在本研究的应用中，n受固定大小的内存窗口（4 KB标记化）限制，确保了可处理性。与LSTM和CNN基线相比，Transformer模型具有更高的常数因子成本，但由于消除了顺序依赖性，在序列处理中受益于完全并行性。
结果与讨论：高精度与可解释性验证
性能表现
在CIC-MalMem-2022数据集上，Transformer在四分类设置中实现了97.0%的准确率，其中木马类的F1分数为0.94，勒索软件类的F1分数为0.95。这些对抗性类别的高F1分数证明了上下文学习在区分原始内存内容差异方面的优势。
在NIST CFReDS Basic Memory Images数据集上，该模型在区分良性与受感染转储方面保持了97.0%的准确率，证明了其在异构和嘈杂取证条件下的鲁棒性。值得注意的是，相同的编码器架构通过标记化字节（CFReDS）或内存衍生特征（CIC-MalMem-2022）在两种模态上使用，强调了增益源于注意力驱动的上下文而非数据集特定的预处理。
与基线模型的比较
与CNN和LSTM基线相比，所提出的模型在准确性和推理稳定性方面均优于基线，这归功于基于注意力的机制。与依赖局部卷积或顺序循环的模型不同，Transformer直接对不相交内存区域之间的长距离依赖关系进行建模。此外，通过直接对原始字节标记进行操作，该框架即使在传统反汇编或签名匹配会失败的情况下也能成功检测异常区域。
可解释性与注意力分析
混淆矩阵和ROC曲线与报告的准确率和F1分数一致，表明跨类别的良好敏感性和特异性，突出了即使在多类别场景和潜在不平衡分布中的可靠性。此外，类别混淆矩阵显示了对隐蔽家族的持续召回增益，这与全局注意力捕获跨区域线索的假设一致。
注意力图的可视化为取证分析提供了宝贵的见解。该模型学会了将分散的注入存根与特定的进程内存头相关联，验证了其捕获长距离控制流的能力。注意力图生成的注意力图在CIC-MalMem-2022中注入和加密区域周围以及NIST CFReDS基本内存映像中的可疑进程周围始终显示出增强的激活，验证了模型捕获不明显恶意特征的能力。使用文本注意力视图，这些图充当标记级显著性，将峰值链接到具体偏移量或特征字段，并实现无需手工签名的可重现取证分类。
消融研究
消融实验旨在分离位置编码和注意力头的影响。移除位置编码导致F1分数显著下降（超过10%），证实了内存布局建模的重要性。将注意力头减少到2个会显著降低对混淆恶意软件的性能，这是由于上下文感知能力降低所致。
结论：迈向自动化内存取证的新范式
本研究开创了用于内存取证的文本自注意力方法，通过将内存视为语言来实现上下文恶意软件理解。所提出的框架证明，当在结构化基准（如CIC-MalMem-2022）上进行训练并在真实世界的Volatility NIST CFReDS基本内存映像上进行验证时，Transformer编码器在多种恶意软件行为上实现了高分类准确率和F1分数，特别是对于注入和加密代码。
该方法通过实现上下文嵌入和自注意力机制，消除了对反汇编或手工特征工程的需求。通过混淆矩阵、ROC曲线和交叉验证进行的评估证实了其鲁棒性和泛化能力。注意力图的可解释性进一步增强了其取证价值，使分析师能够识别哪些内存段对恶意分类做出了贡献。
通过将此基于Transformer的模型集成到取证管道中，安全团队可以获得对可疑内存活动的实时洞察，而无需依赖脆弱的基于签名的方法。未来的研究方向包括将模型扩展到处理器架构（如ARM、RISC-V），将迁移学习应用于固件和物联网内存映像，以及使用半监督或自监督训练来扩展大型未标记数据集。
