
-
生物通官微
陪你抓住生命科技
跳动的脉搏
面向移动端实时光线追踪的边缘感知去噪框架:动态核优化与数据驱动权重预测
【字体: 大 中 小 】 时间:2025年08月28日 来源:Graphical Models 2.2
编辑推荐:
随着移动GPU硬件加速光线追踪的普及,1spp低采样率导致的蒙特卡洛噪声和时域伪影问题日益突出。本研究提出基于SVGF框架的边缘感知实时去噪架构,通过动态核调整机制(adaptive filtering kernel sizing)和基于查找表(LUT)的权重预测策略,在Qualcomm Snapdragon 768G平台上实现55 FPS/1spp的实时性能,帧率较移动优化版SVGF提升67.42%,功耗降低16.80%,为移动AR/VR应用提供高效解决方案。
在移动设备上实现影院级画质的光线追踪效果,一直是图形学领域的"圣杯"。随着高通骁龙8 Gen3和联发科天玑9300等移动芯片开始支持硬件级光线追踪,这个梦想正逐渐照进现实。但残酷的物理定律给这场视觉盛宴设下了门槛——受限于移动设备的散热和功耗,光线追踪的采样率往往被限制在1spp(每像素单次采样),导致画面充斥着恼人的高频噪声和闪烁伪影,就像试图用老式收音机播放交响乐,再美妙的旋律也被杂音淹没。
传统解决方案如时空方差引导滤波(SVGF)虽在桌面端表现优异,但其固定大小的滤波核和逐像素方差计算对移动GPU而言如同"大炮打蚊子"——计算开销与硬件能力严重失衡。更棘手的是,现有移动端去噪方案如OPPO混合渲染引擎虽能降低功耗,却会损失15%以上的材质反射精度。如何在指甲盖大小的芯片上实现桌面级的去噪效果?这个看似不可能的任务,正是Haosen Fu团队在《Graphical Models》发表的研究要攻克的堡垒。
研究团队创新性地构建了"动态核+智能预测"双引擎架构。首先通过多通道(Albedo/Depth/Normal)Sobel边缘检测生成融合边缘图,结合运动矢量实现跨帧边缘密度复用;接着采用K-means对像素进行深度梯度聚类,将传统SVGF的浮点权重计算转化为轻量级MLP预测和LUT检索。这种"边缘感知核动态调整+数据驱动权重预测"的组合拳,既保留了SVGF的物理准确性,又规避了其计算瓶颈。
关键技术包括:(1)基于G-buffer多特征的自适应边缘检测,通过统计阈值实现噪声鲁棒性;(2)动态核分组策略将像素按边缘密度划分为9×9/17×17/33×33三组;(3)5D特征(法线球坐标θ/φ、对数深度、亮度)量化构建LUT;(4)运动补偿的时域边缘密度融合。实验采用NoiseBase数据集,在未参与训练的Bistro2和Kitchen场景测试泛化性。
边缘感知核尺寸自适应
通过归一化多通道梯度幅值(公式2)和自适应阈值(公式3)生成二值边缘掩膜,结合r×r窗口的边缘密度计算(公式5)动态分配滤波核。结果显示,该策略使高密度边缘区域(ρ≥0.5)的纹理保留率提升42%,而平坦区域采用33×33大核使计算效率提高2.3倍。
深度引导聚类与权重预测
以深度梯度幅值MDepth和方向θDepth为特征进行K-means聚类,配合三层MLP(128-64-32神经元)预测权重。量化实验表明,16-bin的LUT配置在SSIM(0.792)和耗时(19.32ms)间达到最优平衡,8-bin方案虽提速6%但导致玻璃材质出现过度模糊(图8c)。
性能优化与移动部署
在骁龙768G平台的实测中,LUT检索仅耗0.64ms,整体管线耗时18.3ms(55 FPS)。相较传统SVGF,其卷积阶段通过核分组实现67%的冗余计算削减,而边缘密度复用使特征计算功耗降低29%。
这项研究标志着移动光线追踪去噪从"能用"到"好用"的关键跨越。其创新性体现在:(1)将传统SVGF的O(n2)复杂度转化为O(1)的LUT查询;(2)通过边缘密度实现"按需计算"的负载分配;(3)5.7GB全精度LUT经FP16压缩后仅占2.5GB内存。尽管在极端动态场景(图8b)和特殊材质处理上仍有改进空间,但这项工作为移动端实时路径追踪提供了切实可行的解决方案,让手机游戏和AR/VR应用首次具备媲美桌面级的物理渲染能力。正如研究者所言:"这不是终点,而是移动图形学新时代的起点。"
生物通微信公众号
知名企业招聘