近日，电子信息学院智能检测与边缘计算课题组在计算机与人工智能领域国际知名期刊《Knowledge-Based Systems》（中国科学院一区TOP，JCR一区，影响因子7.6）发表研究成果“SDRM: A truncated SVD-based dimensionality reduction approach to efficient edge inference in Multi-head Attention Networks”。该成果以上海电机学院为第一单位，由电子信息学院在读研究生杜煜泽为第一作者、研究生导师王小刚教授为通讯作者，携课题组其他研究生与上海交通大学计算机学院以及澳大利亚墨尔本大学云与分布式系统实验室合作完成。
在工业产品边缘检测领域，特别是大规模电子元件缺陷检测中，处理高维数据（如图像张量）并优化边缘设备上的计算和存储资源是关键挑战。基于Transformer架构的多头注意力（Multi-head Attention）网络在视觉任务中展现出强大潜力，但其计算复杂度高，资源需求大，限制了在资源受限的边缘设备上的实时应用。现有方法难以在保证识别精度的同时，有效处理高维数据特征压缩和多任务场景下的动态检测需求。
针对上述问题，本研究提出了一种智能降维模型（Smart Dimensionality Reduction Model, SDRM）。该模型的核心在于：利用基于截断奇异值分解（truncated SVD, t-SVD）的低秩张量分解策略对输入的3D图像张量进行动态压缩和降维，显著降低存储需求和计算复杂度；设计了一种名为“AdaMatrix”的新型梯度迭代优化算法，该算法结合自适应矩估计（Adam）和Nesterov加速梯度（NAG），并引入动态调整的逐元素权重矩阵和自适应学习率，高效实现t-SVD分解，加速了收敛过程；构建了t-SVD与梯度下降的协同优化框架，并与分布式多头注意力机制结合，在保证数据精度的同时，显著提升了边缘设备的并行处理能力。
实验在配置有GPU的多块边缘推理板构成的分布式平台上进行。运行结果表明，在电子元件缺陷检测场景下，本研究方法SDRM显著降低了边缘推理设备存储需求，整体推理时间减少了20.4%，在实现高效计算的同时，本方法在测试集上达到了约91%的准确率，有效缓解了过拟合现象。相较于现有低秩近似方法，本方法在降秩处理时间和整体效率上均展现出较好优势。（供稿：电子信息学院）
论文链接：https://doi.org/10.1016/j.knosys.2025.113946
