SeedLM：将 LLM 权重压缩为伪随机生成器的种子

SeedLM: Compressing LLM Weights into Seeds of Pseudo-Random Generators

Source | HN Comments

SeedLM 提出一种新的 LLM 权重压缩方法，通过伪随机生成器的种子来编码和压缩模型权重。该方法为每个权重块找到一个种子，推理时利用线性反馈移位寄存器 (LFSR) 生成随机矩阵，并与压缩系数线性组合重建权重。SeedLM 减少内存访问，加速内存密集型任务，且无需校准数据，适用于多种任务。实验表明，在 Llama3 70B 上，SeedLM 在 4 位和 3 位压缩下，零样本准确率与现有方法相当或更优，性能接近 FP16 基线。基于 FPGA 的测试显示，随着模型增大，4 位 SeedLM 加速效果显著。

Machine Learning Research Open Menu Close Menu

research area Speech and Natural Language Processing | conference ICLR content type paper | published April 2025

SeedLM：将 LLM 权重压缩为伪随机生成器的种子

作者：Rasoul Shafipour, David Harrison, Maxwell Horton, Jeffrey Marker, Houman Bedayat, Sachin Mehta†, Mohammad Rastegari†, Mahyar Najibi, Saman Naderiparizi 查看出版物复制 Bibtex

大型语言模型 (LLM) 已经改变了自然语言处理，但由于其高昂的运行时成本，在广泛部署方面面临着重大挑战。在本文中，我们介绍了一种新颖的后训练压缩方法 SeedLM，它使用伪随机生成器的种子来编码和压缩模型权重。具体来说，对于每个权重块，我们找到一个种子，该种子在推理期间被馈送到线性反馈移位寄存器 (LFSR) 中，以有效地生成一个随机矩阵。然后将该矩阵与压缩系数线性组合，以重建权重块。SeedLM 减少了内存访问，并利用了推理期间的空闲计算周期，通过用计算换取更少的内存访问，有效地加速了内存密集型任务。与依赖校准数据的最先进方法不同，我们的方法是无数据的，并且可以很好地推广到各种任务。我们使用特别具有挑战性的 Llama3 70B 进行的实验表明，在 4 位和 3 位压缩下的零样本准确率保持与最先进的方法相当或更好，同时保持与 FP16 基线相当的性能。此外，基于 FPGA 的测试表明，随着模型尺寸的增加，4 位 SeedLM 接近于 FP16 Llama 2/3 基线超过 4 倍的加速。 † Meta

发现机器学习的机会。

我们在机器学习方面的研究每天都在取得新突破。 Work with us

Machine Learning Research
Research
SeedLM: Compressing LLM Weights into Seeds of Pseudo-Random Generators

SeedLM：将 LLM 权重压缩为伪随机生成器的种子

SeedLM：将 LLM 权重压缩为伪随机生成器的种子

相关阅读和更新。

Compress and Compare: Interactively Evaluating Efficiency and Behavior Across ML Model Compression Experiments

Lossless Compression of Efficient Private Local Randomizers

发现机器学习的机会。