本文是LLM系列文章，针对《LLM in a flash: Efficient Large Language Model Inference with Limited Memory》的翻译。

LLM in a flash：具有有限内存的高效大型语言模型推理

• 摘要
• 1 引言
• 2 闪存和LLM推理
• 3 从闪存加载
• 4 结果
• 5 相关工作
• 6 结论与讨论

摘要

大型语言模型（LLM）是现代自然语言处理的核心，在各种任务中提供卓越的性能。然而，它们的大量计算和内存需求带来了挑战，尤其是对于DRAM容量有限的设备。本文通过将模型参数存储在闪存中，但将其按需带到DRAM中，来解决高效运行超过可用DRAM容量的LLM的挑战。我们的方法包括构建一个考虑闪存特性的推理成本模型，指导我们在两个关键领域进行优化：减少从闪存传输的数据量和读取更大、更连续的数据块。在这个以硬件为基础的框架中，我们介绍了两种主要技术。首先，“窗口化”通过重复使用先前激活的神经元来战略性地减少数据传输，其次，根据闪存的顺序数据访问强度量身定制的“行-列绑定”增加了从闪存读取的数据块的大小。这些方法共同实现了运行高达可用DRAM两倍大小的模型，与CPU和GPU中的原始加载方法相比，推理速度分别提高了4-5倍和20-25倍。我们将稀疏性感知、上下文自适应加载和面向硬件的设计相结合，为在内存有限的设备上有效推断LLM铺平了道路。

1 引言

2 闪存和LLM推理

3 从闪存加载

4 结果

5 相关工作

6 结论与讨论

在这项研究中，我们解决了在内存容量有限的设备上运行大型语言模型（LLM）的重大挑战。我们的方法深深植根于对闪存和DRAM特性的理解，代表了硬件感知策略和机器学习的新融合。通过开发一个符合这些硬件约束的推理成本模型，我们引入了两种创新技术：“窗口化”和“行-列绑定”这些方法共同有助于显著减少数据负载和提高内存使用效率。权重绑定和窗口化是两种非常基本的技术，旨在展示增加块大小和读取顺序性的潜力，同时通过稀疏性减少数据传输。为实现这些目标，开发更智能、更高效的方法有许多机会。
我们研究的实际成果值得注意。我们已经证明了运行LLM的能力，其大小是可用DRAM的两倍，与CPU中的传统加载方法相比，推理速度提高了4-5倍，在GPU中提高了20-25倍。这一创新对于在资源有限的环境中部署高级LLM尤其重要，从而扩大其适用性和可访问性。基于PyTorch的前向传递实现只经过了算法（与系统相反）优化。定制的较低级别实现有望带来显著的额外收益。
我们的工作不仅为当前的计算瓶颈提供了解决方案，而且为未来的研究开创了先例。它强调了在推理优化算法的开发中考虑硬件特性的重要性，为该领域的进一步探索提供了一个有希望的方向。我们相信，随着LLM的规模和复杂性不断增长，像这项工作这样的方法对于在广泛的设备和应用中充分利用其潜力至关重要。
我们的研究代表了追求大型语言模型（LLM）推理民主化的初步努力，使其可供更广泛的个人和设备使用。我们认识到，这种早期的努力有其局限性，这反过来又为未来的研究开辟了令人信服的途径。未来探索的一个关键方面是分析我们提出的方法中固有的功耗和热限制，特别是设备上部署。目前，我们的重点是单批推理。然而，将其扩展到包括提示处理、多批推理和推测解码等场景，这是一个有价值的进一步研究领域。在我们最初的概念验证中，我们假设内存可用性是模型大小的一半。探索不同内存大小（无论大小）的工作动态，在延迟和准确性之间取得了令人着迷的平衡，这是未来探索的一个引人注目的领域。总之，我们的方法论是建立在稀疏网络的基础上的。尽管如此，其基本概念具有更广泛应用的潜力。它可以适用于在非解析网络中选择性地加载权重，或者从闪存中动态地检索模型权重。这种调整将取决于输入提示的具体要求或提供的上下文参数。这种方法提出了一种通用的策略，用于管理模型权重，根据输入的性质优化性能，从而提高所提出的方案在处理大型语言模型（LLM）的各种场景中的效率、有用性和适用性。