苹果与nvidia联手提升ai模型生产效率,速度提升近三倍-品玩

品玩12月20日讯,据苹果官网消息,苹果近日发布论文退出一种新技术,在使用 NVIDIA GPU 时,可以让大语言模型的速度提升近3倍。

据悉,2024 年早些时候,苹果公司发布并开源了 Recurrent Drafter,即 ReDrafter,这是一种在训练中提高性能的推测解码方法。 它使用 RNN(递归神经网络)草稿模型,将波束搜索与动态树关注相结合,用于预测和验证来自多条路径的草稿标记。与典型的自动回归标记生成技术相比,这将 LLM 标记生成速度提高了 3.5 倍。

苹果公司解释说,除了使用Apple Silicon的现有工作外,该团队并未止步于此。 本周三发布的新报告详细介绍了该团队如何将研究成果应用于 ReDrafter 的创建,使其能够与 NVIDIA GPU 配合使用。

用于生成 LLM 的服务器通常采用 NVIDIA GPU,但高性能硬件往往需要高昂的成本。 仅硬件一项,多 GPU 服务器的成本就超过 250000 美元,更不用说所需的基础设施或其他相关成本了。

打开APP阅读更多精彩内容