Yandex开源LLM训练工具节省高达20%的GPU资源
相信很多大家对Yandex开源LLM训练工具节省高达20%的GPU资源还不知道吧,今天菲菲就带你们一起去了解一下~.~!
2024年6 月11 日,莫斯科——跨国科技公司Yandex 最近推出了YaFSDP,这是一种用于训练大型语言模型(LLM)的开源方法。YaFSDP是目前最有效的公开可用工具,用于增强GPU 通信并减少LLM 训练中的内存使用量,与FSDP相比,其训练速度提升最高可达26%,具体取决于架构和参数数量。通过使用YaFSDP 减少LLM 的训练时间可以节省高达20% 的GPU 资源。
Yandex承诺为全球人工智能社区的发展做出贡献,将YaFSDP开源提供给全球的LLM开发人员和人工智能爱好者即是履行此承诺的其中一步。
“目前,我们正在积极尝试各种模型架构和参数大小,以扩展YaFSDP的多功能性,”Yandex高级开发专家、YaFSDP团队成员Mikhail Khruschev指出,“我们很高兴与全球ML 社区分享我们在LLM训练方面的研发成果,希望能为全球研究人员和开发者获得更多的开源工具和更高的效率做出贡献。”
YaFSDP案例
LLM训练是一个耗时且资源密集的过程。机器学习工程师和自主开发LLM 的公司投入了大量的时间和GPU资源(相当于金钱)来训练这些模型。模型越大,其训练所需的时间和费用就越高。
Yandex的YaFSDP优化了学习速度和性能,使全球的AI开发人员在训练模型时可以使用更少的计算能力和GPU 资源。例如,在涉及具有700亿个参数之模型的预训练场景中,使用YaFSDP 可以节省大约150 个GPU的资源,这意味着每月可以节省大约50 万美元到150万美元(取决于虚拟GPU 提供商或平台)。
YaFSDP通过消除GPU通信效率低下来提升效能,确保训练时只需必要的处理器内存,并使GPU 交互不间断。
YaFSDP的训练效率
YaFSDP是FSDP 的增强版,在LLM训练中最耗通信的阶段(如预训练、对齐和微调)中,其表现优于FSDP 方法。YaFSDP在Llama 2 和Llama 3上展示的最终提速表明训练速度显著提高,在Llama 2 70B 和Llama 3 70B 上分别达到21% 和26%。
MikhailKhruschev 表示:“YaFSDP在130 亿至700亿个参数的模型上表现出色,在300 亿至700亿个参数范围内表现尤为惊人。目前,YaFSDP最适合基于LLaMA架构的广泛使用之开源模型。”
YaFSDP并不是Yandex的第一个开源工具。该公司之前曾分享过其他几款在ML 社区中很受欢迎的工具,包括:
CatBoost:一种高性能的基于决策树之梯度提升库。
YTsaurus:分布式存储和处理的大数据平台。
AQLM:最先进的量化算法之一,用于大型语言模型的极限压缩。由 Yandex Research、HSE 大学、 IST Austria 及 NeuralMagic 共同开发。
Petals:是一个旨在简化 LLM 训练和微调过程的库,由 Yandex Research、HSE 大学、华盛顿大学、Hugging Face、巴黎-萨克雷高等经济学院和 Yandex 数据分析学院合作开发。
以上就是关于【Yandex开源LLM训练工具节省高达20%的GPU资源】的相关内容,希望对大家有帮助!
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
奔驰GLE作为豪华SUV市场中的佼佼者,凭借其卓越的性能、豪华的内饰以及宽敞的空间,吸引了众多消费者的关注。...浏览全文>>
-
在2025年,安徽阜阳地区的帕萨特新能源汽车市场表现非常活跃。作为一款备受关注的新能源车型,帕萨特新能源凭...浏览全文>>
-
近日,滁州地区的大众汽车经销商传来好消息:备受瞩目的2025款T-ROC探歌正式上市,并且以极具竞争力的价格吸引...浏览全文>>
-
在选择一款新能源汽车时,了解其价格和配置是非常重要的一步。安徽淮南地区的长安启源E07作为2024款的新车型,...浏览全文>>
-
阜阳长安启源A05作为长安汽车旗下的全新车型,自推出以来便凭借其独特的设计风格和丰富的配置吸引了众多消费者...浏览全文>>
-
阜阳长安启源A07作为一款备受瞩目的新能源车型,以其豪华配置和亲民的价格在市场上引起了广泛关注。这款车型不...浏览全文>>
-
安徽淮南威然2024款价格及配置详解随着汽车市场的不断更新换代,上汽大众旗下的MPV车型——威然(Viloran)凭...浏览全文>>
-
QQ多米新车报价2025款,买车省钱秘籍随着汽车市场的不断发展,消费者在选购车辆时不仅关注车型的性能和配置,...浏览全文>>
-
滁州途观X 2024款最新价格及买车省钱秘籍随着汽车市场的不断发展,大众途观X作为一款兼具时尚与性能的中型SUV...浏览全文>>
-
随着汽车市场的不断发展,大众蔚揽以其优雅的设计和卓越的性能赢得了众多消费者的青睐。作为一款兼具实用性和...浏览全文>>
- Nvidia DLSS 4 有望将游戏性能提高 8 倍
- 人工智能在预测自身免疫性疾病进展方面显示出良好的前景
- 心理物理实验揭示皮肤水分感知是如何改变的
- 科茨沃尔德公司庆祝圣诞节圆满成功
- 南法纳姆学校被评为萨里郡表现最好的小学
- 约克区九所小学将削减招生人数
- 松下新款电动汽车电池为 Lucid Gravity 带来 450 英里续航里程
- 泰国旅游呈现新趋势
- 研究人员找到在细胞水平上饿死前列腺癌肿瘤的新方法
- 领先的人工智能聊天机器人在测试中表现出类似痴呆症的认知能力下降
- 庞大的 Project Zomboid build 42 终于可以玩了
- Steam Replay 回归向您展示 2024 年您玩得最多的 PC 游戏
- Jollyes 推出强化的人才支持和招聘措施
- Karen Millen 与 Simon Harrison 共同推出全新高级珠宝系列
- 奇瑞风云A8L电动轿车刷新续航里程世界纪录
- 虚拟艺术家将别克 Cascada 带回 2026 款车型
- OnePlus 宣布推出新计划解决绿线问题
- OnePlus Watch 3 将拥有更大的电池和更薄的机身
- 研究人员发现可变剪接与自身免疫性疾病遗传之间的细胞类型特异性联系
- 科学家确定脑细胞类型是排尿的主要控制者