微软推出ZeRO++技术,可显著减少AI大模型训练时间和成本
来源:IT之家 发布时间:2023-06-27 12:33 作者:IT之家 阅读量:6568
,微软研究人员日前推出了名为 ZeRO++ 的新技术,用于优化在训练大型 AI 模型时,容易遇到的数据传输成本和带宽限制的难题,可显著减少大模型训练时间和成本。
据悉,ZeRO++ 建立在现有的 ZeRO 传输技术基础上,并提供增强的通信策略,可提高训练效率,同时减少训练时间和成本。
为了减少参数通信量,ZeRO++ 可对权重进行量化,其利用基于块的量化方法来保持训练精度,这种优化的量化过程相对原始 Zero 传输技术更快更准确。为了能够尽量减少通信开销,ZeRO++ 通过在每台机器上保持完整的模型副本,以向 GPU 显存换取通信带宽。而在梯度通信方面,ZeRO++ 引入了一种名为 qgZ 的新的量化梯度通信方式,可以减少跨节点的流量和延迟。
这些改进的通信技术大大减少了通信量,微软研究人员表示,与 ZeRO 相比,ZeRO++ 减少了高达 4 倍的通信量,提高了训练吞吐量和效率。当在每个 GPU 上使用小批量大小时,在高带宽集群中,ZeRO++ 相比 ZeRO-3 的吞吐量提高了 28% 至 36%。在低带宽集群中,与 ZeRO-3 相比,ZeRO++ 实现了平均 2 倍的加速,使得大模型训练在更多种类的集群上更为可行。
IT之家注:IT之家注意到,例如 Turing-NLG、ChatGPT 和 GPT-4 这样的大型模型,其训练需要跨多个 GPU 设备占用大量显存和计算资源,而 ZeRO++ 引入了通信优化策略,以克服在低带宽集群上进行训练时原有 ZeRO 传输技术的带宽限制。目前微软已经放出了相关技术文档,研究人员可以利用 ZeRO++ 更有效地训练模型,在 AI 领域探索新的可能性。
郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。
站点精选
- 安然纳米发光体—胡感:我们也许改变不了这个世
- 神舟十四号航天员乘组进行首次出舱活动,预计约
- 2022服贸会开幕 京东企业业务分享大中小
- 农业农村部:抓好农业防灾减灾突出实效用足用好
- 博闻科技上半年净利增长77.17%水泥粉磨站
- 特斯拉在北京建成100座超级充电站,车主平均
- 苹果AppleWatchSeries8将有新
- 和讯曝财报丨泛海控股2022上半年总营收39
- 华为PC应用引擎开启尝鲜招募:号称“电脑上的
- 柯利达:2022年半年度净利润约-2906万
- 东宝生物:“胶原+”战略实现突破营收净利双双
- 威尔士健身房刚办卡就关店?上海阿姨无语:故意
- 天风证券给予立讯精密买入评级
- 圣农发展获开源证券买入维持评级:近期获8份券
- PVC改性剂行业迎重要机遇期日科化学上半年净
- 梅赛德斯奔驰C350eL插电车上市:21分钟