会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 英伟达:CPU 已经落伍,用 GPU 磨炼狂语言模子老本可飞腾 96%!

英伟达:CPU 已经落伍,用 GPU 磨炼狂语言模子老本可飞腾 96%

时间:2025-02-26 07:38:29 来源:蒙德博丽网 作者:娱乐 阅读:554次

  IT之家 5 月 29 日新闻 ,英伟已经用G言模凭证英伟达在 2023 年台北电脑展会上的落伍老本演讲 ,该公司宣称其 GPU 可能大幅飞腾磨炼大型语言模子(LLM)的磨炼老本以及耗能。

  英伟达首席实施官黄仁勋在演讲中,狂语可飞向 CPU 行业建议了挑战 ,英伟已经用G言模他以为天生式家养智能以及减速合计是落伍老本未来合计的倾向 。他宣告传统的磨炼摩尔定律已经由时 ,未来的狂语可飞功能提升将主要来自天生式家养智能以及基于减速合计的措施。

  英伟达在展会上揭示了一份 LLM 的英伟已经用G言模总体具备老本(Total Cost of Ownership ,TCO)合成 :首先 ,落伍老本他们合计了磨炼一个 LLM 所需的磨炼 960 个 CPU 组成的效率器集群的残缺老本(搜罗收集、机箱  、狂语可飞互连等所有配置装备部署),英伟已经用G言模发现这需要破费约 1000 万美元(IT之家备注:之后约 7070 万元国夷易近币) ,落伍老本并破费 11 千兆瓦时的磨炼电力。

  比照之下 ,假如坚持老本巩固 ,置办一个价钱 1000 万美元的 GPU 集群,可能在同样的老本以及更少的电力破费(3.2 千兆瓦时)下磨炼 44 个 LLM。假如转而坚持电力破费巩固 ,那末可能经由 GPU 集群实现 150 倍的减速,以 11 千兆瓦时的电力破费磨炼 150 个 LLM ,但这需要破费 3400 万美元 ,此外这个集群的占地面积比 CPU 集群小良多 。最后,假如只想磨炼一个 LLM ,那末惟独要一个价钱 40 万美元 、破费 0.13 千兆瓦时电力的 GPU 效率器就能了 。

  英伟达所要表白的意思是 ,比照 CPU 效率器 ,客户可能以 4% 的老本以及 1.2% 的电力破费来磨炼一个 LLM,这是一个重大的老本节约。

(责任编辑:焦点)

推荐内容
  • CBA | 北控客场负辽宁凸显实力差距
  • 英格拉姆30分小萨空砍三双 鹈鹕力克国王晋级锦标赛4强
  • 油价调整,汽油或降价!12月5日调价后92号汽油,猪价雷霆上涨!泰国“流亡女总理”英拉,成了中国名企董事长?你看她的背后是谁
  • CBA | 又是最后时刻遭绝杀 北控男篮还是“不敢赢”湖北妈妈肾衰竭,移植7岁儿子的肾,得救后:我的孩子,你安心走
  • 原创            步行者vs活塞前瞻:哈利伯顿期待魔法奇迹,20连败在向活塞招手?
  • 狂飙的冲锋衣  还能火多久?