热点

英伟达:CPU 已经落伍,用 GPU 磨炼狂语言模子老本可飞腾 96%

字号+ 作者:魔都漾漾网 来源:知识 2025-02-27 05:52:20 我要评论(0)

  IT之家 5 月 29 日新闻,凭证英伟达在 2023 年台北电脑展会上的演讲,该公司宣称其 GPU 可能大幅飞腾磨炼大型语言模子LLM)的老本以及耗能。  英伟达首席实施官黄仁勋在演讲中,向 C

  IT之家 5 月 29 日新闻,英伟已经用G言模凭证英伟达在 2023 年台北电脑展会上的落伍老本演讲,该公司宣称其 GPU 可能大幅飞腾磨炼大型语言模子(LLM)的磨炼老本以及耗能。

  英伟达首席实施官黄仁勋在演讲中 ,狂语可飞向 CPU 行业建议了挑战 ,英伟已经用G言模他以为天生式家养智能以及减速合计是落伍老本未来合计的倾向 。他宣告传统的磨炼摩尔定律已经由时,未来的狂语可飞功能提升将主要来自天生式家养智能以及基于减速合计的措施 。

  英伟达在展会上揭示了一份 LLM 的英伟已经用G言模总体具备老本(Total Cost of Ownership,TCO)合成:首先,落伍老本他们合计了磨炼一个 LLM 所需的磨炼 960 个 CPU 组成的效率器集群的残缺老本(搜罗收集、机箱 、狂语可飞互连等所有配置装备部署) ,英伟已经用G言模发现这需要破费约 1000 万美元(IT之家备注:之后约 7070 万元国夷易近币),落伍老本并破费 11 千兆瓦时的磨炼电力。

  比照之下 ,假如坚持老本巩固,置办一个价钱 1000 万美元的 GPU 集群 ,可能在同样的老本以及更少的电力破费(3.2 千兆瓦时)下磨炼 44 个 LLM 。假如转而坚持电力破费巩固,那末可能经由 GPU 集群实现 150 倍的减速,以 11 千兆瓦时的电力破费磨炼 150 个 LLM,但这需要破费 3400 万美元 ,此外这个集群的占地面积比 CPU 集群小良多。最后 ,假如只想磨炼一个 LLM,那末惟独要一个价钱 40 万美元  、破费 0.13 千兆瓦时电力的 GPU 效率器就能了。

  英伟达所要表白的意思是  ,比照 CPU 效率器  ,客户可能以 4% 的老本以及 1.2% 的电力破费来磨炼一个 LLM,这是一个重大的老本节约。

1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 重返 DPOY+ 西部第一,再看戈贝尔交易,森林狼还亏麻了吗 省队教练、前羽毛球国手不幸溺亡!年仅31岁、结婚不到2个月…8-1!国乒轻松击败韩国队夺冠,孙颖莎:胜利离不开每个人的付出因世界杯北京站比赛受伤,林孝埈退出首尔站赛事

    重返 DPOY+ 西部第一,再看戈贝尔交易,森林狼还亏麻了吗 省队教练、前羽毛球国手不幸溺亡!年仅31岁、结婚不到2个月…8-1!国乒轻松击败韩国队夺冠,孙颖莎:胜利离不开每个人的付出因世界杯北京站比赛受伤,林孝埈退出首尔站赛事

    2025-02-27 05:29

  • 原创            确定!浓眉3年1.7亿,范乔丹兼职助教,杨毅看衰哈登,雄鹿怪伤病

    原创 确定!浓眉3年1.7亿,范乔丹兼职助教,杨毅看衰哈登,雄鹿怪伤病

    2025-02-27 04:23

  • 夏日养生喝甚么茶好?推选多少款适宜在夏日的养生茶配方

    夏日养生喝甚么茶好?推选多少款适宜在夏日的养生茶配方

    2025-02-27 03:31

  • 原创            三方交易曝光!湖人得到希尔德,拉塞尔加盟爵士,科林斯去步行者

    原创 三方交易曝光!湖人得到希尔德,拉塞尔加盟爵士,科林斯去步行者

    2025-02-27 03:06

网友点评