开yun体育网而非大鸿沟运行下的执行后果-开云·kaiyun(中国)官方网站 登录入口
大模子耗电惊东说念主开yun体育网，公论一浪高过一浪。
当今，谷歌用硬核数据强势还击。
一次 Gemini 查询仅能耗 0.24wh，十分于微波炉运行 1 秒，排放 0.03 g CO ₂ e，致使比东说念主放一次屁还少，同期耗尽约 5 滴水。
（文中数据均默示中位数）
谷歌首席科学家 Jeff Dean 公开默示：
这个数值显著低于公众普遍预期的水平。
何况像谷歌这样的大模子厂商，一直专注接头如何镌汰 AI 耗尽。
一年间，通过模子优化和罕见清洁动力的使用，Gemini 的能耗降至正本的 1/33，碳排放降至 1/44，同期提供了更高质料的响应。
底下让咱们一王人望望谷歌是如何斟酌和减少 AI 动力耗尽的？
如何斟酌 AI 耗尽动力
谷歌领先指出，现时好多对于 AI 动力耗尽的打算响应的都是表面后果，而非大鸿沟运行下的执行后果。
若 Gemini 只接洽 TPU 和 GPU 的耗尽，一次查询只需耗尽 0.10wh，排放 0.02 g CO ₂ e，耗水量约 0.12ml。
但这种打算风光仅接洽了机器在运行中的能耗，而忽略了一些要害身分。
与此同期，Jeff Dean 也默示：
东说念主们都在念念考 AI 是否会耗尽多数动力？它是否和会过碳排放来伤害地球？
是以，谷歌针对 AI 就业时的执行情况，征战了一套更为全面的步伐来打算动力耗尽，包括以下几个部分：
全系统动态功率
这不仅包括主 AI 模子在打算历程中使用的动力和水，还接洽了大鸿沟运行下执行的芯片诓骗率，而该诓骗率常常远低于表面最大值。
闲逸打算机
为确保高可用性和可靠性，出产系统需要一定进程的预置容量，该容量处于闲逸状况，但随时不错处罚流量岑岭或故障滚动。这些闲置芯片耗尽的能量必须计入总动力踪影。
CPU 和内存
AI 模子的运行不仅依赖 TPU 和 GPU 等机器学习加快器，主机的 CPU 和内存同样在提供就业和耗尽动力方面起着要害作用。
数据中心支出
运行 AI 的信息工夫建树所耗尽的动力仅占全体能耗的一部分。守旧这些打算的基础要津，如冷却系统、配电系统以过火他数据中心支出同样会耗尽动力。这部分支出动力常常用电力使用后果（PUE）办法来斟酌。
数据中心用水量
为了降粗劣耗及相干排放，数据中心常常会使用水进行冷却。跟着优化 AI 系统以提高动力后果，其全体用水量也会随之当然减少。
通过上述更全面的办法，谷歌得出一次 Gemini 查询的能耗为 0.24wh，排放 0.03 g CO ₂ e，同期耗水量约 5 滴。
如斯低的能耗，谷歌究竟是如何竣事的？
为什么 Gemini 耗尽这样低
谷歌默示，Gemin 权贵的后果提高收成于其在 AI 征战中遴选的全栈步伐，从定制硬件、高效模子，到守旧这些模子运行的浩大就业系统，他们在每一层都融入了后果优化。
领先是更高效的模子架构，Gemini 是谷歌接头东说念主员征战的 Transformer 模子框架，比较之前的话语建模架构，自后果可提高10 倍到 100 倍。
此外，他们还在模子瞎想中融入了像 MoE 和夹杂推理等机制，从而进一步减少打算量和数据传输，提高全体运行后果。
与此同期，Gemini 通过精确量化磨练（AQT）等步伐不休获取优化，使模子在保证回应质料的前提下进一步镌汰了动力耗尽。
在优化推理和就业上，谷歌不休转变 AI 的委派风光，以提高响应速率和全体后果。
比如通过筹谋解码工夫，较小的模子不错先进行预计，再由较大的模子快速考据，从而用更少的芯片提供更多响应。
蒸馏工夫则不错诓骗大型模子四肢西宾，生成用于就业的袖珍高效模子（如 Gemini Flash 和 Flash-Lite）。
不仅如斯，为了减少能耗，谷歌在硬件上还弃取定制化。
十多年来，他们一直从零运行瞎想 TPU，以最大化每瓦的性能。同期，他们还协同瞎想 AI 模子与 TPU，确保软件充分诓骗硬件后劲，硬件也能高效运行翌日的 AI 软件。
值得一提的是，最新一代 TPU Ironwood 的能效比首款公开 TPU 高 30 倍，在推理任务中远超通用 CPU。
接下来，等于优化闲逸资源。谷歌的就业堆栈粗略高效诓骗 CPU，并凭证需求近乎及时地动态调换模子，从而最大化减少 TPU 的闲逸时刻，而不是弃取"建树一次、持久运行"的风光。
同期，他们的 XLA ML 编译器、Pallas 内核和 Pathways 系统，使得在 JAX 等高等系统中抒发的模子打算粗略在 TPU 就业硬件上高效运行。
再来看谷歌的超高效数据中心，其全体平均动力使用后果（PUE）可达 1.09，为业界最高效的数据中心之一。
临了在数据中心运营方面，谷歌捏续加多清洁动力的使用，以竣事全天候无碳运行的标的，同期勇猛补充办公室和数据中心平均耗尽的 120% 淡水。
此外，他们还优化冷却系统，通过科学的流域健康评估，均衡动力、水资源和排放之间的局部衡量，从而引导冷却风光的弃取，并在水资源病笃地区铁心用水量。
参考结合：
[ 1 ] https://x.com/JeffDean/status/1958525015722434945
[ 2 ] https://cloud.google.com/blog/products/infrastructure/measuring-the-environmental-impact-of-ai-inference/
一键三连「点赞」「转发」「防备心」
原谅在挑剔区留住你的想法！
— 完 —
� � 8 月 22 日本周五，下昼 14 点，量子位 AI 沙龙邀请了RockFlow 创举东说念主、CEO 赖蕴琦 Vakee，一同来聊AI Agent，若何搞投资？
� � 原谅线下参会！面临面同样 AI Agent、金融投资与 AI 创业 � �
一键温顺 � � 点亮星标
科技前沿阐扬逐日见开yun体育网
