天价内存把大厂逼成垃圾佬！拆退役服务器抠DDR4用

Summary

DRAM供应持续紧张，已将AI巨头逼到拆旧服务器回收内存的地步。 谷歌供应链基础设施高级总监Nikhil Cherian近日透露，AI行业已从算力受限快速转向内存受限，高性能内存目前占单台AI服务器物料成本的约75%。 据Cherian介绍，为突破内存瓶颈，谷歌在软硬件两端同时发力，硬件层面甚至建立了内部回收供应链，将退役服务器拆解后回收可用的DDR4内存模块。 Cherian坦言，谷歌专门设计了硬件转接器，使上一代DDR4内存能够连接到新一代AI服务器上，并且正在专门重新导入退役服务器以拆取其中的DDR4模组。 这意味着原本应使用DDR5的新AI服务器，在部分情况下不得不降级使用回收的DDR4。 软件层面，谷歌持续优化底层函数库、模型架构和KV Cache压缩技术，试图降低单位算力的内存消耗…