黃仁勛：GPU服務器集群將消耗11千兆瓦時電力

NVIDIA首席執(zhí)行官黃仁勛進行了演講。

在演講中，黃仁勛向傳統(tǒng)的CPU服務器集群發(fā)起“挑戰(zhàn)”，認為在人工智能和加速計算這一未來方向上，GPU服務器有著更為強大的優(yōu)勢。

根據黃仁勛在演講上展示的范例，訓練一個LLM大語言模型，將需要960個CPU組成的服務器集群，這將耗費大約1000萬美元(約合人民幣7070萬元)，并消耗11千兆瓦時的電力。

相比之下，同樣以1000萬美元的成本去組建GPU服務器集群，將以僅3.2千兆瓦時的電力消耗，訓練44個LLM大模型。

如果同樣消耗11千兆瓦時的電量，那么GPU服務器集群能夠實現150倍的加速，訓練150個LLM大模型，且占地面積更小。

而當用戶僅僅想訓練一個LLM大模型時，則只需要一個40萬美元左右，消耗0.13千兆瓦時電力的GPU服務器即可。

換言之，相比CPU服務器，GPU服務器能夠以4%的成本和1.2%的電力消耗來訓練一個LLM，這將帶來巨大的成本節(jié)省。

標簽： 黃仁勛是哪國人 黃仁勛還會國語嗎

　　 原標題：黃仁勛向CPU服務器集群發(fā)起“挑戰(zhàn)”了？你怎么看？