|
快科技5月29日消息,在剛剛召開的2023年臺北電腦展上,NVIDIA首席執行官黃仁勛進行了演講。 在演講中,黃仁勛向傳統的CPU服務器集群發起“挑戰”,認為在人工智能和加速計算這一未來方向上,GPU服務器有著更為強大的優勢。 根據黃仁勛在演講上展示的范例,訓練一個LLM大語言模型,將需要960個CPU組成的服務器集群,這將耗費大約1000萬美元(約合人民幣7070萬元),并消耗11千兆瓦時的電力。
相比之下,同樣以1000萬美元的成本去組建GPU服務器集群,將以僅3.2千兆瓦時的電力消耗,訓練44個LLM大模型。
如果同樣消耗11千兆瓦時的電量,那么GPU服務器集群能夠實現150倍的加速,訓練150個LLM大模型,且占地面積更小。 而當用戶僅僅想訓練一個LLM大模型時,則只需要一個40萬美元左右,消耗0.13千兆瓦時電力的GPU服務器即可。 換言之,相比CPU服務器,GPU服務器能夠以4%的成本和1.2%的電力消耗來訓練一個LLM,這將帶來巨大的成本節省。 |
免責聲明:本網站內容由網友自行在頁面發布,上傳者應自行負責所上傳內容涉及的法律責任,本網站對內容真實性、版權等概不負責,亦不承擔任何法律責任。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益,請及時聯系我們,本站將會在24小時內處理完畢。