Monday to Saturday
為抵禦超微(amd)、google及亞馬遜(amazon.com)在人工智慧(ai)硬體領域的競爭，輝達(nvidia corp.)新推了專門用來執行ai模型的全新晶片，並表示執行大型語言模型(llms)的成本將「顯著降低」。
cnbc、marketwatch等外電報導，輝達執行長黃仁勳(jensen huang)8日在2023年繪圖盛會「siggraph」(special interest group on computer graphics and interactive techniques)發表次世代超級晶片「dgx gh200 grace hopper superchip」，主要應用於大型記憶體生成式ai模型，例如openai的ai聊天機器人「chatgpt」。
gh200的hopper繪圖處理器(gpu)與輝達目前最高階ai晶片「h100」相同，但結合72核心的arm架構grace中央處理器(cpu)，並搭配141 gb hbm3記憶體及每秒5 tb頻寬。另外，nvlink-dual gh200系統內建兩顆gh200，可將容量擴充3.5倍、頻寬增加三倍。
黃仁勳8日表示，這款升級過後的處理器專門應用於全世界最大資料中心的水平式擴充(scale-out)作業。
gh200預定2024年第二季上市，但輝達並未說明定價。黃仁勳僅指出，gh200可讓大型語言模型的推論成本顯著下降。
ai模型的工作過程可分為兩部分：訓練與推論(inference)。
首先，ai模型會以大量資料訓練，過程可能花上數月，有時需要上千顆gpu，例如輝達的h100及a100晶片。之後，ai模型將被軟體用來預測或產生內容，這個過程稱作推論。如同訓練，推論過程相當昂貴，軟體每次產生文字或內容都需要許多算力。然而，ai模型只有在更新時才需要訓練，推論卻會持續不斷發生。
輝達副總裁ian buck 8日在電話會議表示，最新的gh200專為推論設計，因為這個程序需要更多記憶體容量，可讓更大型的ai模型置入單一系統。
buck指出，記憶體容量加大，可讓ai模型常駐單一gpu，執行時不再需要多個系統或多顆gpu來配合。
輝達8日股價終場下跌1.66%、收446.64美元；盤中一度在新產品發表後下挫最多3%。
moneydj新聞
