8月9日,英偉達宣布推出一款新芯片,旨在在人工智能硬件領域抵御競爭對手,包括AMD、谷歌和亞馬遜。
據估計,目前英偉達在AI芯片市場占據了超過80%的市場份額。該公司的專長是圖形處理單元(GPU),已成為支撐生成式人工智能軟件(如谷歌的Bard和OpenAI的ChatGPT)的大型AI模型的首選芯片。但由于科技巨頭、云服務提供商和初創企業爭奪GPU容量來開發自己的AI模型,英偉達的芯片供應短缺。
(資料圖片僅供參考)
英偉達最新發布的芯片GH200,與該公司目前最高端的AI芯片H100采用相同的GPU。但GH200還配備了141GB的尖端內存和一個72核的ARM中央處理器。
英偉達CEO黃仁勛在周二的演講中表示:“我們給這個處理器加了一些提升?!彼a充說:“這個處理器是為全球數據中心的規模而設計的?!?/p>
據黃仁勛透露,這款新芯片將于明年第二季度在英偉達的經銷商處上市,并計劃在年底前提供樣品。英偉達的代表拒絕透露價格。
通常,處理AI模型的過程至少分為兩個部分:訓練和推理。
首先,使用大量數據對模型進行訓練,這個過程可能需要數月時間,有時需要數千個GPU,例如英偉達的H100和A100芯片。
然后,該模型將在軟件中用于進行預測或生成內容,這個過程稱為推理。與訓練類似,推理需要大量的計算資源,并且每次軟件運行時都需要大量的處理能力,例如生成文本或圖像時。但與訓練不同,推理是幾乎持續進行的,而訓練只在需要更新模型時才需要進行。
黃仁勛表示:“你可以將幾乎任何大型語言模型放入其中,它將進行瘋狂的推理。大型語言模型的推理成本將大幅降低?!?/p>
英偉達的新芯片GH200專為推理而設計,因為它具有更大的內存容量,可以容納更大的AI模型在單個系統中。英偉達副總裁伊恩·巴克在與分析師和記者的電話會議上表示,英偉達的H100具有80GB的內存,而新的GH200則有141GB的內存。英偉達還宣布推出了一種將兩個GH200芯片組合到一臺計算機中的系統,以支持更大的模型。
巴克表示:“更大的內存使得模型可以常駐在單個GPU上,而不需要多個系統或多個GPU來運行?!?/p>
此次宣布正值英偉達的主要GPU競爭對手AMD推出面向AI的芯片MI300X,該芯片支持192GB的內存,并被市場推廣為適用于AI推理。谷歌和亞馬遜等公司也正在設計自己的定制AI芯片用于推理。
編輯/jayden