來源:華爾街見聞
4月12日,微軟宣布開源了Deep Speed Chat,幫助用戶輕松訓(xùn)練類ChatGPT等大語言模型,使得人人都能擁有自己的ChatGPT!(開源地址:https://github.com/microsoft/DeepSpeed)
(資料圖片)
據(jù)悉,Deep Speed Chat是基于微軟Deep Speed深度學(xué)習(xí)優(yōu)化庫開發(fā)而成,具備訓(xùn)練、強化推理等功能,還使用了RLHF(人工反饋機制的強化學(xué)習(xí))技術(shù),可將訓(xùn)練速度提升15倍以上,成本卻大幅度降低。例如,一個130億參數(shù)的類ChatGPT模型,只需1.25小時就能完成訓(xùn)練。
簡單來說,用戶通過Deep Speed Chat提供的“傻瓜式”操作,能以最短的時間、最高效的成本訓(xùn)練類ChatGPT大語言模型,這標(biāo)志著一個人手一個ChatGPT的時代要來了。
微軟為什么開源Deep Speed Chat
ChatGPT只用了幾個月的時間便席卷全球,成為史上用戶增長速度最快的消費級應(yīng)用,對世界的經(jīng)濟發(fā)展、科技研發(fā)起到了重要的推動作用。很多企業(yè)、個人用戶紛紛想?yún)⑴c到這場AI技術(shù)變革中,但由于龐大的資源、資金投入只能望而卻步。
即便開源領(lǐng)域推出了LLaMa、Alpaca、Vicuna、Databricks-Dolly等優(yōu)秀的類ChatGPT項目,仍缺乏一個支持端到端的基于RLHF的規(guī)模化系統(tǒng),使得訓(xùn)練強大的類ChatGPT模型非常艱難。
例如,使用上述開源項目訓(xùn)練一個67億參數(shù)的類ChatGPT模型,通常需要昂貴的多卡至多節(jié)點的GPU集群,但這些資源對大多數(shù)科學(xué)家、小型企業(yè)、個人開發(fā)者而言難以獲取。
即便是擁有這樣的資源,現(xiàn)有的開源系統(tǒng)的訓(xùn)練效率通常還不到,這些機器所能達(dá)到的最大效率的5%。
現(xiàn)在,通過Deep Speed Chat解決資源、算法等難題,輕松、高效的訓(xùn)練數(shù)千億參數(shù)的最先進的類ChatGPT模型。
全民ChatGPT時代來了
做個不太恰當(dāng)?shù)谋扔鳎④洿舜伍_源Deep Speed Chat就像當(dāng)年的互聯(lián)網(wǎng),為了提升發(fā)展速率降低了臺式機的價格,使得普通用戶也能擁有自己的電腦。
只有參與的用戶多了,整個行業(yè)生態(tài)才能快速壯大發(fā)展,所以,微軟此次開源對整個ChatGPT生態(tài)發(fā)展起到了至關(guān)重要的推動作用,使得人人都能擁有自己的ChatGPT。
目前,ChatGPT處于初級發(fā)展階段,存在安全隱患、數(shù)據(jù)隱私、道德等問題。相信隨著參與用戶的增多,這些難題將會被有效的解決,從而為全球經(jīng)濟發(fā)展做出貢獻(xiàn)。
編輯/Jeffrey