久久精品免费看国产成人,四虎国产精品亚洲一区久久,伊人精品久久久7777,成人欧美一区二区三区在线,99精品国产福利一区二区,亚洲精品成人毛片久久久,久久精品99精品免费观看 ,99热久久这里只有精品免费,久久精品免费一区二区三区

OpenAI霸榜前二!大模型代碼生成排行榜出爐,70億LLaMA拉跨,被2.5億Codex吊打
來(lái)源:富途牛牛 發(fā)布時(shí)間:2023-06-07 19:33:01

國(guó)外計(jì)算機(jī)科學(xué)家自測(cè)LLM代碼生成,結(jié)果竟然是這樣!

最近,Matthias Plappert的一篇推文點(diǎn)燃了LLMs圈的廣泛討論。


(資料圖)

Plappert是一位知名的計(jì)算機(jī)科學(xué)家,他在HumanEval上發(fā)布了自己對(duì)AI圈主流的LLM進(jìn)行的基準(zhǔn)測(cè)試結(jié)果。

他的測(cè)試偏向代碼生成方面。

結(jié)果令人大為不震撼,又大為震撼。

意料之內(nèi)的是,GPT-4毫無(wú)疑問(wèn)霸榜,摘得第一。

意料之外的是,OpenAI的text-davinci-003異軍突起,拿了個(gè)第二。

Plappert表示,text-davinci-003堪稱一個(gè)「寶藏」模型。

而耳熟能詳?shù)腖LaMA在代碼生成方面卻并不出色。

OpenAI霸榜

Plappert表示,GPT-4的性能表現(xiàn)甚至比文獻(xiàn)中的數(shù)據(jù)還要好。

論文中GPT-4的一輪測(cè)試數(shù)據(jù)是67%的通過(guò)率,而Plappert的測(cè)試則達(dá)到了73%。

在分析成因時(shí),他表示,數(shù)據(jù)上存在差異有不少可能性。其中之一是他給到GPT-4的prompt要比論文作者測(cè)試的時(shí)候好上那么一些。

另一個(gè)原因是,他猜測(cè)論文在測(cè)試GPT-4的時(shí)候模型的溫度(temperature)不是0。

「溫度」是一個(gè)用于調(diào)整模型生成文本時(shí)創(chuàng)造性和多樣性的參數(shù)。「溫度」是一個(gè)大于0的數(shù)值,通常在 0 到 1 之間。它影響模型生成文本時(shí)采樣預(yù)測(cè)詞匯的概率分布。

當(dāng)模型的「溫度」較高時(shí)(如 0.8、1 或更高),模型會(huì)更傾向于從較多樣且不同的詞匯中選擇,這使得生成的文本風(fēng)險(xiǎn)性更高、創(chuàng)意性更強(qiáng),但也可能產(chǎn)生更多的錯(cuò)誤和不連貫之處。

而當(dāng)「溫度」較低時(shí)(如 0.2、0.3 等),模型主要會(huì)從具有較高概率的詞匯中選擇,從而產(chǎn)生更平穩(wěn)、更連貫的文本。

但此時(shí),生成的文本可能會(huì)顯得過(guò)于保守和重復(fù)。

因此在實(shí)際應(yīng)用中,需要根據(jù)具體需求來(lái)權(quán)衡選擇合適的「溫度」值。

接下來(lái),在點(diǎn)評(píng)text-davinci-003時(shí),Plappert表示這也是OpenAI旗下一個(gè)很能打的模型。

雖然不比GPT-4,但是一輪測(cè)試有62%的通過(guò)率還是能穩(wěn)穩(wěn)拿下第二名的寶座。

Plappert強(qiáng)調(diào),text-davinci-003最好的一點(diǎn)是,用戶不需要使用ChatGPT的API。這意味著給prompt的時(shí)候能簡(jiǎn)單一點(diǎn)。

此外,Plappert也給予了Anthropic AI的claude-instant模型比較高的評(píng)價(jià)。

他認(rèn)為這個(gè)模型的性能不錯(cuò),比GPT-3.5能打。GPT-3.5的通過(guò)率是46%,而claude-instant是54%。

當(dāng)然,Anthropic AI的另一個(gè)LLM——claude,沒(méi)有claude-instant能打,通過(guò)率只有51%。

Plappert表示,測(cè)試兩個(gè)模型用的prompt都一樣,不行就是不行。

除了這些耳熟能詳?shù)哪P停琍lappert也測(cè)試了不少開(kāi)源的小模型。

Plappert表示,自己能在本地運(yùn)行這些模型,這點(diǎn)還是不錯(cuò)的。

不過(guò)從規(guī)模上看,這些模型顯然沒(méi)有OpenAI和Anthropic AI的模型大,所以硬拿它們對(duì)比有點(diǎn)以大欺小了。

LLaMA代碼生成?拉胯

當(dāng)然,Plappert對(duì)LLaMA的測(cè)試結(jié)果并不滿意。

從測(cè)試結(jié)果來(lái)看,LLaMA在生成代碼方面表現(xiàn)很差勁。可能是因?yàn)樗麄冊(cè)趶腉itHub收集數(shù)據(jù)時(shí)采用了欠采樣的方法(under-sampling)。

就算和Codex 2.5B相比,LLaMA的性能也不是個(gè)兒。(通過(guò)率10% vs. 22%)

最后,他測(cè)試了Replit的3B大小的模型。

他表示,表現(xiàn)還不錯(cuò),但和推特上宣傳的數(shù)據(jù)相比差點(diǎn)意思(通過(guò)率16% vs. 22%)

Plappert認(rèn)為,這可能是因?yàn)樗跍y(cè)試這個(gè)模型時(shí)所用的量化方式讓通過(guò)率掉了幾個(gè)百分比。

在測(cè)評(píng)的最后,Plappert提到了一個(gè)很有意思的點(diǎn)。

某位用戶在推特上發(fā)現(xiàn),當(dāng)使用Azure平臺(tái)的Completion API(補(bǔ)全API)(而不是Chat API)時(shí),GPT-3.5-turbo的性能表現(xiàn)更好。

Plappert認(rèn)為這種現(xiàn)象具有一定合理性,因?yàn)橥ㄟ^(guò)Chat API輸入prompt可能會(huì)相當(dāng)復(fù)雜。

編輯/lambor

標(biāo)簽:

猜你喜歡

OpenAI霸榜前二!大模型代碼生成排行榜出爐,70億

國(guó)外計(jì)算機(jī)科學(xué)家自測(cè)LLM代碼生成,結(jié)果竟然是這樣!最近,MatthiasPla更多

2023-06-07 19:33:01

速看:火遍全網(wǎng)!蘋果Vision Pro亮相引熱議,華

近期,號(hào)稱能開(kāi)啟XR領(lǐng)域“iPhone時(shí)刻”的蘋果VisionPro頭顯終于發(fā)布。更多

2023-06-07 19:24:20

當(dāng)前消息!美股到年底將漲20%?Fundstrat:這三個(gè)

美國(guó)市場(chǎng)研究公司Fundstrat研究主管TomLee表示,如果市場(chǎng)能夠掃清三個(gè)更多

2023-06-07 17:44:25

一圖讀懂 | 美股期權(quán)隱含波動(dòng)率排行榜 (6.7)

隱含波動(dòng)率(IV)是對(duì)一支股票年內(nèi)價(jià)格變動(dòng)的預(yù)估,反映投資者對(duì)未來(lái)價(jià)更多

2023-06-07 17:35:25

?iPhone 15 會(huì)有哪些新功能?WWDC透露了些線索

$蘋果(AAPL US)$2023世界開(kāi)發(fā)者大會(huì)落幕,MR產(chǎn)品搶盡風(fēng)頭。不過(guò),華爾更多

2023-06-07 17:42:00

全球聚焦:北水加倉(cāng)快手、中芯國(guó)際,賣出美團(tuán)超3

6月7日,南向資金今日凈買入2 41億港元。$中國(guó)石油化工股份(00386 HK)$更多

2023-06-07 17:38:00

焦點(diǎn)資訊:乘聯(lián)會(huì):初步統(tǒng)計(jì)5月乘用車市場(chǎng)零售175

乘聯(lián)會(huì)初步統(tǒng)計(jì),5月1-31日,乘用車市場(chǎng)零售175 9萬(wàn)輛,同比增長(zhǎng)30%,更多

2023-06-07 16:42:41

別人恐懼我貪婪?“木頭姐”進(jìn)場(chǎng)抄底Coinbase

由于被美國(guó)證券交易委員會(huì)(SEC)指控違反美國(guó)證券法,$Coinbase(COIN US更多

2023-06-07 16:29:31

天天熱門:多家大行6月8日起下調(diào)人民幣存款利率,3

多家國(guó)有大行6月8日起將正式調(diào)整人民幣存款利率。其中,有大行調(diào)整人民更多

2023-06-07 16:27:39

每日期權(quán)追蹤 | 特斯拉股價(jià)八連漲!看漲期權(quán)持

編者按:《每日期權(quán)追蹤》緊跟期權(quán)市場(chǎng),關(guān)注博弈動(dòng)向,為牛友提供多維更多

2023-06-07 16:46:08