來源:品玩
4月7日,阿里巴巴旗下大語言模型——“通義千問”開啟邀測。
(相關資料圖)
開發(fā)“通義千問”的阿里巴巴達摩院如是解釋這款大語言模型的命名:“千問,千萬次的問,千萬的學問,能問出千問的一定是真愛,能回答千問的,也一定是真有學問,以及,AI和我們一樣,都有千萬次交互的熱情。”
而在使用邀請碼對大模型產(chǎn)品測試了一天后,我們也有機會和它背后的負責人,阿里云智能CTO周靖人進行了一次獨家對話,提出了我們的“千問”。
以下為對話實錄:
01 “通義千問”不是起點也不是終點,而是既定路線上的一個節(jié)點
品玩:我們今天一直在使用通義千問,它的許多特點讓我們印象深刻,網(wǎng)上也有了很多對產(chǎn)品的測試,我們很好奇你們會怎么測試它,如何判斷它的表現(xiàn)?
周靖人:怎么去全面評測一個大模型本身是非常有挑戰(zhàn)的。其實今天整個行業(yè)還沒有一個標準。甚至每個人的評價其實也是很主觀的,對吧?
有時候更多的是說,讓模型能面對你的一些回復,揣測到你到底是喜歡哪一種說話的方式,然后會不斷去調整,這本身就是模型在理解方面的一個能力。
我們會有一系列的評測,其中簡單的測試包括一些創(chuàng)作,一些文案的續(xù)寫,一些簡單的推理,甚至一些簡單的數(shù)學。包括今天跟一些多模態(tài)的延展,還有一些知識增強的測試。
現(xiàn)在我們內部是有一個測試集,而慢慢以后都會從讓人去評價一個模型,變成用模型去評價一個模型本身,我們一定會走到這一步。
品玩:那么如果對標ChatGPT,通義千問現(xiàn)在是什么水平?
周靖人:我們要承認ChatGPT尤其是GPT4目前還是非常領先的。我覺得這是一個正常的過程。
但直接對比的話,這也很難評價。我們關注的是如何能夠讓我們的模型彌補自己的不足,甚至在更多的一些場景里面有突出的一些能力的表現(xiàn)。今天所有的模型離我們真正去模擬人類的智慧體還有很遠的距離。
品玩:阿里并不是因為ChatGPT的出現(xiàn)才開始密集投入大模型的,之前也展示過很多模型研究的進展,那“通義千問”在阿里的大模型研究歷程里是什么位置?
周靖人:這個產(chǎn)品是我們的一個中間態(tài)。
今天我們在不斷探索基于多模態(tài)的大模型的路徑上,或者說接近于多模態(tài)真正的趨近人類智慧體的路徑上的一個節(jié)點。它不是起點也不是終點,是個既定路線上的節(jié)點。我們這次是把過去積累的一部分工作向社會,向開發(fā)者開放,但我們在這方面還有長足的工作,需要進一步地去突破去創(chuàng)新。
品玩:盡管你強調多模態(tài),但我們注意到這一次并沒有提供文生圖的功能。
周靖人:對,很多公司在做文生圖,其實達摩院也有相關的一系列工作發(fā)表了,像我們的Composer模型等,不光能夠做文生圖,還可以根據(jù)你的一些詳細指令去修改這個圖。所以給通義千問接入文生圖并不是最難的,它更多是一個工程上的問題。
我們其實認為,今天更難的是把各個模態(tài)的模型能力融入進一個模型,比如怎么把視覺的能力融入到語言模型里面。因為一個人獲取知識的方式有視覺、語言、聽覺等,不會把它們用獨立的形態(tài)分割開來,在人腦里它都是一個可貫通的知識體,能夠把不同形式的輸入有機的聯(lián)合在一起。今后的多模態(tài)必然能夠做到,不管是任何一個模態(tài)來的信息,你的知識體系或者接受到的信號都能夠在一個高維的空間里有機融合在一起。
我覺得這個是必然會發(fā)生的。這個也是接下來GPT4或5一定會有突破的地方,我們也在這方面有不少的投入,也是我們認準的一個重要方向。
品玩:也就是說阿里的大模型路線,是多模態(tài)的一張藍圖繪到底,而這些都是計劃的一部分。
周靖人:我們從 2019 年就開始嘗試各種各樣的大模型,從StructBERT到M6,再到PLUG再到最新的Composer等一系列視覺模型,其實本質都是在預訓練大模型的整體思路上不斷進行探索,不斷創(chuàng)新。
我認為今天大模型其實在不斷地逼近我們人的智慧。人的智慧很重要的一點就來自于語言,LLM(large language model )開始能根據(jù)自然語言理解有效地提取人類大量的知識體系,在這方面是非常獨特的。
今天我們看到類似ChatGPT,類似通義千問所表現(xiàn)出來的一些能力,其實都是在這條道路上。所以對我們行業(yè)內的人來講,我們并不認為這條道路好像就是2023 年突然出現(xiàn)。我們認為這是一個長期以來技術發(fā)展的演進過程。甚至我們認為今天看到的所謂大模型的能力也都是冰山一角,今后還會有整體更驚人的一系列表現(xiàn)。
我認為ChatGPT的推出,更重要的是教育了整個社會。上一次半年前我們聊到大模型的時候,可能連科技界部分工作者都還不看好這條路線。今天 ChatGPT 基于 Chat 這樣一個產(chǎn)品的形態(tài)做得非常出色,把相關的能力有效地表達出來了,不光是對模型一線的工作者,更多是讓大眾和各行各業(yè)的人都突然有如夢驚醒的感覺。甚至,今天它給我們整個計算機科學領域都帶來了一個驚訝的反應,或者說快速的教育過程,大家快速認識到基于一個智慧體的預訓練大模型會有多么出色的表現(xiàn)。
在這個過程中間,我們對ChatGPT所采用的一些技術和各個方面能夠達到的驚艷效果也是感到出乎意料。但阿里不是說今天有了ChatGPT,我們才加入這樣一個陣列,或者說我們才能湊熱鬧,也來做一把模型。其實我們在這方面一直在積累,應該說是國內最早探索大模型方向的公司之一。
02 ChatGPT非常領先,但下次也許就是我們在引領技術的發(fā)展
品玩:所以對大模型而言,ChatGPT究竟改變了什么?
周靖人:它基于SFT(有監(jiān)督精調),包括基于reinforcement learning(強化學習) 的調優(yōu)方式讓人眼前一亮。
今天其實我們回過頭去看,模型中融入知識的潛力是巨大的,但是在InstructGPT 出來之前,其實缺乏一個有效的手段把這方面的能力釋放出來。現(xiàn)在這些技術的使用能更有效地把模型作為知識體的能力釋放出來,快速地去解決一些具體的問題。
品玩: 這對大模型研究路線有什么影響?
周靖人:首先,ChatGPT包括InstructGPT給我們很多啟發(fā),我相信 OpenAI 其實有長足的技術前瞻性,當他發(fā)布GPT3. 0 或者 3. 5 版本的時候,實際上是各個方面都陸陸續(xù)續(xù)已經(jīng)準備好了。
但最終我們認為類似人類智慧體的預訓練大模型一定是多模態(tài)的。我們長期以來在這方面做投入,因此ChatGPT的誕生并沒有讓我們轉變投入方向。后來GPT4的發(fā)布其實在無形之中驗證了大家實看法比較一致——AI會朝著多模態(tài)的體系進一步發(fā)展。
所以今天我們方向是一致的,在實現(xiàn)路徑上我們要取長補短,這是科技發(fā)展的必經(jīng)之路。今天ChatGPT有一些很出色的工作,我們要把他們的一系列工作和一些進展融入到我們技術路線里面來。
品玩:如何看AI行業(yè)的議程正在被ChatGPT設置這個事實,就是說無論其它玩家做什么,都會被拿來跟ChatGPT做對標。
周靖人:我覺得這就是科技的魅力。
這種你追我趕是今天科技健康發(fā)展的必經(jīng)之路。任何一個科技都是處于你追我趕中,今天可能我有一些新的想法,能把科技再往前推一步,那下一次有可能是由你來承擔這方面的一些創(chuàng)新,大家都是在互相取長補短,不斷的去推進科技前進。
在不斷取長的過程里,我們也不能妄自菲薄,我們同樣也希望能不斷地去推進最先進的技術進步,下次也許就是我們在推動行業(yè)的發(fā)展。只有這樣人類的整體科技才能不斷地提升,不斷的創(chuàng)新,不斷地進行突破。
至于今天整個 OpenAI 已經(jīng)在給我們設置議程,我覺得那是因為它是領先者,這必須承認,而接下來,如何能快速追趕上,如何能快速地去迭代模型將成為一個制勝的關鍵。
也就是說今天我們不乏有一些新的想法,那今天我如何能夠去嘗試?如果說每一次的嘗試它需要花的時間是幾個月甚至更長,那今天你整個的創(chuàng)新速度是跑不起來的。
品玩:它變成了一個系統(tǒng)效率的比拼。
周靖人:今天創(chuàng)新迭代的速度一方面需要我們有一些新的想法,但更重要的是需要今天云的基礎設施。它能夠讓我們去快速地去嘗試,去試錯,能夠快速拿到反饋,才能讓科技創(chuàng)新不斷加速。
我們講它是一個全方位的競爭,不單單是說今天是模型本身的競爭,其實今天它既是研究又是工程,是從云的基礎設施到 AI 算法,到今天數(shù)據(jù)處理,全方位的一個競爭,甚至涉及到了今天我們計算機科學的方方面面。有各種各樣的分布式系統(tǒng)重啟、底層的網(wǎng)絡存儲各個方面都會涉及到。那之所以 OpenAI 能夠做出非常出色的工作,也來源于今天它跟微軟 Azure 的有機結合,其實在無形之中也是強聯(lián)合,能夠不斷通過云的基礎設施,通過整個系統(tǒng)的一系列優(yōu)化帶動了今天OpenAI不斷創(chuàng)新的速度。
我認為在這一場競爭里面,是一個公司全方位能力的一個表現(xiàn),如果在任何一個環(huán)節(jié)稍微落后一點,都會在整個競爭上處于劣勢。
03 “通義千問”其實是一個MaaS(模型即服務)的底座
品玩:也就是可能這個模型并沒有完全成熟,但是它也需要先投入到一個真實甚至是一個商業(yè)的環(huán)境中去。今天模型的研發(fā)跟行業(yè)的應用已經(jīng)在并行進行。
周靖人:對,人們逐漸認識到基于大模型本身強大的對知識理解和推理能力,找到一個如SFT和Prompt等方向后,就能夠把小宇宙慢慢釋放出來。那當然會激發(fā)基于大模型的一系列模型應用。
今天一定程度上人工智能業(yè)務算法的算法體系已經(jīng)在改變,今后大家要慢慢學會怎么在大模型上去做二次的開發(fā),去做相關的一系列算法和工作,包括把它適配到不同的場景。
去年我們在國內首次推出 model as a service模型即服務(MaaS),甚至我們是在全球第一個提出來這樣一個概念。那我們也比較欣慰的看到越來越多的行業(yè)、云計算廠商還有更多的互聯(lián)網(wǎng)公司也開始認同這樣的一個觀點,甚至今天也開始按照這樣一個觀點去打造自己的產(chǎn)品服務體系。我們已經(jīng)已經(jīng)真正進入到了一個模型的世界。
品玩:那么MaaS會讓我們和OpenAI走上不同的演進道路么?
周靖人:我們認為今后 AI 的開發(fā)門檻會越來越低,我們期待的是連小學生也能用各種模型進行開發(fā)。今后我們需要形成的是一個一個模型的不同層級的結構。
而且一個通用的模型其實也很難解決所有問題。從開發(fā)者的角度,它會更多的以模型為第一思考的角度和元素,也就是說今天圍繞著模型作開發(fā)的范式會逐漸誕生。我們去年在ChatGPT出來之前就提出并一直在強調 MaaS,其實就是這樣一個理念背后的一系列的思考。
我們在思考模型的生態(tài)如何快速發(fā)展,所以提出MaaS,為了加速MaaS,我們又創(chuàng)建了“魔搭”這樣的社區(qū)。所以幾乎這些工作都是相互強關聯(lián)的,是在我們整個AI戰(zhàn)略和模型戰(zhàn)略的主線上。
品玩:通義千問其實也就是MaaS的成果之一,對吧。
周靖人:是的,今天通義千問是以對話作為一個能力的表現(xiàn)形式,但我們期待一些企業(yè)級的應用誕生在上面,也就是說今天真正把通義千問模型作為MaaS上面的一個底座,能夠在上面進行額外的開發(fā),能夠真正應用到一些各行各業(yè)的場景里面去。那這樣就是真正意義上形成了MaaS。
04 達摩院支持別人在阿里云上開發(fā)大語言模型
品玩:也就是在阿里云上別人也可以開發(fā)自己的模型。
周靖人:我們是非常歡迎的。我們并不認為今天大模型是一家獨大。
我們希望阿里云能夠為大家提供一個高效的算力,不簡簡單單是一個算力的數(shù)字,而是能夠把這部分的基礎設施更好地提供給我們中國的創(chuàng)業(yè)公司,幫助他們在 AI 方面實現(xiàn)自己的創(chuàng)新,這樣才能讓中國整體的 AI 能力有一個全方位的提升。
品玩:其實我們對于初創(chuàng)公司做模型這件事情,整個達摩院包括整個阿里的態(tài)度其實是相當開放的?
周靖人:對。
品玩:那初創(chuàng)公司做大模型呢?你們怎么看?
周靖人:我覺得對待大模型,我們科技界一定是要保持開放的心態(tài),對吧?因為很多的創(chuàng)新來自許多新的想法,其實這個我們很難說處于一個壟斷的狀態(tài)。
阿里應該說在這方面非常開放,我們愿意把我們的模型供大家使用,另外一方面我們也把我們模型所依賴的這樣一個云的能力也對外進行服務。雖然我們也認識到今天小公司在訓練大模型的經(jīng)費和技術上有門檻,但我覺得這個是問題本身的特點所帶來的。我們希望有更多的參與者不斷地加入到這方面的科技創(chuàng)新。
05 賣個關子,還有下一款“通義”模型
品玩:今天很多人把大模型的突飛猛進歸結于涌現(xiàn)(emergence)。您是否可以描述一下,通義千問的哪一個研發(fā)場景,讓我們覺得這個它可能它是實現(xiàn)了一次非常成功的大規(guī)模的涌現(xiàn)?
周靖人:我覺得涌現(xiàn)可能是一個主觀的定義。
品玩:不是一個科學的詞匯,是嗎?
周靖人:對,為什么這么說,因為它是對某一個個體認知體系的一個沖擊,這個叫做一個涌現(xiàn)。那當然每個人的認知是不一樣的,所以大家看到同樣結果,也許對我是一個沖擊,對你就不是一個沖擊。
所以對于我們這些科技工作者來講,今天所有的科技發(fā)展都是一步步來的。所以我剛才講到,我們之所以從幾年前國內最早就在做相關大模型的研究,如此篤定,其實我們每年都會有各種各樣的一個涌現(xiàn),我們每一份工作其實都有各種各樣的一個涌現(xiàn),當然這一次看起來是全社會的一個涌現(xiàn),每個人都參與,但我還是認為科技的發(fā)展總是有一定的積累后,到了一定時刻有一個突破,其實中間有很多的技術細節(jié),很多的know-how。
品玩:所以這些know-how是什么?很多人說現(xiàn)在找不到,跟煉丹似的,您同意這個說法嗎?
周靖人:我覺得應該說今天我們有點類似處于早期深度學習發(fā)展的那個階段。那個時候大家對整個深度學習的理解,也覺得是“不知道為什么,反正管用”,這點毫無疑問。坦誠地講,今天的進步確實有很多工程以及經(jīng)驗的因素在里面,這中間的的確確還有很多方面值得研究,包括這個模型深層次的機理。今天我們大概知道這個模型為什么會有這么突發(fā)的一個表現(xiàn),但真實的情況我們還是需要有一些理論的研究。
品玩:現(xiàn)在通義千問最希望或者最需要解決的問題是什么?
周靖人:這個模型可以優(yōu)化的地方還有非常多。我剛才強調,它只是整體規(guī)劃的一個部分,讓大家體驗到我們在工作上的一些進展,但是離我們的整體設計還有長足的工作需要去完成。
比如從模型本身和系統(tǒng)層來講,如何能夠更高效的去服務更大規(guī)模模型的訓練,如何接入更多模態(tài),提高在推理側的代碼能力,提升輔助人類日常工作生活方方面面的能力,結合行業(yè)知識的定制化能力等。
但是解決過程也是我們科技發(fā)展的一個必經(jīng)之路,今天如果到一個時間點我們都覺得問題解決完了,這個領域也就不再令人興奮了。正因為今天這個是一個剛剛發(fā)展起來的嶄新的領域,我們認為想象的空間是巨大的。
品玩:最后一個問題,為什么叫通義千問,一定要這么文縐縐的嗎?
周靖人:我們去年9月份的時候就發(fā)布了“通義”大模型系列,我們整體一系列的發(fā)布不是為了某一次發(fā)布而改變的策略,我們是有一個體系化的思考。今天我們發(fā)布千問是在我們既定的路線上面的一個節(jié)點。
所以通義是一個模型系列的名字,千問主要是指它目前一個主要的對話形態(tài)。千萬次的追問是人類獲取智慧的方式,我們希望千問也能夠不斷地學習逼近人類的智慧。
通義千問成為我們通義模型系列中重要的一員。我們接下來很快還會測試另外一款通義的模型,現(xiàn)在賣個關子。它也會叫通義什么,并且代表今天我們在相關領域的又一個重要進展。
編輯/Corrine