久久精品免费看国产成人,四虎国产精品亚洲一区久久,伊人精品久久久7777,成人欧美一区二区三区在线,99精品国产福利一区二区,亚洲精品成人毛片久久久,久久精品99精品免费观看 ,99热久久这里只有精品免费,久久精品免费一区二区三区

虎博大模型發(fā)布即開源 同步發(fā)布三種API欲建行業(yè)生態(tài)
來源:太陽信息網 發(fā)布時間:2023-06-08 14:30:32

歷經3個月“隱蔽模式”研發(fā),國內新銳算法公司虎博科技于6月6日發(fā)布并開源其自研大模型TigerBot,同步發(fā)布大模型應用開發(fā)所需的全套API并提供多領域專業(yè)數據,旨在構建大模型生態(tài)藍圖。據悉,Tigerobot在經典公開NLP語料測試中表現不俗,效果逼近OpenAI同等大小模型的96%,更在推理式問答等個別領域表現亮眼。

Tigerbot是虎博科技自研的多語言多任務大規(guī)模語言模型,致力于改善人們的工作流以提高效率,將成為人們工作必備的外腦搜索引擎之一。參與評測的TigerBot-7B是其第一版MVP,經歷了3000次實驗迭代。目前,虎博科技創(chuàng)始人兼CEO陳燁持續(xù)帶領團隊改進,已迭代出同等大小且表現優(yōu)于OpenAI的新模型,并將在近期更新發(fā)布。

根據OpenAIInstructGPT論文在公開NLP數據集上的自動評測,TigerBot-7B已達到OpenAI同樣大小模型的綜合表現的96%,這得益于虎博科技在GPT和BLOOM基礎上,對模型架構和算法進行了多項創(chuàng)新優(yōu)化,包括指令完成監(jiān)督微調的創(chuàng)新算法,以提升可學習型;運用ensemble和probabilisticmodeling的方法,實現更可控的事實性和創(chuàng)造性;在并?訓練上,突破了deep-speed等主流框架中若?內存和通信問題,使得在千卡環(huán)境下可實現數??間斷等。此外,經對中?語?的更不規(guī)則的分布,虎博科技從tokenizer到訓練算法等方面做了針對性算法優(yōu)化,使得模型的問答更具中國文化屬性。

(上圖為公開NLP數據集上的自動評測,以OpenAI-instructGPT-6B-SFT為基準,歸一化并平均各模型的得分情況)

“此等一生難遇一次的大機遇,是吾輩之幸事!”在人工智能領域從業(yè)20年后,陳燁對大模型的橫空出世發(fā)表了真摯的言辭,更激發(fā)了他內心年少時的激情。他認為,推進人類文明的技術變革往往源于本能、直覺和偶然性,而擁有自由的創(chuàng)新精神是根本。大模型技術就像是一門新興學科,其未來的可能性將超過每個人的想象,他表示,現階段過早和過于理性地探討產品、應用、場景和商業(yè)化或許沒有必要,更重要的是推廣這一人工智能基礎設施的原創(chuàng)突破,促進技術的發(fā)展和更新。“它將是顛覆式且長周期的。”

秉持科學創(chuàng)新無國界、無階層的信念,虎博科技將以全套API形式開源Tigerbot的階段性成果,試圖與廣大大模型應用開發(fā)者共同構建大模型生態(tài)藍圖,通過生態(tài)的發(fā)展反哺促進大模型能力迭代,讓技術和產業(yè)發(fā)展共榮共生,共同打造中國的世界級應用。此次開源內容包含模型、代碼、數據三部分,包含TigerBot-7B-sft、TigerBot-7B-base、TigerBot-180B-research等多個模型版本,經基本訓練且覆蓋雙卡推理180B模型的量化和推理代碼,以及高達100G的預訓練數據和監(jiān)督微調1G或100萬條數據。值得一提的是,TigerBot-7B-base的綜合表現優(yōu)于同等可比的OpenAI和BLOOM,TigerBot-180B-research的參數量達1800億,或是目前業(yè)內最大的大規(guī)模語言模型,而高達100G的預訓練數據,更被視為目前業(yè)內最大且質量最優(yōu)的開源預訓練數據之一。同時,虎博科技還將開放大量的金融、法律、百科等領域專業(yè)數據,供應用開發(fā)者使用。

回顧Tigerbot研發(fā)過程,虎博科技致敬了硅谷90年代經典的“車庫創(chuàng)業(yè)”模式,項目組在陳燁的帶領下,從5人小隊發(fā)展成目前10人小組。團隊克服多重困難,在1月內實現自研全棧代碼,當時測試表現已達OpenAI可比模型的80%效果,為整個團隊注入了一劑“強心針”,促使他們不斷突破事實性、創(chuàng)造性和思維鏈等底層研究,最終實現了算法、工程、數據的高效迭代。他們以每日至少3次,累計超過3000次的實驗,打造出了Tigerbot。

據悉,虎博科技成立于2017年,以讓人們獲取知識更簡單為愿景,致力于通過深度學習、自然語言處理等世界前沿技術,深入挖掘全球各行業(yè)信息,以可視化的問答方式呈現關鍵內容。同時,以貼近一線的視角精準洞察行業(yè)痛點,將核心技術產品化,幫助企業(yè)在日常運營、產品體驗等多方面高度提效。截至目前,虎博科技融資額超越同階段AI+NLP領域其他企業(yè)。

免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。

標簽:

猜你喜歡