文丨郝 鑫，編丨劉雨琦

“OpenAI不足為懼，開(kāi)源會(huì)慢慢趕上來(lái)。”

彼時(shí)Hugging Face創(chuàng)始人Clem Delangue的一句預(yù)言，正在迅速成為現(xiàn)實(shí)。

ChatGPT橫空出世7個(gè)多月后，7月19日，Llama 2宣布開(kāi)源，并且可直接商用。

如今回看，這一天也成為了大模型發(fā)展的分水嶺。在此之前，全世界開(kāi)源的大模型不計(jì)其數(shù)，可只是停留在開(kāi)發(fā)研究層面?！翱缮虡I(yè)”短短三個(gè)字，猶如一顆重磅炸彈引爆了大模型創(chuàng)業(yè)圈，引得傅盛連連感嘆，“有的人哭暈在廁所，而有的人在夢(mèng)中也能笑醒”。

AI大模型圈一夜之間變了天，同時(shí)也宣告著大模型加速商業(yè)化時(shí)代的到來(lái)。

自Llama 2后，開(kāi)源逐漸成為主流趨勢(shì)。以Llama架構(gòu)為首，先掀起了一波以其為核心的開(kāi)源，如Llama 2低成本訓(xùn)練版、Llama 2最強(qiáng)版、微調(diào)版等等。截至發(fā)稿前，以“LLama 2”為關(guān)鍵詞在國(guó)外最大的AI開(kāi)源社區(qū)Hugging Face檢索模型，有5341條結(jié)果；在全世界最大的開(kāi)源項(xiàng)目托管平臺(tái)Github上，也有1500個(gè)詞條。

（圖源：Hugging Face官網(wǎng)）

（圖源：Github官網(wǎng)）

之后，創(chuàng)業(yè)者們的目光從解構(gòu)、增強(qiáng)Llama 2轉(zhuǎn)向了構(gòu)建行業(yè)專有大模型，于是又掀起了一波Llama 2+司法、Llama 2+醫(yī)療等一系列的行業(yè)開(kāi)源大模型。據(jù)不完全統(tǒng)計(jì)，Llama 2開(kāi)源后，國(guó)內(nèi)就涌現(xiàn)出了十幾個(gè)開(kāi)源行業(yè)大模型。

國(guó)內(nèi)頭部廠商和創(chuàng)業(yè)公司紛紛加入開(kāi)源浪潮中，阿里QWEN-7B開(kāi)源一個(gè)多月下載量破100萬(wàn)，9月25日升級(jí)了QWEN-14B；百川智能開(kāi)源的Baichuan-7B、13B兩款開(kāi)源大模型下載量目前已經(jīng)突破500萬(wàn)，200多家企業(yè)申請(qǐng)部署開(kāi)源大模型。

與此形成強(qiáng)烈對(duì)比的是，短時(shí)間內(nèi)，Llama 2對(duì)一些閉源的大模型廠商造成了致命性的打擊。閉源大模型多采用調(diào)取API的方式使用，數(shù)據(jù)需要先上傳至模型廠商，按照調(diào)用次數(shù)收取費(fèi)用；而開(kāi)源則可以在本地部署，且完全免費(fèi)，可商用后產(chǎn)生的利潤(rùn)也可以收歸己有。

行業(yè)內(nèi)人士告訴光錐智能：“在這種情況下，基于成本的考慮，已經(jīng)開(kāi)始有許多企業(yè)選擇放棄支付上千萬(wàn)元的費(fèi)用，轉(zhuǎn)而部署和微調(diào)Llama 2”。

以上種種，共同揭開(kāi)了大模型開(kāi)源閉源之爭(zhēng)，發(fā)展重心的轉(zhuǎn)移也讓人疑惑：開(kāi)源大模型是否正在“殺死”閉源？

01 大模型開(kāi)源，開(kāi)的是什么？

光錐智能梳理后發(fā)現(xiàn)，目前，大模型廠商和創(chuàng)業(yè)公司在開(kāi)源和閉源的選擇上，一共有三條路徑：

一是完全閉源，這類代表公司國(guó)外有OpenAI的GPT-3.5、GPT-4，國(guó)內(nèi)有百度的文心大模型；

二是先閉源再開(kāi)源，這類代表公司有阿里云的通義千問(wèn)，智譜AI開(kāi)源GLM系列模型；

三是先開(kāi)源再閉源，這類代表公司有百川智能的Baichuan-7B、Baichuan-13B。

現(xiàn)在中國(guó)市場(chǎng)上能夠主動(dòng)開(kāi)源大模型，且提供商業(yè)許可的企業(yè)數(shù)量還比較有限，主要公司包括了以開(kāi)源為切入的百川智能、大模型廠商代表阿里、大模型初創(chuàng)公司代表智譜AI以及走精調(diào)Llama 2路線的虎博科技。

這從側(cè)面也說(shuō)明了一個(gè)問(wèn)題，大模型開(kāi)源并不是沒(méi)有門(mén)檻，相反開(kāi)源對(duì)一家企業(yè)的基礎(chǔ)技術(shù)能力要求十分高，比如智譜AI的GLM-130大模型是去年亞洲唯一入選斯坦福大學(xué)評(píng)測(cè)榜的大模型；阿里通義千問(wèn)大模型在IDC的“AI大模型技術(shù)能力評(píng)估測(cè)試”中獲得了6項(xiàng)滿分。

如果再進(jìn)一步將以上的公司分類，可以歸為兩類，一類是走自研大模型開(kāi)源路線，一類是走Llama 2路線。

這兩條路線在國(guó)際上也十分典型，譬如走自研模型開(kāi)源路線的Stability AI，已經(jīng)陸續(xù)開(kāi)源了Stable DiffusionV1、StableLM、Stable Diffusion XL（SDXL）1.0等模型，憑一己之力撐起了文生圖開(kāi)源領(lǐng)域；另一類如中東土豪研究院就死盯住Llama 2，在其基礎(chǔ)上繼續(xù)做大參數(shù)、做強(qiáng)性能， Llama 2開(kāi)源50天后，地表最強(qiáng)開(kāi)源模型Falcon 180B橫空出世， 霸榜Hugging Face。

不過(guò)，這兩條路線也不是完全涇渭分明，Llama 2的開(kāi)源也進(jìn)一步促進(jìn)了許多自研開(kāi)源大模型的更新升級(jí)。8月Stability AI迅速推出類ChatGPT產(chǎn)品——Stable Chat，背后的大語(yǔ)言模型Stable Beluga就是其在兩代Llama的基礎(chǔ)上精調(diào)出來(lái)。更開(kāi)放，更快迭代發(fā)展，這或許也是開(kāi)源的意義。

除了逆天的Falcon，目前開(kāi)源模型的參數(shù)基本都控制在7B-13B左右。大模型廠商告訴光錐智能，“目前7B-13B億參數(shù)量是一個(gè)較為合理的開(kāi)源規(guī)?！?。這是基于多重因素所得出的參數(shù)量規(guī)模，如計(jì)算資源限制、內(nèi)存限制、開(kāi)源成本考量等。

阿里云CTO周靖人基于云廠商的角度考慮道：“我們希望企業(yè)和開(kāi)發(fā)者，在不同的場(chǎng)景可以根據(jù)自己的需求選擇不一樣規(guī)模的模型，來(lái)真正地應(yīng)用在自己的開(kāi)發(fā)環(huán)境。我們提供更多可能性?！?/p>

談起為何開(kāi)源大模型，周靖人強(qiáng)調(diào)了安全性，“我們不單單只是開(kāi)源大模型，更重要的是要能夠呈現(xiàn)出各項(xiàng)指標(biāo)的表現(xiàn)效果，基于此，才能夠讓大家去評(píng)估其中的使用風(fēng)險(xiǎn)，更加有效地進(jìn)行模型應(yīng)用?！?/p>

“重要的是，隨著參數(shù)量的增加，模型效果提升會(huì)逐漸收斂。當(dāng)模型達(dá)到一定規(guī)模后，繼續(xù)增加參數(shù)對(duì)效果提升的邊際效益只會(huì)下降，70-130億參數(shù)量一般已經(jīng)接近收斂狀態(tài)了?！鄙鲜龃竽Ｐ蛷S商道。

光錐智能發(fā)現(xiàn)，除了阿里云在視覺(jué)語(yǔ)言模型的細(xì)分領(lǐng)域發(fā)布了開(kāi)源大模型外，其余公司皆提供的是通用能力的大模型。這或許與大模型開(kāi)源仍處于非常早期階段有關(guān)系，但考慮到開(kāi)源大模型也要落地到場(chǎng)景中，太過(guò)于同質(zhì)化的通用大模型對(duì)企業(yè)來(lái)說(shuō)也容易淪為“雞肋”。

如何避免開(kāi)源大模型重蹈覆轍，體現(xiàn)出開(kāi)源的價(jià)值，回顧Meta接連祭出的“大招”，一條開(kāi)源的路徑似乎逐漸顯現(xiàn)——構(gòu)建開(kāi)源大模型生態(tài)。

• 2月份，Meta憑借開(kāi)源的Llama大模型回到生成式AI核心陣列；
• 5月9日，開(kāi)源了新的AI 模型ImageBind，連接文本、圖像 / 視頻、音頻、3D 測(cè)量（深度）、溫度數(shù)據(jù)（熱）和運(yùn)動(dòng)數(shù)據(jù)六種模態(tài)；
• 5個(gè)月后，Llama 2開(kāi)源可商業(yè)，含70億、130億和700億三種參數(shù)規(guī)模，其中700億參數(shù)模型能力已接近GPT-3.5；
• 8月25日，Meta推出一款幫助開(kāi)發(fā)人員自動(dòng)生成代碼的開(kāi)源模型——Code Llama，該代碼生成模型基于其開(kāi)源大語(yǔ)言模型Llama 2；
• 8月25日，發(fā)布全新AI模型SeamlessM4T，與一般AI翻譯只能從文本到文本不同，這款翻譯器還能夠“從語(yǔ)音到文本”或者反過(guò)來(lái)“從文本到語(yǔ)音”地直接完成翻譯；
• 9月1日，允許開(kāi)源視覺(jué)模型DINOv2商業(yè)化，同時(shí)推出視覺(jué)評(píng)估模型FACET。

可以看到，Meta開(kāi)源的思路是在各個(gè)AI領(lǐng)域遍地開(kāi)花，通過(guò)發(fā)布該領(lǐng)域最先進(jìn)的AI開(kāi)源模型，吸引更多開(kāi)發(fā)者的關(guān)注和使用，壯大整個(gè)AI開(kāi)源生態(tài)后來(lái)反哺業(yè)務(wù)、鞏固行業(yè)地位，這就如同當(dāng)年的英偉達(dá)推動(dòng)GPU計(jì)算的開(kāi)源策略。

當(dāng)年英偉達(dá)推動(dòng)GPU計(jì)算的開(kāi)源化，不僅吸引了大量研究人員在Caffe、TensorFlow等框架上進(jìn)行創(chuàng)新，也為自身GPU產(chǎn)品積累了大量?jī)?yōu)化經(jīng)驗(yàn)，這些經(jīng)驗(yàn)后來(lái)也幫助英偉達(dá)設(shè)計(jì)出了更適合深度學(xué)習(xí)的新型GPU架構(gòu)。

另一方面，GPU計(jì)算的開(kāi)源生態(tài)越來(lái)越繁榮后，也為其帶來(lái)了巨大的市場(chǎng)空間，Nvidia DGX企業(yè)級(jí)的深度學(xué)習(xí)訓(xùn)練平臺(tái)概念應(yīng)運(yùn)而生，為英偉達(dá)的顯卡和平臺(tái)銷售創(chuàng)造了千億級(jí)市場(chǎng)。

國(guó)內(nèi)阿里云也在通過(guò)建設(shè)完善生態(tài)的方式，試圖幫助開(kāi)發(fā)者更好的用好大模型，據(jù)周靖人介紹，目前阿里云不僅有自研開(kāi)源大模型，也接入了超過(guò)100個(gè)開(kāi)源模型，同時(shí)打造了開(kāi)源社區(qū)魔搭，更好地服務(wù)開(kāi)發(fā)者和企業(yè)用戶，用好、調(diào)好大模型。

02 開(kāi)源閉源不矛盾，是手段而非目的

據(jù)外媒爆料，Meta正在加緊研發(fā)全新的開(kāi)源大模型，支持免費(fèi)商用，能力對(duì)標(biāo)GPT-4，參數(shù)量比Llama 2還要大上數(shù)倍，計(jì)劃在2024年初開(kāi)始訓(xùn)練。

國(guó)外大模型格局看似是OpenAI“一超多強(qiáng)”，實(shí)則是眾多公司環(huán)伺，可以預(yù)見(jiàn)，開(kāi)源大模型對(duì)閉源的圍剿，越來(lái)越步步緊逼。

國(guó)外一份研究報(bào)告稱，大模型前期的發(fā)展創(chuàng)新由OpenAI、微軟、谷歌等大公司閉源模型主導(dǎo)，但越到后期開(kāi)源模型和社區(qū)的貢獻(xiàn)值就越大。

光錐智能也了解到，在國(guó)內(nèi)開(kāi)源大模型也成為了企業(yè)的“新賣點(diǎn)”，有企業(yè)甚至通過(guò)對(duì)外宣稱已使用了“史上最強(qiáng)大模型Falcon 180B”，來(lái)展現(xiàn)其底層模型技術(shù)能力的強(qiáng)大，頂著“史上最強(qiáng)”的稱號(hào)，又收割了“一波韭菜”。

現(xiàn)階段，開(kāi)源大模型已經(jīng)證明了幾點(diǎn)重要的事實(shí)。

首先，在非常大的數(shù)據(jù)集上進(jìn)行訓(xùn)練，擁有幾十億個(gè)參數(shù)的大模型在性能上就可以與超大規(guī)模大模型相媲美；其次，只需要極少的預(yù)算、適量的數(shù)據(jù)以及低階適應(yīng)（Low-rank adaptation，LoRA）等技術(shù)就可以把小參數(shù)的大模型調(diào)到一個(gè)滿意的效果，且將訓(xùn)練成本降低了上千倍。開(kāi)源大模型為現(xiàn)在的企業(yè)提供了閉源的替代方案，低成本成為最吸引他們的地方；最后，我們也看到開(kāi)源大模型的發(fā)展速度也遠(yuǎn)快于封閉生態(tài)系統(tǒng)。

開(kāi)源固然“迷人”，但更為關(guān)鍵的是，既不能為了開(kāi)源而開(kāi)源，也不能為了閉源而閉源。開(kāi)源與閉源只是形式上的區(qū)別，并不矛盾，開(kāi)源本身不是目的，而是手段。

以開(kāi)源切入大模型賽道的百川智能，在發(fā)布完Baichuan-7B、Baichuan-13B開(kāi)源大模型后，王小川拿出了Baichuan-53B閉源大模型。在問(wèn)到為什么沒(méi)有繼續(xù)開(kāi)源時(shí)，王小川回答稱：“模型變大之后沒(méi)有走開(kāi)源的這樣一種方式，因?yàn)榇蠹也渴鹌饋?lái)成本也會(huì)非常的高，就使用閉源模式讓大家在網(wǎng)上調(diào)用API”。

由此可見(jiàn)，是否開(kāi)源或閉源并非完全沒(méi)有參考，能夠閉源一定是其能夠提供價(jià)值。在當(dāng)前，這個(gè)價(jià)值的集中體現(xiàn)可能是替用戶完成高性能的大模型訓(xùn)練、推理和部署，通過(guò)調(diào)用API的方式來(lái)幫助降低門(mén)檻，這也是OpenAI閉源的思路，但因?yàn)槠渥陨砑夹g(shù)的絕對(duì)領(lǐng)先優(yōu)勢(shì)，使得其價(jià)值也非常得大。

如果回顧紅帽子公司的開(kāi)源，也能探尋到同樣的邏輯。過(guò)去十多年間，紅帽從銷售企業(yè)Linux操作系統(tǒng)，擴(kuò)展到現(xiàn)在的存儲(chǔ)、中間件、虛擬化、云計(jì)算領(lǐng)域，靠的就是“篩選價(jià)值”的邏輯。在最上游的開(kāi)源社區(qū)，參與開(kāi)源技術(shù)貢獻(xiàn)，做大做強(qiáng)生態(tài)；提取開(kāi)源社區(qū)中的上游技術(shù)產(chǎn)品，沉淀到自己小開(kāi)源社區(qū)；再將其認(rèn)為最有價(jià)值的技術(shù)檢驗(yàn)、測(cè)試、打包，形成新的產(chǎn)品組合，完成閉源出售給客戶。

騰訊云數(shù)據(jù)庫(kù)負(fù)責(zé)人王義成也曾對(duì)光錐智能表示：“開(kāi)源的本質(zhì)也是商業(yè)化，要從宏觀層面看是否能滿足一家公司的長(zhǎng)期商業(yè)利益。開(kāi)源的本質(zhì)還是擴(kuò)大生態(tài)，擴(kuò)大你的影響力。開(kāi)源還是要找清楚自己的定位，目標(biāo)客戶群。開(kāi)源能否幫助產(chǎn)品突破，幫助公司完成阻擊，還需要具體問(wèn)題具體分析。”

03 結(jié)尾

事實(shí)上，開(kāi)源還是閉源，二者并不是完全對(duì)立的關(guān)系，只是在技術(shù)發(fā)展的早期，路徑選擇的不同。

這也并不是科技領(lǐng)域第一次面對(duì)這樣的分叉路，參考數(shù)據(jù)庫(kù)發(fā)展的路徑，早期需要培育土壤，培植生態(tài)，以MySQL為主的開(kāi)源數(shù)據(jù)庫(kù)獲得了爆發(fā)式的用戶增長(zhǎng)，但走過(guò)第一階段后，更多企業(yè)用戶發(fā)現(xiàn)開(kāi)源數(shù)據(jù)庫(kù)在面對(duì)業(yè)務(wù)時(shí)的短板，畢竟術(shù)業(yè)有專攻，誰(shuí)也沒(méi)辦法一招打天下。

為此，數(shù)據(jù)庫(kù)廠商開(kāi)始根據(jù)不同的企業(yè)需求針對(duì)性的研發(fā)閉源數(shù)據(jù)庫(kù)，如在分布式數(shù)據(jù)庫(kù)、流數(shù)據(jù)庫(kù)等細(xì)分類別進(jìn)行長(zhǎng)足的創(chuàng)新。

周靖人也認(rèn)為：“未來(lái)，一定不是one size fits all”，不同的場(chǎng)景適配不同的參數(shù)，不同的形式，屆時(shí)大模型將走過(guò)野蠻生長(zhǎng)階段，來(lái)到精耕細(xì)作。

這也足以說(shuō)明，開(kāi)源還是閉源，或許只是階段和位置的不同，但可以肯定的是，大模型時(shí)代，已經(jīng)加速進(jìn)入下一賽段。

歡迎關(guān)注光錐智能，獲取更多科技前沿知識(shí)！