作者|昭覺
AI新星OpenAI最近有點(diǎn)頭疼,不僅公司和CEO被馬斯克起訴,其拳頭產(chǎn)品GPT-4在性能和價(jià)格上均面臨競(jìng)爭(zhēng)對(duì)手的沖擊。
近期,成立不到一年的法國(guó)人工智能創(chuàng)企Mistral AI發(fā)布了最新大模型Mistral Large,并推出了首個(gè)聊天機(jī)器人產(chǎn)品Le Chat,直接對(duì)標(biāo)ChatGPT。據(jù)了解,Mistral Large在目前所有能通過(guò)API訪問(wèn)的大模型中評(píng)分第二,僅次于GPT-4。
更值得關(guān)注的是,Mistral AI還與微軟達(dá)成了更加深入的合作協(xié)議,微軟將投資入股Mistral AI,并為其提供算力和云服務(wù),而Mistral AI的大模型資源也將在微軟的Azure云平臺(tái)中售賣。要知道,上一個(gè)有此待遇的AI創(chuàng)業(yè)公司還是OpenAI。
除此之外,更低廉的API接口價(jià)格也讓Mistral Large成為了GPT-4的有力競(jìng)爭(zhēng)者,并有望在當(dāng)前的大模型軍備競(jìng)賽中掀起一場(chǎng)價(jià)格戰(zhàn)。
比GPT-4更具性價(jià)比?
作為一款誕生于歐洲的大模型,Mistral Large支持英語(yǔ)、法語(yǔ)、西班牙語(yǔ)、德語(yǔ)和意大利語(yǔ),可深度理解語(yǔ)法和文化背景。另外,Mistral Large的上下文窗口為32K,可從約2.4萬(wàn)個(gè)英文單詞的大型文檔中精準(zhǔn)提取信息;具備精確的指令跟隨能力,便于開發(fā)者定制審核策略;支持原生函數(shù)調(diào)用和限定輸出模式,助力應(yīng)用開發(fā)規(guī)?;图夹g(shù)棧現(xiàn)代化。
性能方面,雖然Mistral AI并未公布Mistral Large的參數(shù)量,但其關(guān)鍵性能已達(dá)到業(yè)界前三。
具體來(lái)看,Mistral Large在MMLU基準(zhǔn)測(cè)試中的常識(shí)和推理得分為81.2%,僅次于GPT-4的86.4%。Mistral Large達(dá)到了頂級(jí)的推理能力,可用于復(fù)雜的多語(yǔ)言推理任務(wù),包括文本理解、轉(zhuǎn)換和代碼生成。其推理準(zhǔn)確性優(yōu)于Anthropic的Claude 2、谷歌的Gemini 1.0 Pro、OpenAI的GPT-3.5,推理速度甚至超過(guò)了GPT-4和Gemini Pro,顯示了其在處理復(fù)雜任務(wù)時(shí)的高效能力。
多語(yǔ)言能力測(cè)試中,Mistral Large在法語(yǔ)、德語(yǔ)、西班牙語(yǔ)和意大利語(yǔ)的Arc Challenge、HellaSwag、MMLU等基準(zhǔn)測(cè)試中的表現(xiàn)均遠(yuǎn)超目前公認(rèn)最強(qiáng)的開源大模型——Meta的LLaMA 2 70B。
數(shù)學(xué)和編程能力方面,Mistral Large同樣表現(xiàn)不俗:其在MBPP基準(zhǔn)測(cè)試中的編程得分高于LLaMA 2 70B,在Math maj@4基準(zhǔn)測(cè)試中的數(shù)學(xué)得分也領(lǐng)先于GPT-3.5、Gemini Pro 1.0等模型。
作為Mistral AI商用系列中的旗艦?zāi)P停琈istral Large與GPT-4一樣并未開源。用戶可通過(guò)三種方式訪問(wèn)與使用Mistral模型:其中,在歐洲的Mistral Al基礎(chǔ)設(shè)施上安全托管的La Plateforme是開發(fā)者訪問(wèn)Mistral Al所有模型的首選方式,開發(fā)者可通過(guò)點(diǎn)擊創(chuàng)建自己的應(yīng)用程序和服務(wù);Mistral Al的開源模型目前可通過(guò)GCP、AWS、Azure、NVIDIA等云服務(wù)商獲得,而Mistral Large目前僅通過(guò)Azure云平臺(tái)提供服務(wù),包括Azure AI Studio和Azure Machine Learning。
此外,開發(fā)者還可以通過(guò)虛擬云或on-prem自行部署使用Mistral模型,這種方式提供了更高級(jí)的自定義和控制,自有數(shù)據(jù)將保留在公司內(nèi)部。
價(jià)格方面,目前上下文窗口為128k的GPT-4 Turbo的輸入價(jià)格為0.01美元/1000 token,輸出價(jià)格為0.03美元/1000 token。相比之下,Mistral Large的輸入、輸出價(jià)格均為前者的80%。
體驗(yàn)方面,有AI創(chuàng)業(yè)者指出,Mistral Large的使用體驗(yàn)?zāi)雺涸?jīng)的第三名Claude 2。截至2023年11月,OpenAI的開發(fā)者規(guī)模達(dá)200萬(wàn),其中包含92%的世界500強(qiáng)企業(yè)。而Mistral Large直逼GPT-4的性能和更低的售價(jià)有望為需求量巨大的企業(yè)用戶節(jié)省一大筆開支,從被OpenAI壟斷的MaaS(模型即服務(wù))市場(chǎng)撕開一個(gè)口子。
MoE架構(gòu)立大功
Mistral Large把價(jià)格打下來(lái)的底氣是更低的訓(xùn)練成本。OpenAI CEO Sam Altman曾表示,GPT-4的模型訓(xùn)練成本“遠(yuǎn)遠(yuǎn)超過(guò)了”5000萬(wàn)至1億美元。而據(jù)Mistral AI創(chuàng)始人Arthur Mensch透露,Mistral Large的訓(xùn)練成本不到2200萬(wàn)美元,約為GPT-4的五分之一。
除了真金白銀的訓(xùn)練成本,后來(lái)者居上的Mistral Large的時(shí)間成本也更具優(yōu)勢(shì)。OpenAI從成立到推出GPT-4,足足用了8年,而Mistral AI推出僅次于GPT-4的Mistral Large只用了9個(gè)月。
Mistral AI號(hào)稱歐洲版OpenAI,創(chuàng)始團(tuán)隊(duì)由Meta和Deepmind的前科學(xué)家們組成。成立后的半年多時(shí)間里,Mistral AI接連完成1.05億歐元種子輪融資和后續(xù)的4.15億歐元融資,得到美國(guó)光速、a16z等頂級(jí)VC以及英偉達(dá)、賽富時(shí)、法巴銀行的青睞。
同期,Mistral AI先后推出號(hào)稱當(dāng)時(shí)“最強(qiáng)的70億參數(shù)開源模型”Mistral 7B、首個(gè)開源MoE大模型Mistral 8x7B。其中,Mistral 8x7B更是以一條簡(jiǎn)單粗暴的磁力鏈接引領(lǐng)了大模型發(fā)布的新范式,給業(yè)界帶來(lái)震撼。
憑借巨額融資疊加新品發(fā)布,Mistral AI的估值也曾一夜之間飆升至20億美元,成為大模型領(lǐng)域的新晉獨(dú)角獸。而Mistral AI更引人關(guān)注的是,從初期只有6人的小團(tuán)隊(duì)成長(zhǎng)至今,Mistral AI一直是MoE路線的忠實(shí)信徒。
MoE即“混合專家模型”,這種模型設(shè)計(jì)策略通過(guò)將大模型分解為多個(gè)子模塊,提高模型的容量、處理能力和效率。MoE架構(gòu)主要由“專家”和門控機(jī)制兩部分構(gòu)成。每個(gè)“專家”相當(dāng)于一個(gè)小型的Transformer模型,專門處理特定類型的輸入數(shù)據(jù),多個(gè)“專家”的結(jié)合則使模型具備了更好的性能。而門控機(jī)制則用于判定輸入樣本需由哪些“專家”接管處理。
大模型的大規(guī)模應(yīng)用與其算力成本緊密相關(guān)。對(duì)于模型廠商而言,目前主要的算力成本包括預(yù)訓(xùn)練成本和推理成本。除去GPU每秒運(yùn)算次數(shù)和顯卡的租用成本這兩個(gè)常量后,大模型的預(yù)訓(xùn)練成本與模型參數(shù)量和訓(xùn)練數(shù)據(jù)的token量正相關(guān),推理成本與模型參數(shù)量正相關(guān)。而大模型的性能通常與其參數(shù)量相關(guān)聯(lián),而越高的參數(shù)量意味著越高的算力成本。因此,如何在同樣的算力成本下提升大模型的參數(shù)量成了破局的關(guān)鍵。
而MoE的解題思路是引入稀疏性,即模型訓(xùn)練過(guò)程中,各有所長(zhǎng)的“專家”們獨(dú)立訓(xùn)練、各司其職,在過(guò)濾重復(fù)信息、減少數(shù)據(jù)干擾的同時(shí)大幅提升模型的學(xué)習(xí)速度與泛化能力;在推理過(guò)程中,每次推理只按需調(diào)用部分“專家”,激活其對(duì)應(yīng)的部分參數(shù),如此便有效降低了相同參數(shù)下大模型的算力成本。
有意思的是,OpenAI在去年成為“當(dāng)紅炸子雞”成功得到眾多重度用戶的續(xù)費(fèi)后,被曝采用MOE重新設(shè)計(jì)了GPT-4構(gòu)架,導(dǎo)致性能受到影響。盡管OpenAI官方并未對(duì)此進(jìn)行正面回應(yīng),但利用MOE架構(gòu)降低訓(xùn)練成本,已經(jīng)被認(rèn)為是一個(gè)無(wú)比自然的發(fā)展方向。
Mistral AI同樣未公布大模型的具體參數(shù)與訓(xùn)練數(shù)據(jù)Token數(shù),但此前谷歌應(yīng)用MoE開發(fā)出的GLaM模型參數(shù)量達(dá)12000億、訓(xùn)練數(shù)據(jù)16000億token,分別是GPT-3.5的6.8倍和5.3倍,其實(shí)際的訓(xùn)練成本卻只有GPT-3.5的三分之一也印證了MoE框架的高效。
延續(xù)著MoE的路線,如果說(shuō)此前發(fā)布的開源模型Mistral 7B、Mistral 8x7B實(shí)現(xiàn)了對(duì)LLaMA等大參數(shù)開源模型的逆襲,此次發(fā)布的Mistral Large則是Mistral AI對(duì)可持續(xù)商業(yè)模式的探索,試圖以閉源模型搭建可盈利的產(chǎn)品線。
大模型進(jìn)入成本戰(zhàn)
頂著對(duì)華芯片禁售的壓力,芯片巨頭英偉達(dá)以一份耀眼的四季報(bào)打消了市場(chǎng)顧慮:在數(shù)據(jù)中心與游戲業(yè)務(wù)雙核驅(qū)動(dòng)下,英偉達(dá)2023年四季度營(yíng)收、凈利潤(rùn)大幅超出預(yù)期,毛利率再創(chuàng)歷史新高。業(yè)績(jī)加持下,英偉達(dá)業(yè)績(jī)已突破2萬(wàn)億美元,更接連超越亞馬遜、沙特阿美,成為僅次于微軟和蘋果的全球第三大公司。
數(shù)據(jù)、算力和算法構(gòu)成了大模型的基石。在當(dāng)下這波如火如荼的大模型淘金熱中,從學(xué)界到初創(chuàng)企業(yè)再到巨頭紛紛下場(chǎng),而無(wú)論其技術(shù)路線是開源或閉源,應(yīng)用場(chǎng)景是通用或垂直,AI芯片作為大模型大腦,始終是模型預(yù)訓(xùn)練和推理必不可少的工具。
身為高端GPU市場(chǎng)中唯一的提供方,“軍火商”英偉達(dá)是這場(chǎng)大模型軍備競(jìng)賽中永遠(yuǎn)的贏家——以A100為例,若要通過(guò)訓(xùn)練達(dá)到ChatGPT級(jí)別的性能,至少消耗一萬(wàn)張A100加速卡,巨頭們囤貨的單位也以萬(wàn)張起,怎能不賺得盆滿缽滿?
但換個(gè)角度來(lái)看,在GPU供應(yīng)短缺的背景下,一張A100顯卡售價(jià)約10000美元甚至更高,對(duì)于大模型廠商來(lái)說(shuō),在應(yīng)用落地和商業(yè)化前景仍不明朗的情況下,動(dòng)輒上億美元真金白銀的投入必然肉疼。在算力、數(shù)據(jù)、人力等資源成本高企的情況下,如何用相對(duì)低的成本訓(xùn)練出一個(gè)想要的大模型,并以一個(gè)用戶可接受的成本讓大模型跑起來(lái)是大模型行業(yè)在2024年的當(dāng)務(wù)之急。
在保證同等效果前提下,提高硬件利用率,縮短算力使用時(shí)長(zhǎng);優(yōu)化工具鏈以提高訓(xùn)練、推理效率;適配低價(jià)GPU是當(dāng)前國(guó)內(nèi)大模型廠商降本的主流方法論。
例如,面向大模型訓(xùn)練,騰訊升級(jí)了自研機(jī)器學(xué)習(xí)框架Angel,針對(duì)預(yù)訓(xùn)練、模型精調(diào)和強(qiáng)化學(xué)習(xí)等全流程進(jìn)行了加速和優(yōu)化,提升了內(nèi)存的利用率。借此,大模型訓(xùn)練效率可提升至主流開源框架的2.6倍,用該框架訓(xùn)練千億級(jí)大模型可節(jié)省50%算力成本,大模型推理速度提高了1.3倍。
京東云推出vGPU池化方案,提供一站式GPU算力池化能力,結(jié)合算力的任意切分和按需分配,在同等GPU數(shù)量的前提下,實(shí)現(xiàn)了數(shù)倍業(yè)務(wù)量擴(kuò)展和資源共享,降低了硬件采購(gòu)成本,使用更少的AI芯片支撐了更多的訓(xùn)練和推理任務(wù),GPU利用率最高提升70%,大幅降低大模型推理成本。
阿里云通義大模型則聚焦于規(guī)模定理,基于小模型數(shù)據(jù)分布、規(guī)則和配比,研究大規(guī)模參數(shù)下如何提升模型能力,并通過(guò)對(duì)底層集群的優(yōu)化,將模型訓(xùn)練效率提升了30%,訓(xùn)練穩(wěn)定性提升了15%。
百度升級(jí)了異構(gòu)計(jì)算平臺(tái)“百舸”,將訓(xùn)練和推理場(chǎng)景的吞吐量提高了30%-60%,意味著原先需要用100天的訓(xùn)練才能達(dá)成的效果,現(xiàn)在只需40-70天,節(jié)約時(shí)間等于間接省錢。同時(shí),在英偉達(dá)之外,百度的“千帆”大模型平臺(tái)還兼容昆侖芯、昇騰、海光DCU、英特爾等國(guó)內(nèi)外其他主流AI芯片,通過(guò)組合選項(xiàng)完成低成本的算力適配。
正所謂“早買早享受,晚買有折扣?!碑?dāng)前,Mistral AI以性價(jià)比暫時(shí)領(lǐng)先,但也有不少開發(fā)者還在等待OpenAI大模型產(chǎn)品的升級(jí)降價(jià)。畢竟,正是OpenAI自己在GPT-4發(fā)布后不到8個(gè)月就推出了更強(qiáng)也更便宜的GPT-4 Turbo。
本文來(lái)自投稿,不代表增長(zhǎng)黑客立場(chǎng),如若轉(zhuǎn)載,請(qǐng)注明出處:http://gptmaths.com/quan/114639.html