大模型“圖紙”已現(xiàn),火山方舟開工

多云多模型的終局里,MaaS生態(tài)應(yīng)該長什么樣?

大模型“圖紙”已現(xiàn),火山方舟開工

文丨劉雨琦

編丨王一粟

中國房子蓋了2000年,直至漢朝初期,才開始出現(xiàn)“建筑圖紙”。

有了圖紙后,蓋房子便不僅僅依賴于幾個“老師傅”,圖紙是全盤的指導(dǎo),避免了曾經(jīng)多次的推倒重建以及因為力學結(jié)構(gòu)不合理而半途而廢的情況,更能將任務(wù)合理的分配給不同的木工、瓦工,進行團隊協(xié)作。

圖紙的出現(xiàn),使建筑史進入了快速發(fā)展期,漢朝之后,中國建筑類型開始百花齊放,也通過不同房屋類型,出現(xiàn)了餐廳、書房、旅館等功能性建筑。

大模型的路,也正在經(jīng)歷從摸著OpenAI過河,到按圖索驥的階段。

從今年2月份開始,大模型的公司進入了井噴的狀態(tài)。中國科學技術(shù)信息研究所等機構(gòu)發(fā)布的《中國人工智能大模型地圖研究報告》顯示,截至今年5月,國內(nèi)已公開披露的大模型數(shù)量達到79個,“百模大戰(zhàn)”名副其實。

當眾多巨頭、明星創(chuàng)業(yè)者都紛紛下場“淘金”的時候,字節(jié)跳動旗下的火山引擎,選擇了另一條“賣鏟人”的路。6月28日,火山引擎發(fā)布大模型服務(wù)平臺“火山方舟”,面向企業(yè)提供模型精調(diào)、評測、推理等全方位的平臺服務(wù)。

不做通用大模型,做一個“賣鏟人”,是火山引擎選擇的路。

求本溯源,當下選擇的路,往往在未來的目標之中。火山引擎總裁譚待在接受光錐智能等訪談時表示:“多云多模型時代將成為確定性的趨勢。在未來,企業(yè)自身對于大模型的應(yīng)用,將會是一個‘1 + N’的應(yīng)用模式,即一個主力模型和N個模型協(xié)作的模式?!?/strong>

多云多模型的時代,一定需要平臺去建立生態(tài),串聯(lián)上下游。就像房子會越蓋越多,需要不同公司滿足多元化的住戶需求,也需要建筑設(shè)計、鋼筋水泥、軟硬裝修等一整套產(chǎn)業(yè)鏈。對應(yīng)到大模型服務(wù)平臺,就需要一邊遞圖紙、錘子釘子、鏟子等工具,幫大模型打造好;一邊要對接模型方和需求方,通過鏈接完成商業(yè)閉環(huán)。

可以說,火山方舟作為一個大模型服務(wù)平臺,是“模型商城+模型工具”的集合。

模型商城,讓大模型用起來

MaaS(模型即服務(wù))的概念如火如荼,但想要落地卻非常不容易。

整個大模型的產(chǎn)業(yè)鏈條中,分為三個重點角色:一是模型的提供方,如OpenAI、谷歌、百度、阿里、MiniMax等打造通用大模型的廠商,他們打造的通用大模型,被稱為基座模型;二是模型的使用方,不同企業(yè)將基座大模型通過精調(diào)和特殊數(shù)據(jù)的喂養(yǎng)為行業(yè)大模型;三是,大模型的終端客戶/用戶。

相比海外市場在應(yīng)用方面的火爆,中國市場仍然處在一個探索期。一方面,國內(nèi)大模型百花齊放,但通用大模型仍然在不斷訓(xùn)練和提升當中,追趕GPT-4的涌現(xiàn)能力;另一方面,想把大模型用起來的企業(yè)要么不知道如何決策,要么體驗后效果并不盡如人意。

大模型“圖紙”已現(xiàn),火山方舟開工

基于上述痛點,火山引擎將大模型服務(wù)平臺的作用分為兩個大方面,一個是模型商城,一個是模型工具。

模型商城,顧名思義,就是讓市面上的大模型都盡量入駐,供模型需求方挑選。

據(jù)光錐智能了解到,目前,“火山方舟”集成了百川智能、出門問問、復(fù)旦大學MOSS、IDEA研究院、瀾舟科技、MiniMax、智譜AI等7家AI科技公司及科研院所的大模型,統(tǒng)一對外提供服務(wù)。

這種吸納多家初創(chuàng)大模型的做法,和此前業(yè)界初期普遍認為的“大模型是巨頭的游戲”,“行業(yè)只需要極少數(shù)通用大模型,其余都是行業(yè)大模型”的想法并不完全一致。

火山引擎智能算法負責人吳迪認為,大模型市場會形成三級火箭:第一級是大模型提供商和研究機構(gòu),提供極具競爭性的通用基座模型或行業(yè)垂直模型。第二級是大量頗具技術(shù)能力的公司,形成1+N的模型格局,1個迭代自研模型的同時,引用若干商用模型。第三級則是千行百業(yè)都從大模型中獲益,通過調(diào)用接口、精調(diào)模型,打造應(yīng)用。在提升自身公司經(jīng)營效率的同時, 把大模型能力輸送到我們生活的方方面面。

如果未來的格局是多云多模型的情況,那一定需要一個“模型商城”來聚合提供商和使用方。

比如,在火山方舟“模型廣場”中會有不同的模型供應(yīng)商提供不同版本、參數(shù)、擅長不同領(lǐng)域的模型,使用方可以直接調(diào)用API 接入使用環(huán)境,也可以使用精調(diào)工具來做二次調(diào)優(yōu),再部署使用。

光錐智能曾在4月份調(diào)研多位SaaS廠商使用大模型的情況發(fā)現(xiàn),大模型接入并不是“排他性”的,SaaS廠商更愿意同時接入多個大模型。這是因為接入成本并不高,多一個模型就多一個選擇、多一個能力、多一重保障。比如,萬興科技就在海外業(yè)務(wù)中接入ChatGPT,國內(nèi)業(yè)務(wù)接入文心一言。

而對于有大模型能力的廠商,不僅可以成為大模型的提供方,也能同時是需求方。比如,一家自研大語言模型的廠商,也可以接入其他大模型多模態(tài)的能力,讓自己的產(chǎn)品更加多元化。

可以說,沒有全能的大模型,但可以有全能的模型商城。

為了能幫企業(yè)選擇與自己更適配的基座模型,火山方舟推出“模型評估”功能,支持用戶基于自身數(shù)據(jù)、系統(tǒng)化地感知模型表現(xiàn)情況,并且給出詳細的測評報告,為后續(xù)做決策提供數(shù)據(jù)基礎(chǔ)。

對很多模型需求方來講,并不是一味追求參數(shù)。參數(shù)大、性能強的,可能性價比不高?!耙粋€經(jīng)過良好精調(diào)的中小規(guī)格模型,在特定工作上的表現(xiàn)可能不亞于通用的、巨大的基座模型,而推理成本可以降低到原來的十分之一?!眳堑戏Q。

而在模型評估之后,還需要進一步做模型精調(diào),技術(shù)門檻和成本門檻是兩個最大的攔路虎。

如果沒有大模型服務(wù)平臺,對于很多需求方而言,模型精調(diào)首先技術(shù)門檻比較高,既需要完整的數(shù)據(jù)能力,也需要有豐富的算法實踐經(jīng)驗;其次對算力要求也不小,公有云的彈性廉價資源可以極大地降低成本。

為了解決上述問題,火山方舟提供“模型精調(diào)”能力,由平臺提供極簡精調(diào)流程,客戶選擇基礎(chǔ)模型,上傳標注數(shù)據(jù)集后即可精調(diào);同時對于有復(fù)雜需求的場景,客戶可以設(shè)置高級參數(shù)、驗證集、測試集等更豐富功能,更自由的使用模型精調(diào)功能。

總之,火山方舟希望解決模型使用方的痛點,用更少的錢、更強的算力使用“更快的推理能力”。而對模型提供方來講,只有把大模型用起來,才能進一步迭代成長。

大模型的底座:安全和工具

僅僅完成商業(yè)邏輯上的閉環(huán),對大模型生態(tài)來說,還遠遠不夠。除了大模型的核心能力,還需要更深厚的內(nèi)功。

“企業(yè)使用大模型,首先要解決安全與信任問題”,譚待表示。

據(jù)網(wǎng)絡(luò)安全公司Cyberhaven的調(diào)查,至少有 4%的員工將企業(yè)敏感數(shù)據(jù)輸入 ChatGPT,敏感數(shù)據(jù)占輸入內(nèi)容的比例高達 11%。2023 年初,三星公司在使用 ChatGPT不到20天時,就發(fā)現(xiàn)其半導(dǎo)體設(shè)備相關(guān)機密數(shù)據(jù)被泄露,并連續(xù)發(fā)生3起類似事故。

在多云多模型的時代,安全信任是所有大模型使用的底線。這里的安全,并不只是大模型內(nèi)部的安全,而是模型提供方和使用方連接時的雙向信任。譚待介紹到,大模型服務(wù)商會考慮到知識產(chǎn)權(quán)問題,不希望方案和代碼被泄露;而使用者和企業(yè)更希望保障自身、Prompt和精調(diào)數(shù)據(jù)的安全。

為此,火山方舟通過安全沙箱、聯(lián)邦學習、硬件支持等方式保證雙方的安全連接,類似于第三方托管平臺的角色。

大模型“圖紙”已現(xiàn),火山方舟開工

“火山方舟”已上線了基于安全沙箱的大模型安全互信計算方案,利用計算隔離、存儲隔離、網(wǎng)絡(luò)隔離、流量審計等方式,實現(xiàn)了模型的機密性、完整性和可用性保證,適用于對訓(xùn)練和推理延時要求較低的客戶。

吳迪表示,“火山方舟”還在探索基于英偉達NVIDIA新一代硬件支持的可信計算環(huán)境、基于聯(lián)邦學習的數(shù)據(jù)資產(chǎn)分離等多種方式的安全互信計算方案,更全面地滿足大模型在不同業(yè)務(wù)場景的數(shù)據(jù)安全要求。

大模型“圖紙”已現(xiàn),火山方舟開工

在安全的基礎(chǔ)上,大模型落地更多是一個事無巨細的工程化能力,這就需要許多工具幫助其實現(xiàn)。

回想ChatGPT從剛剛問世到如今,OpenAI一直在打造生態(tài)壁壘:

3月份,很快GPT-4問世,面向企業(yè)用戶進行內(nèi)測,與此同時,OpenAI開放了ChatGPT的API接口,一眾企業(yè)和開發(fā)者蜂擁而至,據(jù)不完全統(tǒng)計,目前基于GPT接口打造的應(yīng)用超過1000個;

6月份,OpenAI計劃推出類似“APP Store”的大模型商店,將上面1000個應(yīng)用能夠上架在應(yīng)用商店中,并可以開源垂直領(lǐng)域的聊天機器人和定制的模型;

如此一步步走來,OpenAI在4個月之內(nèi),從一個模型的提供方發(fā)展為了模型生態(tài)。換句話說,谷歌可以在不到一個月之內(nèi)推出一個新的大模型,但無法短時間內(nèi)再形成1000個應(yīng)用。

火山方舟的價值也在于此,精調(diào)后的模型在具體的業(yè)務(wù)中歷練,而應(yīng)用端也有更加源源不斷模型資源可調(diào)配。吳迪透露,后續(xù)火山方舟計劃提供更多的插件,包括實時信息獲取、私域文檔問答召回、Prompt補全與構(gòu)建等,并會為插件配套數(shù)據(jù)集。

另外,算力資源也是大模型訓(xùn)練和使用中最稀缺資源。

今天,仍在算力增長的第一條曲線上,主要是把基礎(chǔ)模型訓(xùn)練好,讓涌現(xiàn)能力更強、更聰明。但即將出現(xiàn)的,是“模型應(yīng)用”的第二條增長曲線。隨著大模型融入千行百業(yè),把大模型用好,ROI慢慢會轉(zhuǎn)正。通過應(yīng)用再反哺訓(xùn)練,讓營收和技術(shù)正向循環(huán)。

這個期間,模型應(yīng)用所消耗的算力,會逐步超過模型訓(xùn)練,預(yù)計在2025年會達到一個匯合點(下圖)。

大模型“圖紙”已現(xiàn),火山方舟開工

硬件儲備只是基礎(chǔ),算力要想更好的被調(diào)用,離不開硬件和軟件的雙向打磨。NVIDA開發(fā)與技術(shù)部亞太區(qū)總經(jīng)理李曦鵬指出,之前的AI訓(xùn)練以小模型為主,一般是單機或者單機多卡,如果訓(xùn)練失敗重啟即可。而大模型訓(xùn)練則需要成千上萬張卡,任何一臺機器出故障都可能影響整個訓(xùn)練過程,所以大模型的算力平臺是一個大的系統(tǒng)工程。

除了訓(xùn)練穩(wěn)定性和安全問題,云平臺的集中算力還可以解決成本問題,只有推理成本足夠低,才能讓大模型被廣泛使用。然而,離散型的企業(yè)推理成本無法形成規(guī)模化效應(yīng),需要有統(tǒng)一的平臺進行和強大的算力作為支撐。

火山引擎,抓住MaaS的新賽點

MaaS,是這一輪云廠商走出新增長曲線的機會。

不止一家云廠商向光錐智能透露,這一輪AI的需求,正在拉動著企業(yè)對算力需求的提升,將云計算拉出增長疲軟的泥潭,甚至能恢復(fù)到之前的高速增長期。

而站在MaaS的新起點上,所有的云廠商都在同一個起跑線上。為了搶奪這個新的藍海,云廠商都在探索不同的商業(yè)路徑。

一是如同百度文心一言、阿里通義千問、華為盤古大模型等,云廠商本身是基座模型的提供方,并在此基礎(chǔ)上面向企業(yè)客戶提供API插件,提供帶養(yǎng)分的培育土壤。但也會和行業(yè)客戶合作,共創(chuàng)行業(yè)大模型。

另一種則是如同火山方舟,騰訊MaaS商城等,并沒發(fā)布自己的通用大模型。騰訊是發(fā)布自己的行業(yè)大模型,而火山方舟是與不同的大模型提供方深度共創(chuàng),幫助企業(yè)用行業(yè)數(shù)據(jù)開發(fā)大模型,并提供后續(xù)的一站式服務(wù),直連客戶。

參考電商的模式,我們可以將這兩種模式類比為:?自營大模型和平臺型大模型。

自營考驗的是技術(shù)能力,而平臺考驗的則是“攢局”能力。對于綜合型云廠商來講,多數(shù)都具備自營和平臺兩種能力,但側(cè)重點卻非常不同。

模式本身都有各自的優(yōu)劣勢,并無絕對的高下之分。作為一家“后起之秀”,火山引擎有機會抓住MaaS的新賽點,在市場中占有更多的份額。

目前,抖音集團內(nèi)部已有十多個業(yè)務(wù)團隊試用“火山方舟”,在代碼糾錯等研發(fā)提效場景,文本分類、總結(jié)摘要等知識管理場景,以及數(shù)據(jù)標注、歸因分析等方面探索,利用大模型能力促進降本增效。這些內(nèi)部實踐在快速打磨“火山方舟”,推動平臺能力的進一步完善。

經(jīng)歷業(yè)務(wù)的“淬煉”,火山引擎已經(jīng)跑出了差異化的競爭能力。

舉個簡單的例子,在經(jīng)過抖音長期、大規(guī)模的機器學習實踐后,火山引擎在系統(tǒng)工程優(yōu)化和超大規(guī)模分布式并行訓(xùn)練上積累了豐富的經(jīng)驗,能夠從軟硬協(xié)同層面進行優(yōu)化,更輕松的支持一個大模型長時間穩(wěn)定的高速訓(xùn)練。

這樣的經(jīng)驗也沉淀在了火山方舟中。據(jù)了解,火山引擎使用抖音同源的機器學習平臺對外服務(wù),在大規(guī)模穩(wěn)定訓(xùn)練上,尤其是自動駕駛、生物醫(yī)藥等“難啃”的行業(yè),機器學習和推理能力將通過火山方舟釋放給更多模型使用方。

而這也將是客戶“用好”大模型的一塊重要拼圖,未來的大模型比拼的并不是“德智體美勞”全面發(fā)展,而是“術(shù)業(yè)有專攻”的專項比拼。

用一艘大模型方舟,火山引擎能否抓住MaaS的新賽點?

本文來自投稿,不代表增長黑客立場,如若轉(zhuǎn)載,請注明出處:http://gptmaths.com/quan/101332.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
上一篇 2023-07-07 11:40
下一篇 2023-07-07 13:38

增長黑客Growthhk.cn薦讀更多>>

發(fā)表回復(fù)

登錄后才能評論