萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

?自象限原創(chuàng)

作者|羅輯

編輯|莊顏 排版|李帛錦

ChatGPT在全球掀起AI大模型的浪潮。

在美國(guó),以O(shè)penAI、Anthropic等初創(chuàng)企業(yè)和以微軟、Google為代表的科技巨頭帶領(lǐng)著美國(guó)在AI大模型的道路上蒙眼狂奔,最大參數(shù)已卷到5620億。在中國(guó),美團(tuán)王慧文、阿里賈揚(yáng)清、前搜狗CEO王小川、前京東AI掌門(mén)人周伯文等眾多早已功成名就的科技大佬再次披掛。

AI大模型一時(shí)間如烈火烹油。

但在這一輪浪潮中, 大家主要關(guān)注的還是中美兩國(guó)的進(jìn)展。在此之外,世界其他國(guó)家和地區(qū)如何看待AI大模型,在發(fā)展大模型上又進(jìn)展如何,不同國(guó)家和地區(qū)的AI大模型發(fā)展呈現(xiàn)出哪些特點(diǎn)?這些問(wèn)題在中美的光環(huán)下其實(shí)是失焦的。

所謂它山之石可以攻玉,在這樣的背景下,「自象限」梳理了包括中國(guó)、美國(guó)、韓國(guó)、日本和歐洲等主要國(guó)家AI大模型的發(fā)展現(xiàn)狀。

我們發(fā)現(xiàn),一方面,不同國(guó)家AI大模型的發(fā)展與所在國(guó)的互聯(lián)網(wǎng)發(fā)展息息相關(guān);另一方面,包括芯片、云計(jì)算、高質(zhì)量數(shù)據(jù)等產(chǎn)業(yè)基礎(chǔ),模型構(gòu)架和算法經(jīng)驗(yàn),以及用戶群體、社會(huì)文化又共同決定了所在國(guó)家AI大模型的發(fā)展高度。

就如同比爾?蓋茨將ChatGPT的發(fā)布比做互聯(lián)網(wǎng)的發(fā)明,并認(rèn)為它可以改變世界一樣,英偉達(dá)CEO黃仁勛也在GTC2023上三次提到“AI迎來(lái)iPhone時(shí)刻”。AI大模型是全世界的機(jī)會(huì),而中國(guó)創(chuàng)業(yè)者更不應(yīng)該存在視野盲區(qū)。

將視野拉遠(yuǎn)便會(huì)發(fā)現(xiàn),各國(guó)大模型都繼承了本國(guó)“基因”,前二十年互聯(lián)網(wǎng)與科技積累的成果,也都在AI 2.0的大考下,瞬間爆發(fā)。有人交了滿分答卷,也有人名落孫山。

美國(guó):有多強(qiáng)悍,就有多寂寞

美國(guó)在AI大模型方面的強(qiáng),不是現(xiàn)在強(qiáng),而是一直以來(lái)都很強(qiáng)。

從2012年AI萌芽時(shí)期,到2016年AI1.0時(shí)期,再到2022年ChatGPT帶來(lái)的AI2.0時(shí)期,美國(guó)一直是AI領(lǐng)域的破局者,引領(lǐng)著全世界AI發(fā)展再進(jìn)一步。

比如現(xiàn)在幾乎所有AI大模型訓(xùn)練時(shí)采用的Transformer網(wǎng)絡(luò)結(jié)構(gòu),是谷歌在2017年提出的,它具有優(yōu)秀的長(zhǎng)序列處理能力,更高的并行計(jì)算效率,無(wú)需手動(dòng)設(shè)計(jì)以及更強(qiáng)的語(yǔ)義表達(dá)能力等特征。Transformer的提出讓大模型訓(xùn)練成為可能。

保證AI大模型出現(xiàn)在美國(guó)的另一個(gè)關(guān)鍵,而美國(guó)一手云大廠,一手英偉達(dá),手握著全球算力的核心資源。

云計(jì)算能夠?yàn)锳I大模型訓(xùn)練提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和應(yīng)用平臺(tái),同時(shí)也提供數(shù)據(jù)處理、模型部署、推理等AI工具和服務(wù)。讓企業(yè)能夠快速訓(xùn)練大模型,而不用再花費(fèi)你大量時(shí)間和金錢(qián)去建立和維護(hù)自己的數(shù)據(jù)中心。

目前,美國(guó)擁有世界上最大的云計(jì)算企業(yè)。IDC數(shù)據(jù)顯示,2021年全球IaaS市場(chǎng)中,包括亞馬遜、微軟、谷歌、IBM在內(nèi)的美國(guó)企業(yè)合計(jì)占比近70%。而美國(guó)最具代表性的AI大模型初創(chuàng)企業(yè),無(wú)論是OpenAI還是Anthropic都接受了微軟和谷歌這樣的云大廠投資。這背后除了資金支持外,更重要的原因還在于背后的云計(jì)算資源。

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

算力的另一個(gè)維度是芯片,高性能的芯片可以提供更加高效的計(jì)算能力,從而加速訓(xùn)練過(guò)程。

速度有多快呢?2016年,黃仁勛親手將世界第一臺(tái)DGX-1(英偉達(dá)計(jì)算平臺(tái))捐獻(xiàn)給了OpenAI,DGX-1是3000人花費(fèi)3年時(shí)間才研發(fā)出來(lái)的首個(gè)輕量化的小型超算,計(jì)算和吞吐能力相當(dāng)于 250臺(tái)傳統(tǒng)服務(wù)器。有了DGX-1,OpenAI之前一年的計(jì)算量只要一個(gè)月就能完成。

而目前為止,英偉達(dá)的A100芯片仍然是唯一能夠在云端實(shí)際執(zhí)行任務(wù)的GPU芯片。最近的GTC2023上,黃仁勛又更新了新芯片H100的進(jìn)度。H100配有Transformer引擎,可以專(zhuān)門(mén)用作處理類(lèi)似ChatGPT的AI大模型,由其構(gòu)建的服務(wù)器效率是A100的十倍。

可以說(shuō),在AI大模型領(lǐng)域,目前的美國(guó)就是妥妥的“別人家孩子”,這也導(dǎo)致目前行業(yè)最具代表性的AI大模型都集中在美國(guó)。

比如OpenAI最新發(fā)布的多模態(tài)預(yù)訓(xùn)練大模型GPT-4,谷歌最新推出“通才”大模型PaLM-E,擁世界最大規(guī)模的5620億參數(shù),能看圖說(shuō)話、能操控機(jī)器人,以及剛剛解決AI繪畫(huà)手指問(wèn)題的Midjourney等等。

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

但在快速發(fā)展的過(guò)程中,美國(guó)業(yè)界對(duì)于AI大模型也持激進(jìn)和保守兩種不同的態(tài)度。

其中,微軟支持的OpenAI在推動(dòng)大模型落地時(shí)就更加激進(jìn)。根據(jù)OpenAI關(guān)于GPT-4的安全文檔,OpenAI曾在發(fā)布GPT-4前聘請(qǐng)安全專(zhuān)家進(jìn)行測(cè)試。

OpenAI在文檔中寫(xiě)道:“GPT-4表現(xiàn)出一些特別令人擔(dān)憂的能力,例如制定和實(shí)施長(zhǎng)期計(jì)劃的能力,積累權(quán)力和資源(尋求權(quán)力),以及表現(xiàn)出越來(lái)越‘代理’的行為。”因此有安全專(zhuān)家建議將 GPT-4 的部署時(shí)間推遲 6 個(gè)月,到今年秋季再發(fā)布,但OpenAI并沒(méi)有采納這份建議。

而另一方面,在ChatGPT發(fā)布之后,谷歌曾表示自己已經(jīng)具備相似能力的AI大模型,但基于安全考慮并沒(méi)有及時(shí)推向市場(chǎng)。包括OpenAI創(chuàng)始人Sam Altman和馬斯克都曾多次在公開(kāi)場(chǎng)合表達(dá)了對(duì)AI大模型和人工智能的擔(dān)憂,表示應(yīng)該更謹(jǐn)慎地對(duì)待大模型的市場(chǎng)化。

目前由谷歌投資的,能夠?qū)?biāo)OpenAI的另一家AI初創(chuàng)公司Anthropic其實(shí)就是因?yàn)檫@樣的理念不同,而從OpenAI出走并自立門(mén)戶的

當(dāng)然,在激烈的市場(chǎng)競(jìng)爭(zhēng)下,即使曾經(jīng)相對(duì)謹(jǐn)慎的谷歌也似乎忘記了這條擔(dān)憂,并在3月7日?qǐng)?bào)復(fù)性砸出5620億參數(shù)大模型,甚至能夠控制機(jī)器人運(yùn)動(dòng)。

目前,以微軟和OpenAI為代表,美國(guó)AI大模型正在積極推動(dòng)產(chǎn)業(yè)應(yīng)用。微軟早在2月份就宣布將會(huì)在全線產(chǎn)品接入ChatGPT,并以幾乎一周一個(gè)產(chǎn)品的速度向外更新。

從New Bing到加入最新功能Copilot的Microsoft Teams正在攪動(dòng)全球的產(chǎn)業(yè)變革。

日本:錯(cuò)過(guò)互聯(lián)網(wǎng),錯(cuò)過(guò)云,錯(cuò)過(guò)AI

如果說(shuō)美國(guó)是最厲害的大模型“老炮”,那日本可能就要淪為這次排名的“吊車(chē)尾”。

日本的落后其實(shí)要從上個(gè)互聯(lián)網(wǎng)時(shí)代講起。我們盤(pán)點(diǎn)世界AI大模型領(lǐng)域的關(guān)鍵角色會(huì)發(fā)現(xiàn),無(wú)論是中國(guó)的BAT,韓國(guó)的Naver,還是美國(guó)的谷歌、亞馬遜,他們都是互聯(lián)網(wǎng)時(shí)代的巨頭。

一方面,這些企業(yè)通過(guò)互聯(lián)網(wǎng)業(yè)務(wù)積累了大量的高質(zhì)量數(shù)據(jù);另一方面,他們?cè)谧陨順I(yè)務(wù)推動(dòng)下建立了完整的云計(jì)算體系。但盤(pán)點(diǎn)之后我們發(fā)現(xiàn),整個(gè)日本既沒(méi)有叫得出名字的互聯(lián)網(wǎng)巨頭,也沒(méi)有拿得出手的云計(jì)算廠商。

目前,日本的即時(shí)通訊軟件來(lái)自韓國(guó)的LINE,云計(jì)算業(yè)務(wù)也被美國(guó)企業(yè)長(zhǎng)期把持。

2022年,日本云計(jì)算市場(chǎng)份額約占全球的4%,排名第四。但日本云計(jì)算市場(chǎng)的主要競(jìng)爭(zhēng)者卻是美國(guó)的三大云巨頭亞馬遜、微軟和谷歌,它們?cè)谌毡镜氖袌?chǎng)占有率已經(jīng)達(dá)到60%~70%。

除此之外,日本其實(shí)還面臨許多其他問(wèn)題,比如由于半導(dǎo)體產(chǎn)業(yè)的衰落,讓日本在本應(yīng)成為最大優(yōu)勢(shì)的AI芯片領(lǐng)域缺位;比如作為一個(gè)小語(yǔ)種國(guó)家,日語(yǔ)面臨和中文一樣缺乏語(yǔ)料的問(wèn)題

在這樣的背景下,日本在AI時(shí)代其實(shí)早就喪失了自主權(quán)。所以我們盤(pán)點(diǎn)日本的AI大模型,會(huì)發(fā)現(xiàn)它們大多具有美國(guó)或者韓國(guó)色彩。

比如日本最早公開(kāi)上線的NLP大模型是2020年發(fā)布的NTELLILINK Back Office NLP,當(dāng)時(shí)它能實(shí)現(xiàn)如文檔分類(lèi)、知識(shí)閱讀理解、自動(dòng)總結(jié)等功能。但NTELLILINK Back Office是在谷歌BERT基礎(chǔ)上開(kāi)發(fā)的應(yīng)用,就像中國(guó)許多基于GPT-3開(kāi)發(fā)的應(yīng)用一樣。

更有日本血統(tǒng)的生成式AI其實(shí)是HyperCLOVA、Rinna 和 ELYZA Pencil,但其中HyperCLOVA 和 Rinna 也都有外國(guó)基因。

其中,HyperCLOVA最早是韓國(guó)搜索巨頭NAVER在2021年推出的,其日本版是由NAVER和其子公司LINE(韓國(guó)軟件在日本經(jīng)營(yíng))一起研發(fā)。但HyperCLOVA確實(shí)是第一個(gè)專(zhuān)門(mén)針對(duì)日語(yǔ)的大語(yǔ)言模型,其通過(guò)爬取日本的博客服務(wù)來(lái)獲取訓(xùn)練數(shù)據(jù),并在2021年舉行的對(duì)話系統(tǒng)現(xiàn)場(chǎng)比賽中獲得了所有賽道的第一名。

基于HyperCLOVA,LINE也推出許多應(yīng)用,比如聊天機(jī)器人CLOVA Chatbot、圖像識(shí)別CLOVA OCR和科洛瓦演講CLOVA Speech等等。HyperCLOVA擁有820億參數(shù),目前正計(jì)劃通過(guò)超100億頁(yè)的日文數(shù)據(jù)作為學(xué)習(xí)數(shù)據(jù)將模型規(guī)模擴(kuò)大到1750億。

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

圖源日本版HyperCLOVA官網(wǎng)

日本的另一個(gè)AI大模型Rinna則與微軟有關(guān),Rinna最早是微軟日本研發(fā)的一款聊天機(jī)器人,類(lèi)似于國(guó)內(nèi)的小冰(之前叫微軟小冰,目前已獨(dú)立運(yùn)營(yíng))。

2021年8月,Rinna發(fā)布了一個(gè)名為GPT2-medium的模型,然后又在次年推出了日本版的GPT-2,參數(shù)達(dá)到13億。日語(yǔ)版GPT-2與GPT-2的區(qū)別在于,GPT-2采用的是英文語(yǔ)料,而日語(yǔ)版GPT-2是基于日語(yǔ)語(yǔ)料訓(xùn)練。

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

圖源日本Rinna官網(wǎng)

目前,Rinna的日語(yǔ)版GPT-2和HyperCLOVA已經(jīng)是日本參數(shù)規(guī)模最大,最具代表性的大模型了。

當(dāng)然,日本也有一些真正土生土長(zhǎng)的大模型,比如2022年3月,由東京大學(xué)松尾研究所的AI初創(chuàng)公司 ELYZA Co., Ltd.推出大語(yǔ)言模型,它以產(chǎn)品“ELYZA Pencil”的方式推向市場(chǎng)。輸入幾個(gè)關(guān)鍵字,ELYZA Pencil可以在大約 6 秒內(nèi)創(chuàng)建三種類(lèi)型的日語(yǔ)新聞報(bào)道、電子郵件或簡(jiǎn)歷。

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

▲ 圖源日本Rinna官網(wǎng)

所以算起來(lái),ELYZA Pencil才算真正意義上日本首次公開(kāi)發(fā)布的生成式AI產(chǎn)品,但僅有ELYZA Pencil顯然很難成為全村的希望。

日本政府其實(shí)也在想辦法扭轉(zhuǎn)這種局面,比如2022年5月,日本政府計(jì)劃將云計(jì)算服務(wù)列為涉及國(guó)家安全的“特定重要物資”,并將加強(qiáng)日本本國(guó)的“國(guó)產(chǎn)云”,但執(zhí)行下來(lái)其實(shí)收效甚微。

畢竟無(wú)論是互聯(lián)網(wǎng)還是云計(jì)算都是規(guī)模經(jīng)濟(jì),需要有足夠的市場(chǎng)容量才能產(chǎn)生經(jīng)濟(jì)效益。這也導(dǎo)致日本互聯(lián)網(wǎng)和云計(jì)算無(wú)論是在全球市場(chǎng),還是在本土市場(chǎng)都缺乏充足的成長(zhǎng)空間。

但即便如此,日本市場(chǎng)也在積極做著大模型的應(yīng)用的研究。

比如2022年5月,東京大學(xué)和 Google Brain 的一個(gè)研究團(tuán)隊(duì)發(fā)布了論文《Large Language Models are Zero-Shot Reasoners》,解決了大模型0樣本學(xué)習(xí)的部分問(wèn)題。

而在日本的互聯(lián)網(wǎng)上,日本網(wǎng)友也在積極調(diào)用GPT-3的API,嘗試開(kāi)發(fā)自己的獨(dú)特應(yīng)用。此外,在剛剛舉行的英偉達(dá)GTC 2023上,英偉達(dá)與日本三菱聯(lián)合打造了日本第一臺(tái)用于加速藥研的生成式AI超級(jí)計(jì)算機(jī)。

韓國(guó):只有財(cái)閥巨頭,沒(méi)有初創(chuàng)公司

沒(méi)想到的是,一直被日本看不上的韓國(guó),在大模型領(lǐng)域反而比日本跑得更快些。

事實(shí)上,韓國(guó)是最早加入AI大模型研發(fā)的國(guó)家之一,但韓國(guó)的AI大模型這個(gè)國(guó)家的經(jīng)濟(jì)一樣,只有財(cái)閥的身影,沒(méi)有初創(chuàng)公司的故事。目前,韓國(guó)在大模型領(lǐng)域的代表只有互聯(lián)網(wǎng)巨頭Naver和Kakao,移動(dòng)運(yùn)營(yíng)商巨頭KT和SKT,以及通信巨頭LG。

除了財(cái)閥唱主角之外,緊跟美國(guó)步伐也是他們的一個(gè)重要特點(diǎn)。

比如在GPT-3的應(yīng)用上,2020年OpenAI發(fā)布GPT-3的論文,韓國(guó)企業(yè)在2021年就推出了相應(yīng)產(chǎn)品,反應(yīng)速度比中國(guó)更快。這種緊跟在AI方面也是如此,2020年谷歌、亞馬遜等美國(guó)巨頭開(kāi)始推出AI加速芯片時(shí),SKT就同步推出了自主研發(fā)的AI加速芯片SAPEON X220。

韓國(guó)在芯片半導(dǎo)體方面的積累也放大了它在AI大模型方面的優(yōu)勢(shì)。目前韓國(guó)企業(yè)正在和半導(dǎo)體企業(yè)積極結(jié)盟,以應(yīng)對(duì)大模型發(fā)展帶來(lái)的算力挑戰(zhàn)。

比如2022年底,Naver就開(kāi)始和三星電子合作開(kāi)發(fā)下一代人工智能芯片解決方案,該解決方案基于Naver推出的AI大模型Hyperclova進(jìn)行優(yōu)化,目前開(kāi)發(fā)已進(jìn)入最后階段。

同年,KT公司也對(duì)芯片設(shè)計(jì)公司 Rebellions Inc.進(jìn)行了戰(zhàn)略投資,這是一家位于韓國(guó)本土的AI初創(chuàng)公司,在專(zhuān)用芯片方面擁有獨(dú)特的技術(shù)。Rebellions將為KT公司優(yōu)化MI:DEUM,并推動(dòng)其商業(yè)化。

除此之外,KT公司還投資了AI初創(chuàng)公司Moreh,并計(jì)劃在今年推出一套韓國(guó)的半導(dǎo)體,其效率可能是現(xiàn)在半導(dǎo)體的三倍以上。KT希望通過(guò)這種方式,全面進(jìn)入目前由英偉達(dá)主導(dǎo)的AI半導(dǎo)體市場(chǎng)。

第三點(diǎn),則是韓國(guó)在AI大模型的垂類(lèi)應(yīng)用已經(jīng)有比較多的探索。比如KoGPT在醫(yī)療保健方面的應(yīng)用,Exaone在生物醫(yī)藥和智能制造方面的應(yīng)用等等。

整體上看,韓國(guó)的AI大模型在基礎(chǔ)設(shè)施方面非常完善,比如在算力方面有三星電子,SKT等半導(dǎo)體巨頭;互聯(lián)網(wǎng)方面有Naver和Kakao這樣的標(biāo)桿企業(yè),這些特點(diǎn)都讓韓國(guó)能在AI大模型的發(fā)展浪潮中走在世界前列,并推出了一系列具有代表性的AI大模型。

比如前面提到,韓國(guó)最大的搜索公司Naver在2021年推出了HyperCLOVA,韓國(guó)版的 HyperCLOVA 擁有2040億參數(shù),比GPT-3還要多290億,且其中97%使用的是韓文語(yǔ)料。

目前,Naver已計(jì)劃在今年上半年基于HyperCLOVA推出Search GPT(類(lèi)似微軟New Bing)并在7月份推出HyperCLOVA X,這是HyperCLOVA 的最新版本。

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

▲ 圖源韓國(guó)版HyperCLOVA架構(gòu) 圖源韓國(guó)版HyperCLOVA架構(gòu)

同樣是在2021年,韓國(guó)另一家互聯(lián)網(wǎng)巨頭Kakao 旗下的AI研究部門(mén)Kakao Brain發(fā)布了一個(gè)基于GPT-3的KoGPT,之后Kakao Brain又將KoGPT更新至GPT-3.5,實(shí)現(xiàn)與 ChatGPT使用相同版本的預(yù)訓(xùn)練大模型。Kakao Brain 首席技術(shù)官 Kim Kwang-seob 表示:“KoGPT將專(zhuān)注于開(kāi)發(fā)基于 AI 的圖像創(chuàng)建技術(shù)和醫(yī)療保健技術(shù)?!?/p>

Kakao Brain在KoGPT之外還推出了基于人工智能的圖像生成器 Karlo,BEDIT和BDiscover,類(lèi)似于stable diffusion。

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

▲ 圖源KoGPT研發(fā)團(tuán)隊(duì) 圖源Kakao Brain官網(wǎng)

2022年5月,SKT推出了基于GPT-3的聊天機(jī)器人A.的測(cè)試版,用來(lái)處理客戶的特定任務(wù)。目前,A.在韓國(guó)已經(jīng)獲得了100萬(wàn)用戶,并計(jì)劃在今年推出正式版。

2022年12月,LG集團(tuán)的人工智能智庫(kù)LG AI Research 推出了Exaone。這是一個(gè)擁有3000億參數(shù),使用圖像和文本數(shù)據(jù)的多模態(tài)模型,也是目前韓國(guó)參數(shù)規(guī)模最大的模型。Exaone應(yīng)用在生物醫(yī)藥和智能制造方面,有助于加速抗癌疫苗和創(chuàng)新電池的開(kāi)發(fā)。

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

▲ 圖源Exaone在電池產(chǎn)業(yè)和生物醫(yī)藥的應(yīng)用

到今年1月,據(jù)韓國(guó)經(jīng)濟(jì)日?qǐng)?bào)報(bào)道,韓國(guó)KT公司也將在上半年推出自己的類(lèi)ChatGPT產(chǎn)品。此前,KT公司在2022年11月推出了基于GPT-3的人工智能服務(wù)MI:DEUM,它能夠?qū)崟r(shí)回答問(wèn)題、總結(jié)報(bào)紙文章,并給出投資建議。KT公司目前也正在積極向韓國(guó)的金融服務(wù)公司推廣MI:DEUM。

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

▲ 圖源韓國(guó)KT公司logo 圖源網(wǎng)絡(luò)

但韓國(guó)同時(shí)也面臨許多挑戰(zhàn),比如韓文在語(yǔ)料方面和中文、日語(yǔ)一樣,面臨復(fù)雜的語(yǔ)言體系和語(yǔ)料不足的問(wèn)題。

HyperCLOVA的工程師提到:“韓語(yǔ)是一種凝集性語(yǔ)言,名詞后面有例子,動(dòng)詞和形容詞的詞干后面有尾音,并有各種語(yǔ)法性質(zhì)的表達(dá)。對(duì)韓語(yǔ)使用類(lèi)似英語(yǔ)的標(biāo)記化已被證明會(huì)降低韓語(yǔ)語(yǔ)言模型的性能?!?/p>

除此之外,韓國(guó)產(chǎn)業(yè)界認(rèn)為,韓國(guó)嚴(yán)格的數(shù)據(jù)使用規(guī)定阻礙了韓國(guó)初創(chuàng)企業(yè)收集足夠大的數(shù)據(jù)來(lái)訓(xùn)練AI大模型。

韓國(guó)是目前世界上數(shù)據(jù)信息管理最嚴(yán)格的國(guó)家之一。雖然在2020年韓國(guó)通過(guò)了三大數(shù)據(jù)隱私法的修訂法案,以放寬對(duì)個(gè)人信息使用的規(guī)定,但該國(guó)對(duì)數(shù)據(jù)使用的規(guī)定仍然比其他國(guó)家更嚴(yán)格。

2021年初,韓國(guó)AI初創(chuàng)公司Scatter Lab上線了一款基于Facebook Messenger的AI聊天機(jī)器人“李LUDA”,但僅僅過(guò)了20天,“李LUDA”就不得不終止服務(wù),Scatter Lab甚至為此公開(kāi)道歉。

原因在于,“李LUDA”上線之后,一些韓國(guó)男性用戶將其視作性對(duì)象甚至“性奴隸”,肆意發(fā)泄自身的惡意。他們對(duì)“李LUDA”進(jìn)行各種言語(yǔ)上的侮辱,并以此作為炫耀的資本,在網(wǎng)上掀起“如何讓LUDA墮落”的低俗討論。

受這些信息影響,“李LUDA”很快開(kāi)始發(fā)表各種歧視性言論,涉及女性、同性戀、殘障人士及不同種族人群。“李LUDA”的問(wèn)題也牽涉出韓國(guó)的個(gè)人信息保護(hù)問(wèn)題,并有相關(guān)部門(mén)介入調(diào)查。

“李LUDA”的案例就像總能直擊人心的韓國(guó)電影一樣,為世界AI大模型的發(fā)展提供了更多關(guān)于倫理、道德等方面的啟示。許多人害怕AI的惡意,但AI其實(shí)本沒(méi)有善惡之分,所謂的善惡其實(shí)都來(lái)自于人類(lèi)自己,這取決于你給AI什么樣數(shù)據(jù),就像我們教予孩子什么樣的知識(shí)一樣。

除此之外,韓國(guó)AI大模型領(lǐng)域缺少初創(chuàng)公司的身影,且韓國(guó)對(duì)初創(chuàng)公司的投資也比較匱乏。

根據(jù)斯坦福大學(xué)HAI發(fā)布的 AI Index 2022,韓國(guó)初創(chuàng)企業(yè)獲得投資額為11億美元,僅占美國(guó)初創(chuàng)企業(yè)獲得投資額529億美元的2%,甚至低于以色列的24億美元。這也導(dǎo)致韓國(guó)在AI初創(chuàng)公司獨(dú)角獸方面落后于其他國(guó)家。

根據(jù)全球科技市場(chǎng)追蹤機(jī)構(gòu) CB Insights 的數(shù)據(jù),截至 2022 年 12 月,美國(guó)的 AI 獨(dú)角獸數(shù)量最多,有 53 家初創(chuàng)公司。中國(guó)以 19 家位居第二,其次是英國(guó)有4家,但韓國(guó)卻沒(méi)有AI獨(dú)角獸公司,而即使是國(guó)內(nèi)生產(chǎn)總值 (GDP) 低于韓國(guó)的以色列也有 3 家。

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

▲ 圖源數(shù)據(jù)來(lái)源CB Insights

一家專(zhuān)注于交互式 AI 技術(shù)的韓國(guó)機(jī)器學(xué)習(xí)技術(shù)的企業(yè)Genesis Lab Inc. 創(chuàng)始人兼CEO Lee Young-bok 表示,韓國(guó)公司總體上對(duì)人工智能并不友好,并補(bǔ)充說(shuō)政府或公共組織應(yīng)該更加積極地采用人工智能技術(shù)。

歐洲:只有德國(guó)在認(rèn)真“搞事業(yè)”

一直以來(lái),歐洲似乎是僅次于美國(guó)的存在,但在AI 大模型方面,歐洲并不比日本更出色,甚至處于持續(xù)擺爛狀態(tài)。

Future of Life Institute (FLI)曾在2022年11月發(fā)表過(guò)一篇報(bào)告提到:“歐洲沒(méi)有開(kāi)發(fā)通用人工智能系統(tǒng),也不太可能很快開(kāi)始這樣做?!?/strong>

FLI是美國(guó)的一家致力于減少人類(lèi)面臨的全球?yàn)?zāi)難性和生存風(fēng)險(xiǎn)非營(yíng)利性機(jī)構(gòu),先進(jìn)人工智能帶來(lái)的風(fēng)險(xiǎn)是其最重要的研究方向之一,其創(chuàng)始人包括DeepMind研究科學(xué)家 Viktoriya Krakovna,馬斯克也在該機(jī)構(gòu)擔(dān)任顧問(wèn),并提供資助。

FLI認(rèn)為,在AI大模型方面,歐洲可能會(huì)主要扮演一個(gè)使用者的角色,即通過(guò)接入其他國(guó)家開(kāi)發(fā)的大模型API來(lái)開(kāi)發(fā)應(yīng)用。

比如芬蘭的Flowrite,一個(gè)基于AI的寫(xiě)作工具,可以將輸入關(guān)鍵詞生成郵件、消息等內(nèi)容。比如荷蘭的MessageBird,一個(gè)全渠道通信平臺(tái),這兩者都是在GPT-3的基礎(chǔ)上運(yùn)行的。

歐洲在AI大模型方面確實(shí)缺少有影響力的企業(yè),唯一一個(gè)總部位于英國(guó)的DeepMind還是由 Alphabet 全資擁有。整個(gè)歐洲,唯一擔(dān)心因?yàn)榇竽P吐浜蠖皇澜缢﹂_(kāi),并為此操碎了心的只有德國(guó)。

比如谷歌3月7日最新推出的多模態(tài)大模型PaLM-E,就由谷歌和柏林工業(yè)大學(xué)共同打造,目前PaLM-E擁有5620億參數(shù),是全球最大的視覺(jué)語(yǔ)言模型。

除了合作研發(fā)之外,德國(guó)還擁有歐洲目前唯一一款A(yù)I大模型。

2022年4月,位于海德堡的德國(guó)初創(chuàng)公司Aleph Alpha發(fā)布了一款擁有700億參數(shù)的預(yù)訓(xùn)練模型Luminous,大約是GPT-3的一半左右。Aleph Alpha在此基礎(chǔ)上訓(xùn)練了聊天機(jī)器人Lumi,并計(jì)劃在今年晚些時(shí)候發(fā)布最新版Luminous-World,其參數(shù)規(guī)模將達(dá)到3000億。

作為歐洲企業(yè),Luminous最大的特點(diǎn)在于更保護(hù)安全和隱私,Aleph Alpha 表示他們“不記錄任何用戶數(shù)據(jù)”。而包括OpenAI在內(nèi)的大多數(shù)AI大模型需要用戶數(shù)據(jù)進(jìn)行訓(xùn)練(數(shù)據(jù)收集過(guò)程是透明的)。

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

▲ 圖源Luminous官網(wǎng)

除了建設(shè)大模型,德國(guó)也為歐洲薄弱的人工智能基礎(chǔ)設(shè)施操碎了心。

德國(guó)人工智能協(xié)會(huì)正在開(kāi)展一項(xiàng)大型歐洲人工智能模型(LEAM) 的計(jì)劃,并得到博世、SAP、大陸、拜耳、默克等德國(guó)行業(yè)巨頭以及歐洲類(lèi)似人工智能協(xié)會(huì)的支持。LEAM計(jì)劃投資3.5億歐元,從數(shù)據(jù)收集、人才培訓(xùn)、基礎(chǔ)設(shè)施建設(shè)等方面為歐洲AI大模型的發(fā)展建立一個(gè)有競(jìng)爭(zhēng)力的 AI 生態(tài)系統(tǒng)。

當(dāng)然,你可以吐槽歐洲在技術(shù)和商業(yè)上的拉胯,但不能吐槽它在公共事業(yè)上的努力。

歐洲還有一個(gè)名叫BLOOM的大模型,發(fā)布在2020年8月。這是一個(gè)由 AI 初創(chuàng)公司 Hugging Face 在法國(guó)政府的資助下發(fā)起的項(xiàng)目,全球 1000 多名志愿者研究人員耗時(shí)一年多創(chuàng)建的 AI 模型,旨在消除傳統(tǒng)大語(yǔ)言模型的保密性和排他性,并從一開(kāi)始就嵌入倫理考量。

BLOOM有 1760 億參數(shù),它被設(shè)計(jì)得盡可能透明,并且是第一次采用了西班牙語(yǔ)、阿拉伯語(yǔ)等語(yǔ)言訓(xùn)練。BLOOM最大的特點(diǎn)在于可訪問(wèn)性,任何人都可以從 Hugging Face 網(wǎng)站免費(fèi)下載它進(jìn)行研究。

BLOOM的研究人員認(rèn)為,開(kāi)發(fā)一個(gè)任何人都可以使用,并且性能與其他高級(jí)模型相當(dāng)?shù)拇笳Z(yǔ)言模型將帶來(lái)人工智能開(kāi)發(fā)文化的長(zhǎng)期變化。所以從歐洲的視角來(lái)看,這是一項(xiàng)致力于AI民主化的重要工作。

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

從 BLOOM的視角可以看出,歐洲在AI大模型上的關(guān)注重點(diǎn)與世界其他國(guó)家是不一樣的,開(kāi)源普惠,綠色安全這一類(lèi)關(guān)于SDG的詞匯一直是歐洲關(guān)注的重點(diǎn)。所以在AI大模型之后,歐洲大量精力其實(shí)都用在了立法上。

比如最重要的一項(xiàng)立法就是即將在3月底提交歐盟議會(huì)表決的《人工智能法案》。

這項(xiàng)法案是歐盟委員會(huì)在2021年提出的,原因是歐盟認(rèn)為從跨國(guó)視角來(lái)看,各國(guó)獨(dú)立的監(jiān)管措施會(huì)導(dǎo)致監(jiān)管碎片化,進(jìn)而妨礙跨境人工智能市場(chǎng)的形成,并威脅到數(shù)字主權(quán)。同時(shí)他們也擔(dān)心復(fù)雜的監(jiān)管會(huì)抑制創(chuàng)新、威脅個(gè)人隱私、甚至AI一旦失控帶來(lái)的一些潛在風(fēng)險(xiǎn)。當(dāng)然,最重要的是,歐盟希望通過(guò)立法的方式參與到全球人工智能的標(biāo)準(zhǔn)制定當(dāng)中。

具體而言,歐盟希望將不同的AI技術(shù)根據(jù)風(fēng)險(xiǎn)水平進(jìn)行分類(lèi),具體為:最小、有限、高以及不可接受。高風(fēng)險(xiǎn)技術(shù)不會(huì)被禁止,但相關(guān)公司將被要求在運(yùn)營(yíng)中保持高度透明。而所謂透明,其中的規(guī)則就是迫使相應(yīng)的公司闡明其人工智能模型的內(nèi)部運(yùn)作方式。

而這項(xiàng)法案一旦通過(guò),意味著將成為歐盟成員國(guó)內(nèi)直接適用的法律,之后如果企業(yè)想在歐盟銷(xiāo)售或使用人工智能產(chǎn)品就必須遵守相應(yīng)的法規(guī),否則將面臨高達(dá)其全球年?duì)I業(yè)額 6% 的罰款。

但FLI認(rèn)為,歐洲對(duì)其他國(guó)家的技術(shù)依賴可能阻礙歐盟參與制定人工智能全球標(biāo)準(zhǔn)的努力。

歐洲的問(wèn)題在于,缺乏一個(gè)統(tǒng)一的大市場(chǎng)。

在GDP總量上,歐盟2022年GDP16.65萬(wàn)億美元與中國(guó)相當(dāng);在人口數(shù)量上,歐盟2022年人口4.46億,甚至超過(guò)美國(guó)3.32億。但歐盟卻擁有28個(gè)國(guó)家,23種官方語(yǔ)言,再加上與美國(guó)的深度綁定,都導(dǎo)致歐盟在互聯(lián)網(wǎng)時(shí)代沒(méi)有創(chuàng)造出一個(gè)大型的互聯(lián)網(wǎng)企業(yè),進(jìn)而在數(shù)據(jù)量、云計(jì)算、推理訓(xùn)練等AI大模型相關(guān)的基礎(chǔ)設(shè)施上被持續(xù)拉開(kāi)。

如今在AI大模型領(lǐng)域,歐洲已經(jīng)很難組織起一場(chǎng)強(qiáng)有力的阻擊,但對(duì)于中國(guó)企業(yè)來(lái)說(shuō),歐洲仍然是一個(gè)廣闊的市場(chǎng)。

中國(guó):最活躍的AI市場(chǎng),愛(ài)打組合

許多人可能會(huì)認(rèn)為,中國(guó)的AI大模型是從“文心一言”開(kāi)始的。但“文心一言”其實(shí)只是一個(gè)類(lèi)ChatGPT的產(chǎn)品,背后驅(qū)動(dòng)它的AI大模型無(wú)論是百度、阿里、還是騰訊、華為都早有布局。

但有意思的是,中國(guó)第一個(gè)AI大模型并不來(lái)自于這些牛逼哄哄的大企業(yè),而是2021年3月由智源研究院發(fā)布的“悟道1.0”。

可能會(huì)有人好奇,智源研究院是個(gè)什么角色,那我告訴你,它是妥妥的國(guó)家隊(duì)。

智源研究院是科技部和北京市支持的,依托北京大學(xué)、清華大學(xué)、中國(guó)科學(xué)院、百度、小米、曠視科技等北京人工智能方面優(yōu)勢(shì)企業(yè)共同建立的研究機(jī)構(gòu)。

智源研究院推出的悟道1.0并不是某個(gè)大模型的名稱(chēng),而是一系列大模型的統(tǒng)稱(chēng)。

具體包括我國(guó)首個(gè)面向中文的預(yù)訓(xùn)練語(yǔ)言模型悟道·文源;首個(gè)公開(kāi)的中文通用圖文多模態(tài)預(yù)訓(xùn)練模型悟道·文瀾,首個(gè)具有認(rèn)知能力的超大規(guī)模預(yù)訓(xùn)練模型悟道·文匯和超大規(guī)模蛋白質(zhì)序列預(yù)測(cè)預(yù)訓(xùn)練模型悟道·文溯。

除了發(fā)布了諸多冠名“第一”的大模型之外,智源研究院還為中國(guó)構(gòu)建了大規(guī)模預(yù)訓(xùn)練模型技術(shù)體系,并建設(shè)開(kāi)放了全球最大中文語(yǔ)料數(shù)據(jù)庫(kù)WuDaoCorpora,為后來(lái)其他企業(yè)發(fā)展AI大模型打下了基礎(chǔ)。

而或許是受“悟道1.0”的影響,后來(lái)幾乎所有企業(yè),在發(fā)布大模型的時(shí)候都不止發(fā)一個(gè),而是一串。

比如百度在2019年發(fā)布了文心大模型。和悟道AI一樣,文心大模型也是諸多模型的統(tǒng)稱(chēng),包括NLP、CV(機(jī)器學(xué)習(xí))、跨模態(tài)大模型和生命計(jì)算大模型四個(gè)類(lèi)別36個(gè)大模型。

3月16日,基于文心大模型,百度發(fā)布文心一言,成為中國(guó)第一個(gè)類(lèi)ChatGPT產(chǎn)品。

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

華為在在2021年基于昇騰 AI 與鵬城實(shí)驗(yàn)室聯(lián)合發(fā)布了鵬程盤(pán)古大模型。盤(pán)古大模型包括CV和NLP兩類(lèi)大模型。其中,盤(pán)古NLP大模型是業(yè)界首個(gè)千億級(jí)中文NLP大模型。

阿里在2022年9月發(fā)布了“通義”大模型系列,包含NLP大模型AlicMind、視覺(jué)大模型CV,多模態(tài)大模型M6。其中M6大模型是國(guó)內(nèi)首個(gè)千億參數(shù)多模態(tài)大模型。

目前,阿里巴巴“”通義”大模型系列已在超過(guò)200個(gè)場(chǎng)景中提供服務(wù),實(shí)現(xiàn)了2%-10%的應(yīng)用效果提升。典型使用場(chǎng)景包括電商跨模態(tài)搜索、AI輔助設(shè)計(jì)、開(kāi)放域人機(jī)對(duì)話、法律文書(shū)學(xué)習(xí)、醫(yī)療文本理解等。

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

同樣在2022年,騰訊發(fā)布混元AI大模型,其中包含NLP、CV和多模態(tài)等基礎(chǔ)模型和眾多行業(yè)/領(lǐng)域模型。到今年2月初,騰訊混元AI大模型團(tuán)隊(duì)再推出萬(wàn)億中文NLP預(yù)訓(xùn)練模型HunYuan-NLP-1。目前HunYuan-NLP-1T大模型已在騰訊廣告、搜索、對(duì)話等內(nèi)部產(chǎn)品落地,并通過(guò)騰訊云服務(wù)外部客戶。

到今年2月底,騰訊也開(kāi)始研發(fā)類(lèi)ChatGPT產(chǎn)品,并已成立“混元助手(HunyuanAide)”項(xiàng)目組。

商湯在3月14日發(fā)布多模態(tài)通用大模型“書(shū)生2.5”,擁有30億參數(shù),其圖文跨模態(tài)開(kāi)放任務(wù)處理能力可為自動(dòng)駕駛、機(jī)器人等通用場(chǎng)景任務(wù)提供感知和理解能力支持?!皶?shū)生(INTERN)”最初版本由商湯科技、上海人工智能實(shí)驗(yàn)室、清華大學(xué)、香港中文大學(xué)、上海交通大學(xué)在2021年11月首次共同發(fā)布。

在此之外,京東在2月10日宣布研發(fā)產(chǎn)業(yè)版ChatGP—ChatJD,網(wǎng)易、360、字節(jié)跳動(dòng)等也宣布了在AI大模型方面的布局。

可以說(shuō),目前國(guó)內(nèi)有頭有臉的互聯(lián)網(wǎng)企業(yè)基本都擁有一個(gè)AI大模型,或者制定了相應(yīng)的計(jì)劃。

而與國(guó)外企業(yè)大多專(zhuān)注于一個(gè)大模型不同,中國(guó)企業(yè)在大模型方面的布局并不愛(ài)單打獨(dú)斗,而是喜歡通過(guò)一個(gè)系列來(lái)打組合拳。

另一個(gè)特點(diǎn)在于,與國(guó)外大模型在實(shí)驗(yàn)室打磨成熟之外,中國(guó)大模型都是從產(chǎn)業(yè)端實(shí)戰(zhàn)出來(lái)的。比如阿里、百度、騰訊的大模型都會(huì)應(yīng)用到廣告推送、社交平臺(tái)的圖片識(shí)別,內(nèi)容分發(fā)等領(lǐng)域。

因此在中國(guó)企業(yè)發(fā)力大模型的時(shí)候,消費(fèi)端的用戶感知其實(shí)并不強(qiáng)烈,但當(dāng)你體驗(yàn)到廣告推送越來(lái)越準(zhǔn)確,視頻平臺(tái)和電商平臺(tái)的猜你喜歡越來(lái)越能Get到你的點(diǎn),后面都有大模型的功勞。

在大廠之外,與韓國(guó)缺少創(chuàng)業(yè)不同,AI大模型正在中國(guó)帶動(dòng)AI大模型領(lǐng)域的創(chuàng)業(yè)風(fēng)潮。

從前美團(tuán)聯(lián)合創(chuàng)始人王慧文在朋友圈公開(kāi)組隊(duì)開(kāi)始,阿里VP賈揚(yáng)清,創(chuàng)新工場(chǎng)CEO李開(kāi)復(fù)、前搜狗CEO王小川、前京東AI掌門(mén)人周伯文、出門(mén)問(wèn)問(wèn)創(chuàng)始人李志飛等人紛紛下場(chǎng)創(chuàng)業(yè),據(jù)「自象限」不完全統(tǒng)計(jì),目前下場(chǎng)的大佬已有10位。

關(guān)于中國(guó)ChatGPT的創(chuàng)業(yè)機(jī)會(huì),「自象限」《ChatGPT啟示錄》專(zhuān)題下一篇《中國(guó)ChatGPT創(chuàng)業(yè)啟示錄(上)》將會(huì)具體提到,歡迎持續(xù)關(guān)注。

除了創(chuàng)業(yè)之外,中國(guó)投資機(jī)構(gòu)也在躍躍欲試。

在王慧文確認(rèn)下場(chǎng)AI大模型之后,一張真格基金合伙人戴雨森、劉元與王慧文、李志飛喝酒的圖片在網(wǎng)上瘋傳,被認(rèn)為是AI大模型時(shí)代的標(biāo)志性照片。目前,王慧文的光年之外已經(jīng)確認(rèn)2.3億美元的新一輪融資,其中可能包括真格資本和源碼資本。

萬(wàn)字長(zhǎng)文解碼全球AI大模型現(xiàn)狀:日本失去一切,韓國(guó)只有財(cái)閥

戴雨森、王慧文、李志飛、劉元(從左至右)圖源36氪

除此之外,在奇績(jī)創(chuàng)壇2022年11月舉辦的2022年秋季路演中,陸奇選擇的55個(gè)項(xiàng)目,其中就有16個(gè)項(xiàng)目與大模型相關(guān)。

可以說(shuō),AI大模型正在成為中國(guó)硬科技投資的一個(gè)新風(fēng)向。關(guān)于中國(guó)ChatGPT的投資現(xiàn)狀,「自象限」專(zhuān)題《ChatGPT啟示錄》第四篇《中國(guó)ChatGPT投資啟示錄》將會(huì)具體提到,歡迎持續(xù)關(guān)注。

整體來(lái)看,從投資、創(chuàng)業(yè)到應(yīng)用,中國(guó)幾乎是目前世界上最活躍的市場(chǎng)。

所以我們大可不必糾結(jié)為什么ChatGPT沒(méi)有發(fā)生在中國(guó),因?yàn)槲磥?lái)仍然大有可為。

? 參考資料:

https://www.intellilink.co.jp/column/ai/2022/070800.aspx

https://bigscience.huggingface.co/blog/bloom

https://futureoflife.org/wpcontent/uploads/2022/11/Emerging_NonEuropean_Monopolies_in_the_Global_AI_Market.pdf

http://m.ce.cn/gs/gd/202303/15/t20230315_38444222.shtml

本文來(lái)自投稿,不代表增長(zhǎng)黑客立場(chǎng),如若轉(zhuǎn)載,請(qǐng)注明出處:http://gptmaths.com/quan/100904.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
上一篇 2023-07-01 14:42
下一篇 2023-07-01 22:38

增長(zhǎng)黑客Growthhk.cn薦讀更多>>

發(fā)表回復(fù)

登錄后才能評(píng)論