機器之心發布
機器之心編輯部
在一些悲觀者看來,人工智能的發展似乎變慢了。
2022 年底,ChatGPT 發布,五天用戶注冊超過百萬,兩個月后月活用戶超過 1 億,以此為起點,幾乎每家科技大公司都卷入這場生成式 AI 的風暴當中,幾乎每個科技創業者也都試圖尋找起飛的機會,半年融資兩輪、一年估值破 10 億美元的 “黃金時代” 似乎又回來了,a16z 創始人 Marc Andreessen 2011 年提出「軟件在蠶食世界」(Software is eating the world),在 2023 年,大家談論的話題變成了「人工智能蠶食世界」(AI is eating the world)。
然而,等到 2024 年,世界似乎依然是那個世界,我們的日常生活幾乎沒有因為人工智能發生任何變化,應用層面的 “iPhone 時刻” 始終只出現在各類演講里,而非我們的手頭上。
在技術端,大模型本身的能力也出現了諸多問題,GPT 5.0 遲遲未能發布,這讓大家疑惑 Scaling Law 曲線是否正在放緩,進而質疑 Transformer 架構本身的潛力;大模型的「幻覺問題」也始終影響應用層面的落地,甚至有論文認為經過校準的語言模型必然會出現幻覺,與數據質量或者算法架構本身無關 —— 換言之,這幾乎是個不可能解決的問題。
樂觀者則認為,這些只是當技術爆炸真正進入日常世界時候,必然出現的緩沖期。
技術爆發時候,我們往往過于興奮,以為未來正加速到來,不過,世界本身有自己的運作規律,需要基礎設施來承接,需要應用層面來落地,甚至需要法律、道德和倫理層面做好更多準備。在外灘大會上,他們為自己的樂觀能夠找到充足的理由。
九月初,外灘大會在上海舉辦,上海黃浦世博園區也成了看見 AI 未來趨勢的最重要窗口。有人在討論它是否能夠疏解孤獨,也有人在討論能否幫助緩解全球變暖,在展區里,依然有著眾多帶著創造力的人,來展示他們用 AI 設想的未來。我們對 AI 的悲觀或者樂觀,背后都隱含著我們對它的期待。
每個問題都是 AI 繼續進化的契機。在外灘大會上,我們能夠看到人工智能依然在發展,在論壇的討論里,在每個展廳里,我們能夠看到五年后 AI 的樣貌。
「算力軍備競賽」可能不會結束, 但平衡成本和提升效率越發重要
2020 年,OpenAI 在一篇論文里提出 Scaling law,大意是大模型的性能與模型的具體結構 —— 深度、寬度和層數 —— 基本無關,主要由計算量、模型參數量和訓練數據量三者的大小有關。
這一論斷被稱為 AI 領域的「摩爾定律」,也因為 OpenAI 的成功而成了很多從業者信奉的圭臬。在這一信念指引下,大模型的發展向著大算力、大參數和大數據的方向發展。先前的 AI 發展主要基于對各類模型的優化,而 Scaling Law 代表著一種新的范式:倘若有足夠大的算力和數據,我們便能夠解決人工智能發展的問題。
算力軍備競賽也由此開始。李飛飛團隊新近發布的《人工智能指數報告》顯示,最新人工智能模型的訓練成本已經達到歷史新高。GPT-4 的訓練過程耗費了約 7800 萬美元的計算資源,谷歌的 Gemini Ultra 模型的訓練成本更是高達 1.91 億美元。微軟也啟動「星際之門」超級計算機計劃,預計投資將達到 1150 億美元,而谷歌也迅速表示將在算力方面有更慷慨的投資。
烽火燃不息,倘若我們想要發展更好的大模型,在技術上繼續有所突破,那么這場軍備競賽便不可能結束。不過,倘若目標是應用落地和商業閉環,那么落地部署的效率和成本與技術本身一樣重要。于是,優化算力效率,提高數據質量,成了各個企業關注的焦點。
企業需要關注如何通過技術創新來實現算力的經濟實用,以在不犧牲性能的情況下,控制投入成本,而異構計算是實現這一目標的關鍵技術之一。
異構計算是一種將不同類型和架構的計算單元,如 CPU、GPU、DSP、ASIC、FPGA 等,整合到一個系統中以提高計算性能和能效的技術,能夠同時處理多種類型的計算任務,如圖形處理、科學計算和 AI 推理,這使得它們非常適合現代數據中心和 AI 應用的需求。
異構計算優勢明顯。它可以協同多種計算單元,顯著提高處理速度和系統吞吐量,尤其適用于大規模并行計算任務,并能將任務分配給最適合的計算單元執行,可以優化能源利用效率,降低數據中心的能耗。同時,異構計算支持靈活的硬件配置和軟件編程,能夠根據需求輕松擴展系統能力,開發者也能夠根據算法需求選擇最合適的硬件平臺。
未來五年,異構計算需要逐步解決現有的問題,才能走向普及。異構計算需要開發者具備跨平臺的編程和優化技能,缺乏統一的編程框架和標準,增加了開發難度,導致開發效率受限。此外,雖然長期來看成本更低,但初期硬件投資和研發成本相比現有成熟方案依然很高,需要大公司率先投入,促進應用。
比起大模型,小模型更可能誕生「大應用」
大約十五年前,移動互聯網開始繁榮,也迎來了創業的黃金時代。與之相比,AI 時代創業更加艱難,首先因為成本更高,需要算力、數據、電力等外界條件,訓練大模型所需要的資金,幾乎沒有草根創業者能夠負擔。在大模型領域,很可能會出現「贏家通吃」,最終只剩下幾個主要的模型廠商。
不過,AI 是個龐大的生態,在算法、算力、數據和系統等領域都有著大量機會。
在外灘大會上,一個被討論很多的機會是數據服務商。AI 大模型的性能在很大程度上取決于訓練數據的規模和質量。數據數量的增加可以提供更多的樣本,使模型能夠學習到更多的特征和模式。如今 AI 發展的重要瓶頸,是現實世界的數據接近枯竭,而合成數據依然存在著很多問題,比如無法反映物理世界的復雜情況等。
于是,一批新型的數據服務商便可能成為 AI 時代的「賣水人」。它需要以更高的效率完成包括數據清洗、數據標注、數據整合和數據安全措施等方面的工作,確保數據的來源可靠、處理過程透明和結果可驗證。高質量的數據為 AI 模型提供學習的基礎,從而形成數據飛輪,推動其不斷進化和改進。
更大的創業機會在應用端,尤其是在行業領域。不過,通往行業落地的大門可能并非大模型,而是小模型 / 端側模型。
嚴格來說,「小模型」與「端側模型」并不等同。小模型通常指的是參數規模遠少于 GPT-3 或 Llama-13B 的大語言模型,如 1.5B、3B、7B 等;「端智能」則指的是部署在手機、電腦等用戶設備上的模型,通常計算資源受限,無法直接運行大模型,于是也要特別設計新的模型。二者目標不同,不過終端設備能夠流暢運行的,往往都是小模型,因此存在很多重合,我們也不做細致的區分。
小模型雖然參數規模小,不過往往專注于某一領域和任務的設計和優化,在這些方面可以達到甚至超過大模型的性能,如 Mistral-7B 模型在某些基準測試中超越了參數量更大的模型,顯示出小模型在特定任務上的優勢。
因為算力和能源消耗低,小模型更適合落地應用。在端側,蘋果在 iPhone 上使用的 DCLM 模型參數量為 70 億。傅盛也曾提到,企業專用模型大概只需要百億參數 —— 作為對比,GPT 4 的參數量高達 1.7 萬億。
小模型的發展將帶來端智能的普及,未來五年率先落地的可能是一批「博士」水平的專業 AI。外灘大會上已經能看到不少很有潛質的產品雛形,涉及醫療、能源、教育等領域。借助這些專門化的 AI 工具,企業可以更容易地將 AI 技術集合到業務流程中,在行業中落地應用。
行業側的落地應用也將有助于 AI 本身的進化。各個領域存在大量數據,在利用 AI 優化決策、提高效率的同時,AI 也能獲得更高質量的數據,模型和算法也會不斷演進與改變,從而推動整個人工智能領域的發展與成熟。
端智能可能是大模型的終局,但手機智能未必是
如今提到端側模型,往往指的是手機,因為這是我們隨手可觸及的算力最強的設備,不過,手機可能只是端智能的過渡階段。
手機智能的瓶頸很明顯,首先是算力不足,但更重要的可能是內存不足。相比云端服務器,手機等設備的內存容量和存儲空間都要小很多,但即便是小模型依然需要占用大量空間。
內存之外,能源和功耗問題也是一個問題。AI 計算過程功耗巨大,很容易導致電池電量不足,設備發熱,甚至影響系統總體穩定性。
現在的解決方案一方面是提升手機性能,一方面則是設計更小的模型,以確保在有限的內存、算力、功耗限制下高效運行,如蘋果便從 0 構建了專門的小模型,而非對現有的大模型來裁剪。
不過,長期來看,或許我們會有新的 AI Agent,成為人工智能時代下的新型終端形態。
我們期待的 AI Agent 并非簡單地執行指令,而更像是具身智能理念在人工智能領域的具體體現,具有更高級別的自主性和智能,是能夠在環境中自主行動、感知并做出決策的智能實體。
這意味著,AI Agent 不僅能夠處理虛擬任務,還能夠在物理世界中執行動作,提供更加豐富和直觀的用戶體驗。這種結合也推動了人工智能在多個領域的創新應用,如自動駕駛汽車、智能家居、工業自動化等。
我們與 AI Agent 的交互方式也將發生新的變化。從早期的機器語言到圖形用戶界面(GUI)、手勢控制,再到現在的全模態自然語言交互,人機交互的方式不斷演進。全模態交互意味著機器可以通過多種方式(如語音、視覺、觸覺等)理解和響應人類的指令,使得交互更加自然和直觀。
隨著交互方式的演進,機器不再僅僅是工具,而是能夠提供陪伴、協助和情感支持的伙伴;應用入口也不再局限于傳統的操作系統或應用程序界面,而是可以通過多種設備和場景進行交互。
這或許不會在 5 年的時間里發生,不過三到五年之后,更多人會擁有可以支持端側模型的手機,一批 AI 應用也將全面落地,AI 也將真正跨越鴻溝,走向生活。在這之后,新型終端形態也將走出原型階段,擁有早期使用者,為進一步普及打下基礎。
結語
在瓦特之前半個世紀,蒸汽機技術和相關理論已經成熟,然而瓦特讓蒸汽機終于能夠在生產中使用,并且將它推廣到了市場上。即便如此,又過了近半個世紀,蒸汽機在紡織廠普及,蒸汽輪船也開始成為河運主力,蒸汽機才真正「蠶食世界」。
當下時代,技術傳播與發展的時間周期大大縮短,但我們依然需要經歷每個階段。過去兩年里,我們見證了 AI 技術的爆發,未來五年,或許正式找到屬于 AI 的紡織廠和蒸汽輪船的時候。
iPhone 在美國誕生,不過移動互聯網最繁榮的市場之一是中國。或許未來五年,我們也能看到更多 AI 應用和場景的爆發,形成繁榮的中國 AI 應用生態。
服裝鞋帽RFID智能管理應用案例05月28日 18:24
鐵路運輸圖改變對我軍兵力運輸的影響05月26日 19:32
現代汽車物流管理案例:集中化物流管理05月25日 22:37
橙e網顛覆傳統供應鏈金融!這五個實戰案例別錯過!05月25日 21:41
握手互聯網+運輸吉祥餛飩率先構建“透明”供應鏈05月25日 17:32