1、基礎的生成算法模型是驅動AI的關鍵
2014年,伊恩·古德費洛(lanGoodfellow)提出的生成對抗網絡(GenerativeAdversarialNetwork,GAN)成為早期最為著名的生成模型。GAN使用合作的零和博弈框架來學習,被廣泛用于生成圖像、視頻、語音和三維物體模型。隨后,Transformer、基于流的生成模型(Flow-basedmodels)、擴散模型(DiffusionModel)等深度學習的生成算法相繼涌現。
Transformer模型是一種采用自注意力機制的深度學習模型,這一機制可按輸入數據各部分的重要性分配權重,可用于自然語言處理(NLP)、計算機視覺(CV)領域應用,后來出現的BERT、GPT-3、laMDA等預訓練模型都是基于Transformer模型建立的。
通過梳理全球主流大語言模型(LLM)的發展脈絡,2018年以來的GPT系列、LLaMA系列、BERT系列、Claude系列等多款大模型均發源于Transformer架構。
2、預訓練模型引發了AI技術能力的質變
預訓練模型是為了完成特定任務基于大型數據集訓練的深度學習模型,讓AI模型的開發從手工作坊走向工廠模式,加速AI技術落地。
2017年,Google顛覆性地提出了基于自注意力機制的神經網絡結構——Transformer架構,奠定了大模型預訓練算法架構的基礎。
2018年,OpenAI和Google分別發布了GPT-1與BERT大模型,意味著預訓練大模型成為自然語言處理領域的主流。
3、預訓練數據直接決定AI大模型性能
ScalingLaws:模型容量、數據量、訓練成本共同構成了大模型訓練的不可能三角。大模型訓練的目標是最大化模型性能,模型訓練成本(GPU的數量和訓練時間等)是受限的,因此一般通過增加數據集大小和增加模型中的參數量兩種途徑來提升模型性能。
附件:生成式人工智能行業專題研究:海外大模型篇,生成式AI加速創新,行業迎歷史性機遇

Matter協議的普及使得不同品牌的設備實現更好的互操作性,提升了消費者體驗;消費者需求正從基礎的家居自動化向高度智能化、個性化的方向轉變
大多數專業人士認為人工智能將對其職業生涯產生重大影響,市場對人工智能的看法總體積極;報告強調了人工智能在道德和監督方面的挑戰
報告指出了AI應用生態中的三類典型廠商策略:創新AI應用、構建AI開發層能力和布局AI Agent掌握用戶入口;分析了AI應用如何成為新時代的用戶入口
2027 年中國 AI 手機滲透率有望達 51.9%,出貨量有望達 1.5 億臺,2023-2027 年 CAGR 有望達 96.80%;有望拉動 SoC、存儲、散熱等上游產業鏈環節的需求增長
87%的企業已經或計劃在兩年內部署人工智能,83%的企業認為人 工智能將在未來2-5年內對企業的生產和 管理產生實際可見的影響
中國AI亞健康行業尚處發展初期,市場體量較 小,2018-2022年市場規模由1.5億元增加至6.7 億元,預計未來2023-2027年市場規模將由9.6 億元擴大至37.6億元
六成以上中小企業仍處于轉型早期階段,即處于單點嘗試階段和局部建設階段的企業分別占比32.4%和30.2%;制造業數字化轉型由于更為復雜
視頻模型Sora,意義不亞于ChatGPT發布;沿用LLM訓練思路:將高質量圖片/視頻進行降維,統一為patch進行訓練;模擬影響世界狀態的簡單行為
匯聚業界優秀的通用和專用大模型及能力,建立“多層次-多維度-多任務-多指標-多模式”的大模型評估體系,確保匯聚的大模型安全、優質、高效,推動大模型產業規范化發展
核心議題和規則:集中在數據治理、知識產權保護、倫理問題和信息內容治理上;確立敏捷治理理念,聚焦場景應用,促進全球人工智能合作治理體系建設
重要戰略技術趨勢收錄的創新技術可以幫助企業機構在創造價值的同時,構建強大能力并保障自身安全,適應AI的發展給客戶期望和業務模式帶來的新變化
點關注人工智能相關技術在廣泛 的企業服務領域所帶來的變革應用研究,將洞察中國AI技術如何為企業服務領域帶來發展與應用方面的升級和演變