隨著AI技術(shù)發(fā)展，大模型成為科技競爭新高地、產(chǎn)業(yè)新賽道、經(jīng)濟(jì)新引擎，我國視其為國家戰(zhàn)略，出臺政策扶持。大模型廣泛應(yīng)用，推動科技革命與產(chǎn)業(yè)變革，面臨發(fā)展挑戰(zhàn)需各界努力。

2023年大模型爆發(fā)，變革生產(chǎn)生活，國產(chǎn)大模型崛起。大模型與傳統(tǒng)行業(yè)融合，提升產(chǎn)業(yè)效率；賦能金融、醫(yī)療等，助力新質(zhì)生產(chǎn)力發(fā)展。大模型需政策法規(guī)保障，促進(jìn)健康發(fā)展，服務(wù)各行業(yè)，注入發(fā)展新動能。

2024年，多重因素推動大模型發(fā)展，政府支持、用戶需求增長、科技投入增加。面臨算力分散、結(jié)構(gòu)最優(yōu)疑問、數(shù)據(jù)稀缺等挑戰(zhàn)。趨勢上，基礎(chǔ)模型訓(xùn)練公司或減少，更多公司尋找應(yīng)用場景。v

第一章：中國AI大模型產(chǎn)業(yè)發(fā)展背景

1.1 政策驅(qū)動力

我國重視AI發(fā)展，發(fā)布多項(xiàng)政策，如《新一代人工智能發(fā)展規(guī)劃》。地方政府出臺政策，加快大模型發(fā)展。北京推動技術(shù)創(chuàng)新，上海打造國際競爭力大模型，深圳支持開源通用大模型，安徽吸引企業(yè)入駐，成都重點(diǎn)研發(fā)行業(yè)大模型，杭州支持頭部企業(yè)關(guān)鍵技術(shù)攻關(guān)。

2023 年以來我國各地出臺的大模型產(chǎn)業(yè)相關(guān)政策

1.2 AI大模型產(chǎn)業(yè)發(fā)展技術(shù)驅(qū)動力

近年來，AI大模型快速發(fā)展，由語言大模型引領(lǐng)。語言大模型經(jīng)海量無標(biāo)注數(shù)據(jù)預(yù)訓(xùn)練，獲得多任務(wù)通用求解能力。

2017年，Google推出Transformer架構(gòu)，奠定大模型預(yù)訓(xùn)練基礎(chǔ)。2018年，GPT-1與BERT發(fā)布，預(yù)訓(xùn)練大模型成主流。

2022年，ChatGPT展現(xiàn)強(qiáng)大自然語言交互與生成能力。2023年，GPT-4發(fā)布，具備多模態(tài)理解與內(nèi)容生成能力。2024年，Sora提出時空碎片和擴(kuò)散Transformer技術(shù)，多模態(tài)生成能力成熟。

本部分從Transformer架構(gòu)出發(fā)，梳理基于人類反饋強(qiáng)化學(xué)習(xí)、指令微調(diào)、提示學(xué)習(xí)等技術(shù)，體現(xiàn)技術(shù)對產(chǎn)業(yè)發(fā)展的帶動作用。

1.2.1 Transformer 架構(gòu)

Transformer 架構(gòu)是目前語言大模型采用的主流架構(gòu)，于 2017 年由 Google提出，其主要思想是通過自注意力機(jī)制獲取輸入序列的全局信息，并將這些信息通過網(wǎng)絡(luò)層進(jìn)行傳遞，Transformer 架構(gòu)的優(yōu)勢在于特征提取能力和并行計算效率。

Transformer 架構(gòu)主要由輸入部分、多層編碼器、多層解碼器以及輸出部分組成。其中，輸入部分包括源文本嵌入層、位置編碼器；編碼器部分由 N 個編碼器層堆疊而成；解碼器部分由 N 個解碼器層堆疊而成；輸出部分包括線性層和Softmax 層。

Transformer 架構(gòu)圖

自注意力機(jī)制作為 Transformer 模型的核心組件，其允許模型在處理序列數(shù)據(jù)時，對每個詞位置的輸入進(jìn)行加權(quán)求和，得到一個全局的上下文表示。

在計算自注意力時，模型首先將輸入序列進(jìn)行線性變換，得到 Q（查詢）、K（鍵）和 V（值）三個向量。

然后，通過計算 Q 和 K 的點(diǎn)積，并應(yīng)用 Softmax 函數(shù)，得到每個位置的權(quán)重。最后，將權(quán)重與 V 向量相乘，得到自注意力的輸出。

為提高模型的表達(dá)能力，Transformer模型采用了多頭自注意力機(jī)制，這意味著模型在同一時間關(guān)注來自不同表示子空間的注意力信息。多頭自注意力的實(shí)現(xiàn)方法是將輸入序列分成多個組，每個組使用一個獨(dú)立的權(quán)重矩陣進(jìn)行線性變換，并計算自注意力。最終，自注意力的輸出被拼接起來，并通過一個線性層得到最終的輸出表示。

在計算自注意力和多頭自注意力之后，Transformer 模型使用前饋神經(jīng)網(wǎng)絡(luò)對輸入序列進(jìn)行變換。前饋神經(jīng)網(wǎng)絡(luò)由多個全連接層組成，每個全連接層都使用 ReLU激活函數(shù)。前饋神經(jīng)網(wǎng)絡(luò)的作用是對輸入序列進(jìn)行非線性變換，以捕捉更復(fù)雜的特征。

1.2.2 AI 語言大模型關(guān)鍵技術(shù)

AI 語言大模型關(guān)鍵技術(shù)主要涉及基于人類反饋強(qiáng)化學(xué)習(xí)、指令微調(diào)、模型提示等相關(guān)技術(shù)。

（1） 基于人類反饋強(qiáng)化學(xué)習(xí)

基于人類反饋強(qiáng)化學(xué)習(xí)(Reinforcement Learning from Human Feedback,RLHF)，是指將人類標(biāo)注者引入到大模型的學(xué)習(xí)過程中，訓(xùn)練與人類偏好對齊的獎勵模型，進(jìn)而有效指導(dǎo)語言大模型的訓(xùn)練，使得模型能夠更好地遵循用戶意圖，生成符合用戶偏好的內(nèi)容。

基于人類反饋強(qiáng)化學(xué)習(xí)具體包括以下幾個步驟：

1）訓(xùn)練監(jiān)督策略模型：使用監(jiān)督學(xué)習(xí)或無監(jiān)督學(xué)習(xí)的方法，對一個預(yù)訓(xùn)練的語言模型進(jìn)行訓(xùn)練，通過給予特定獎勵或懲罰引導(dǎo) AI 模型的行為，使其能夠根據(jù)給定的輸入預(yù)測輸出或行為。

2）訓(xùn)練獎勵模型：讓標(biāo)記員參與提供有關(guān)模型輸出結(jié)果的反饋，對模型生成的多個輸出或行為的質(zhì)量或正確性進(jìn)行排名或評分，這些反饋被轉(zhuǎn)換為獎勵信號，用于后續(xù)的強(qiáng)化學(xué)習(xí)過程。

3）采用近端策略優(yōu)化進(jìn)行強(qiáng)化學(xué)習(xí)：先通過監(jiān)督學(xué)習(xí)策略生成近端策略優(yōu)化（PPO）模型，經(jīng)過獎勵機(jī)制反饋?zhàn)顑?yōu)結(jié)果后，再將結(jié)果用于優(yōu)化和迭代 PPO模型參數(shù)。具體而言，在 PPO 模型訓(xùn)練過程中，智能系統(tǒng)通過嘗試不同的行為，并根據(jù)每個行為獲得的獎勵來評估其質(zhì)量，智能系統(tǒng)逐步改進(jìn)行為策略。

基于人類反饋強(qiáng)化學(xué)習(xí)示意圖

（2）指令微調(diào)

指令微調(diào) (Instruction Tuning) 是幫助語言大模型遵循人類指令，泛化至未知任務(wù)的學(xué)習(xí)方法。其特殊性在于使用（指令，輸出）對的數(shù)據(jù)集進(jìn)行訓(xùn)練，以增強(qiáng)LLMs的能力和可控性。指令微調(diào)可視作有監(jiān)督微調(diào)的一種變體，但更側(cè)重于讓模型理解和遵循人類指令。

（3）模型提示

模型提示技術(shù)利用語言大模型的潛在能力，通過設(shè)計合適的語言指令提示來激發(fā)特定任務(wù)的能力。典型技術(shù)包括指令提示和思維鏈提示。指令提示提供額外上下文，重組任務(wù)以貼近預(yù)訓(xùn)練場景；思維鏈提示則激發(fā)多步推理能力，形成〈輸入，思維鏈，輸出〉結(jié)構(gòu)，提高模型可解釋性。

1.3 中國AI大模型產(chǎn)業(yè)發(fā)展市場驅(qū)動力

中國AI大模型產(chǎn)業(yè)發(fā)展受多領(lǐng)域需求驅(qū)動，如辦公、制造、金融等，旨在降本增效、提高效率和降低風(fēng)險。這些領(lǐng)域的創(chuàng)新推動AI大模型產(chǎn)業(yè)蓬勃發(fā)展，預(yù)示廣闊市場前景。

1.3.1 辦公場景

大模型結(jié)合傳統(tǒng)軟件，滿足文案生成、PPT美化等需求，通過自然語言交互實(shí)現(xiàn)智能化辦公。智能文檔、演示、表格等工具，極大提高辦公效率。智能會議則在策劃、翻譯、記錄等環(huán)節(jié)提供支持，優(yōu)化會議流程。

1.3.2 制造場景

AI引領(lǐng)制造行業(yè)變革，大模型結(jié)合EDA/CAE/CAD等工具提升研發(fā)設(shè)計效率，助力數(shù)字孿生和機(jī)器人，強(qiáng)化感知和執(zhí)行任務(wù)能力。

第二章 百舸爭流：中國 AI 大模型產(chǎn)業(yè)現(xiàn)狀及典型案例

2.1 AI 大模型主要特征

AI 大模型具有泛化性(知識遷移到新領(lǐng)域)、通用性(不局限于特定領(lǐng)域)以及涌現(xiàn)性(產(chǎn)生預(yù)料之外的新能力)特征。

以 ChatGPT 為代表的 AI 大模型因其具有巨量參數(shù)和深度網(wǎng)絡(luò)結(jié)構(gòu),能學(xué)習(xí)并理解更多的特征和模式,從而在處理復(fù)雜任務(wù)時展現(xiàn)強(qiáng)大的自然語言理解、意圖識別、推理、內(nèi)容生成等能力,同時具有通用問題求解能力,被視作通往通用人工智能的重要路徑。

AI 大模型的三大特征：泛化性、通用性、涌現(xiàn)性

2.2 AI 大模型主要類型

按照部署方式劃分，AI 大模型主要分為云側(cè)大模型和端側(cè)大模型兩類。云側(cè)大模型由于部署在云端，其擁有更大的參數(shù)規(guī)模、更多的算力資源以及海量的數(shù)據(jù)存儲需求等特點(diǎn)；端側(cè)大模型通常部署在手機(jī)、PC 等終端上，具有參數(shù)規(guī)模小、本地化運(yùn)行、隱私保護(hù)強(qiáng)等特點(diǎn)。

具體而言，云側(cè)大模型分為通用大模型和行業(yè)大模型；端側(cè)大模型主要有手機(jī)大模型、PC 大模型。從云側(cè)大模型來看，通用大模型具有適用性廣泛的特征，其訓(xùn)練數(shù)據(jù)涵蓋多個領(lǐng)域，能夠處理各種類型的任務(wù)，普適性較強(qiáng)。

行業(yè)大模型具有專業(yè)性強(qiáng)的特點(diǎn)，針對特定行業(yè)（如金融、醫(yī)療、政務(wù)等）的需求進(jìn)行模型訓(xùn)練，因而對特定領(lǐng)域具有更深的業(yè)務(wù)理解和場景應(yīng)用能力。從端側(cè)大模型來看，手機(jī)和 PC 大模型由于直接部署在設(shè)備終端，讓用戶體驗(yàn)到更加個性化和便捷的智能體驗(yàn)。

AI 大模型主要分為云側(cè)大模型和端側(cè)大模型兩類

當(dāng)前，我國 AI 大模型產(chǎn)業(yè)呈現(xiàn)蓬勃發(fā)展的態(tài)勢。伴隨多家科技廠商推出的AI 大模型落地商用，各類通用、行業(yè)以及端側(cè)大模型已在多個領(lǐng)域取得了顯著的成果，如在金融、醫(yī)療、政務(wù)等領(lǐng)域，AI 大模型已成為提升服務(wù)質(zhì)量和效率的重要手段。

中國 AI 大模型分類及典型案例

2.3 中國 AI 通用大模型典型案例

案例一：科大訊飛—訊飛星火認(rèn)知大模型

（1）大模型簡介：

訊飛星火是科大訊飛推出的新一代認(rèn)知大模型，通過自然對話理解用戶需求并執(zhí)行任務(wù)。它主要從人機(jī)交互、知識學(xué)習(xí)與內(nèi)容創(chuàng)作、提升數(shù)智化生產(chǎn)力三方面展現(xiàn)能力。具備文本生成、語言理解、知識問答等七大核心能力。

（2）大模型優(yōu)勢：

2024年1月，訊飛星火V3.5發(fā)布，七大能力全面提升。科大訊飛稱，其數(shù)學(xué)、語言理解能力超GPT-4 Turbo，代碼能力達(dá)GPT-4 Turbo的96%，多模態(tài)理解達(dá)GPT-4V的91%，其中語音多模態(tài)能力已超過GPT-4。

訊飛星火認(rèn)知大模型V3.5提升三大能力：人機(jī)交互更智能，知識學(xué)習(xí)與內(nèi)容創(chuàng)作更豐富，數(shù)智化生產(chǎn)力顯著增強(qiáng)。人機(jī)交互上，V3.5在語義理解、指令跟隨、情緒感知及擬人合成方面均有優(yōu)異表現(xiàn)。知識學(xué)習(xí)與內(nèi)容創(chuàng)作上，通過要素抽取、問題生成等底層能力提升，豐富智能體應(yīng)用。數(shù)智化生產(chǎn)力方面，模型在邏輯推理、時空推理、數(shù)學(xué)能力、代碼能力及多模態(tài)能力上均有顯著進(jìn)步。

大模型應(yīng)用方面，七大能力升級賦能多場景：情感分析、文本摘要提升語言理解能力；訊飛智文實(shí)現(xiàn)文檔、PPT一鍵生成；知識問答覆蓋生活、醫(yī)學(xué)、政策等領(lǐng)域；邏輯推理包括思維推理和科學(xué)推理；數(shù)學(xué)能力解決多種數(shù)學(xué)問題；代碼能力支持智能代碼生成、錯誤定位及測試數(shù)據(jù)生成；多模態(tài)能力實(shí)現(xiàn)圖片描述、問答及音視頻生成。

案例二：百度公司—文心一言大模型

（1）簡介：文心一言是百度的人工智能大語言模型，具備跨模態(tài)、跨語言能力，服務(wù)文學(xué)創(chuàng)作、文案創(chuàng)作、搜索問答等領(lǐng)域。具備理解、生成、邏輯、記憶四大能力。

（2）優(yōu)勢：文心大模型4.0在四大能力上顯著升級，理解、記憶提升顯著。能處理復(fù)雜提示詞、生成多樣內(nèi)容、解決邏輯難題、記住對話重點(diǎn)。能力提升源于算力優(yōu)化、數(shù)據(jù)體系建設(shè)、多階段對齊和可再生訓(xùn)練技術(shù)。

（3）應(yīng)用：文心大模型已應(yīng)用于文學(xué)創(chuàng)作、文案創(chuàng)作、搜索問答、多模態(tài)生成、數(shù)理邏輯推算等領(lǐng)域，提供高質(zhì)量服務(wù)。

案例三：阿里巴巴—通義千問大模型

（1）簡介：通義千問是阿里云研發(fā)的預(yù)訓(xùn)練語言模型，基于NLP技術(shù)，提供創(chuàng)意文案、辦公助理、學(xué)習(xí)助手等交互體驗(yàn)。具備中英文理解、數(shù)學(xué)推理、代碼理解等能力。

（2）優(yōu)勢：通義千問2.0在復(fù)雜指令理解、文學(xué)創(chuàng)作、通用數(shù)學(xué)、知識記憶、幻覺抵御等能力上顯著提升。中英文理解能力出色，數(shù)學(xué)推理能力在GSM8K測試中表現(xiàn)優(yōu)異。

第三章 中國AI大模型產(chǎn)業(yè)的挑戰(zhàn)

3.1 算力瓶頸制約大模型發(fā)展

AI大模型訓(xùn)練依賴高性能芯片，算力直接影響模型訓(xùn)練速度和質(zhì)量。GPT等大語言模型對算力要求更高。英偉達(dá)A100、H100是主流，但國內(nèi)GPU資源有限且性能不足。受管制影響，替代品A800也缺貨溢價。國產(chǎn)AI芯片雖在崛起，但與頂尖水平仍有差距，算力不足制約大模型發(fā)展。

3.2 Transformer架構(gòu)局限明顯

Transformer架構(gòu)消耗大量算力和內(nèi)存，計算量隨上下文長度平方級增長，存儲需求大。如1000億參數(shù)模型需400GB空間。

3.3 訓(xùn)練數(shù)據(jù)集需擴(kuò)展