盤古大模型,是華為旗下的盤古系列AI大模型,由華為云、循環(huán)智能和鵬城實驗室聯(lián)合開發(fā),研發(fā)首席科學家為田奇。包括盤古NLP大模型、CV大模型、多模態(tài)大模型、預(yù)測大模型、科學計算大模型五類。于2021年4月正式對外發(fā)布。
2024年4月11日,華為宣布,首次將盤古大模型加持的AI功能搭載至MateBook X Pro上,這是PC首次應(yīng)用華為盤古大模型。2024年4月25日,華為官宣于6月21日-23日在東莞松山湖舉行華為開發(fā)者大會(HDC 2024),據(jù)悉本屆HDC上盤古大模型5.0與HarmonyOS NEXT 鴻蒙星河版將首次同臺亮相。2024年6月21日,華為開發(fā)者大會(HDC)正式開幕,帶來了全新的 HarmonyOS NEXT、盤古大模型5.0、昇騰AI云服務(wù)、GaussDB數(shù)據(jù)庫等最新科技創(chuàng)新成果。
發(fā)展歷程
2020年3月,曾在德克薩斯大學圣安東尼奧分校計算機系任教17年的田奇加入華為云團隊,并開始組建華為云的人工智能模型團隊,并進行了其發(fā)展方向的梳理。同年9月,在迎來了一系列專家后,團隊開始推動盤古大模型項目的立項,以期能夠在華為云的基礎(chǔ)上,完成適配各大產(chǎn)業(yè)AI開發(fā)的大模型。11月,該項目在華為云內(nèi)部正式立項,并完成了與合作伙伴、高校的合作對接。
2021年4月,盤古大模型正式對外發(fā)布。包括NLP(自然語言處理)、CV(機器視覺)和科學計算大模型;后續(xù)又發(fā)布了礦山、藥物分子、氣象、海浪等行業(yè)大模型。
2023年7月7日至9日,華為開發(fā)者大會 2023 (Cloud) 大會在東莞舉辦。華為常務(wù)董事、華為云CEO張平安在大會上宣布,華為云盤古大模型3.0正式發(fā)布。盤古大模型3.0是完全面向行業(yè)的大模型,包含L0基礎(chǔ)大模型、L1行業(yè)大模型及L2場景模型三層架構(gòu),重點面向政務(wù)、金融、制造、醫(yī)藥、礦山、鐵路、氣象等行業(yè)。同時,盤古大模型首次明確定位,即“為行業(yè)而生”;盤古基礎(chǔ)大模型的全棧創(chuàng)新和行業(yè)大模型的“煉成術(shù)”首次對外公布,華為云盤古大模型也做出重大升級。
2023年7月18日,華為聯(lián)合山東能源集團宣布華為盤古大模型在礦山領(lǐng)域?qū)崿F(xiàn)首次商用,解決人工智能在礦山領(lǐng)域落地難的問題。9月22日,在華為全聯(lián)接大會上,華為云全球生態(tài)部總裁康寧宣布,華為云計劃以昇騰AI云服務(wù)為算力底座,以盤古大模型聯(lián)合創(chuàng)新為基礎(chǔ),以模型社區(qū)和全面升級的云學堂為雙引擎,攜手伙伴、開發(fā)者合作共建“百模千態(tài)”,讓AI重塑千行萬業(yè)。截至當日,超過21000家華為客戶、伙伴申請盤古測試。
2024年4月11日,在華為鴻蒙生態(tài)春季溝通會上,全新的華為MateBook X Pro發(fā)布,華為常務(wù)董事、終端BG CEO余承東表示,這是PC首次應(yīng)用華為盤古大模型,可生成“AI概要”場景模型。同月28日,2024湖南省先進制造業(yè)應(yīng)用場景對接會上,湖南鋼鐵集團、中國移動湖南分公司、華為聯(lián)合打造的鋼鐵行業(yè)盤古大模型應(yīng)用進行全球首發(fā)。6月21日,在華為開發(fā)者大會2024上,華為常務(wù)董事、華為云CEO張平安發(fā)布盤古大模型5.0,其在全系列、多模態(tài)、強思維三個方面全新升級。華為盤古大模型5.0包括十億級、百億級、千億級、萬億級等不同參數(shù)規(guī)模,提供盤古自然語言大模型、多模態(tài)大模型、視覺大模型、預(yù)測大模型、科學計算大模型等。 2025年5月20日,華為云拉丁美洲COMPASS 2025大會在東莞舉行。會上,華為云推銷理論部部長董理斌宣布,華為云盤古西班牙語及葡萄牙語NLP大模型計劃于2025年第三季度正式發(fā)布,同時,華為云CodeArts Pangu Doer也計劃在Q3上線。8月,華為開源三款盤古大模型,三款盤古模型分別為openPangu-Embedded-1B-model、openPangu-Ultra-MoE-718B-model和openPangu-Embedded-7B-model。這些模型均基于昇騰NPU進行訓(xùn)練,并在Gitcode平臺上提供了下載鏈接。
設(shè)計原則
一是模型要大,可吸收海量的數(shù)據(jù);二是網(wǎng)絡(luò)結(jié)構(gòu)要強,能夠真正發(fā)揮出模型的性能;三是要具有優(yōu)秀的泛化能力,可以真正落地到各行各業(yè)的工作場景。
產(chǎn)品優(yōu)勢
首先,盤古大模型擁有機器視覺模型,回到NLP領(lǐng)域中,在盤古大模型的研發(fā)過程中,開發(fā)團隊考慮到在真實的產(chǎn)業(yè)場景中有大量的內(nèi)容理解需求,比如客服、智能對話等,為盤古大模型設(shè)計了兼顧架構(gòu),且同時能高度完成理解與生成的任務(wù)。
從具體的技術(shù)差異來看,盤古大模型提升了復(fù)雜場景下的小樣本學習能力,使小樣本的學習效率提升了一個數(shù)量級;在微調(diào)能力上,盤古擁有良好的數(shù)據(jù)吸收及理解能力,可以在真實行業(yè)場景中實現(xiàn)模型應(yīng)用效率的提升;盤古大模型也有較強的行業(yè)知識的集成能力,其采用更靈活的模塊設(shè)計,能夠根據(jù)業(yè)務(wù)場景的適配,提升行業(yè)知識的吸收效率。
其次,盤古大模型還是一個天然瞄準AI工業(yè)化、現(xiàn)實場景的項目。在立項初期,研發(fā)團隊就與合作伙伴進行了一系列商業(yè)化驗證,以此來確保盤古大模型走入真實產(chǎn)業(yè)場景后的效率及適應(yīng)能力。這也是盤古大模型的一大差異化特點,它并非為實驗室而造,而是將工業(yè)化的一面放置在更高的優(yōu)先級上,是一個以商業(yè)價值驅(qū)動研發(fā)創(chuàng)新的“實干模式”大模型。
與其他預(yù)訓(xùn)練大模型的另一個不同點在于,華為團隊在研發(fā)過程中始終將生態(tài)化、協(xié)同創(chuàng)新納入考量。因此,盤古大模型是一個開放、可生長的產(chǎn)業(yè)實體,可以在各個環(huán)節(jié)引入生態(tài)合作伙伴、高??蒲袌F隊,以及不同領(lǐng)域AI開發(fā)者的力量。以此確保了盤古大模型融入產(chǎn)業(yè)鏈條、搭建生態(tài)化合作的能力。
主要模型
盤古NLP大模型
盤古NLP大模型可用于內(nèi)容生成、內(nèi)容理解等方面,并首次使用Encoder-Decoder架構(gòu),兼顧NLP大模型的理解能力和生成能力,保證了模型在不同系統(tǒng)中的嵌入靈活性。在下游應(yīng)用中,僅需少量樣本和可學習參數(shù)即可完成千億規(guī)模大模型的快速微調(diào)和下游適配。盤古提出了自適應(yīng)快慢思考合一的技術(shù),通過構(gòu)建難度感知的快慢思考數(shù)據(jù)和兩階段漸進訓(xùn)練,實現(xiàn)模型根據(jù)問題難易程度自適應(yīng)地切換快慢思考,簡單問題敏捷回復(fù),復(fù)雜問題深度思考,整體模型推理效率提升8倍。2019年權(quán)威的中文語言理解評測基準CLUE榜單中,盤古NLP大模型在總排行榜及分類、閱讀理解單項均排名第一,刷新三項榜單世界歷史紀錄;總排行榜得分83.046,多項子任務(wù)得分業(yè)界領(lǐng)先,是最接近人類理解水平(85.61)的預(yù)訓(xùn)練模型。
盤古CV大模型
盤古CV大模型可用于分類、分割、檢測方面,也是首次實現(xiàn)模型按需抽取的業(yè)界最大CV大模型,首次實現(xiàn)兼顧判別與生成能力?;谀P痛笮『瓦\行速度需求,自適應(yīng)抽取不同規(guī)模模型,AI應(yīng)用開發(fā)快速落地。使用層次化語義對齊和語義調(diào)整算法,在淺層特征上獲得了更好的可分離性,使小樣本學習的能力獲得了顯著提升,達到業(yè)界第一。
盤古氣象大模型
盤古氣象大模型實現(xiàn)天氣預(yù)報精度首次超過傳統(tǒng)數(shù)值方法,速度提升1000倍,提供秒級天氣預(yù)報,例如重力勢、濕度、風速、溫度,氣壓等變量的1小時-7天預(yù)測。借助創(chuàng)新的3DEST網(wǎng)絡(luò)結(jié)構(gòu)以及分層時間聚合算法,盤古氣象大模型在氣象預(yù)報的關(guān)鍵要素(例如,重力勢、濕度、風速、溫度等)和常用時間范圍上(從一個小時到一周)精度均超過當前最先進的預(yù)報方法,同時速度相比傳統(tǒng)方法提升1000倍以上。
openPangu-Embedded-1B
openPangu-Embedded-1B是一個專為端側(cè)設(shè)備運行設(shè)計的高效語言模型,它采用了26層Dense架構(gòu),并訓(xùn)練了約10T tokens。該模型在保持端側(cè)運行要求的同時,能夠達到較高的精度。
openPangu-Ultra-MoE-718B
openPangu-Ultra-MoE-718B是一個混合專家語言模型,其總參數(shù)量高達718B,激活參數(shù)量為39B,訓(xùn)練了約19T tokens,并具備快慢思考融合能力。
openPangu-Ultra-MoE-718B
openPangu-Ultra-MoE-718B在架構(gòu)上采用了多種創(chuàng)新設(shè)計,如Multi-head Latent Attention(MLA)、Multi-Token Prediction(MTP)以及大稀疏比等,以提升模型的性能和訓(xùn)練效率。該模型還通過Depth-Scaled Sandwich-Norm和TinyInit等技術(shù)手段,提升了訓(xùn)練的穩(wěn)定性。
所獲榮譽
2021年,盤古大模型獲世界人工智能大會“SAIL之星”獎;2022年3月,2021 年度“深圳市人工智能獎”公布,華為云盤古大模型榮獲深圳人工智能科技進步獎。
2024年,2024信創(chuàng)500強榜單發(fā)布,盤古大模型排名第197位。
相關(guān)事件
2025年7月,一項發(fā)布于GitHub的研究引發(fā)業(yè)界熱議,該研究的作者認為盤古大模型與阿里巴巴集團發(fā)布的通義千問Qwen-2.5 14B模型在參數(shù)結(jié)構(gòu)上存在“驚人一致”。該作者通過實證比較,發(fā)現(xiàn)盤古大模型與Qwen-2.5 14B模型在注意力參數(shù)分布上的平均相關(guān)性高達0.927,遠超其他模型對比的正常范圍。網(wǎng)友們認為,這可能意味著盤古大模型存在抄襲。盤古大模型團隊在GitHub中進行了回應(yīng),否認抄襲指控,并且認為該作者的評估方法不科學。針對此事,截至7月4日20時,華為官方暫未置評。7月5日下午,華為諾亞方舟實驗室在官方平臺發(fā)布聲明表示,盤古Pro MoE開源模型是基于昇騰硬件平臺開發(fā)、訓(xùn)練的基礎(chǔ)大模型,并非基于其他廠商模型增量訓(xùn)練而來。盤古Pro MoE開源模型部分基礎(chǔ)組件的代碼實現(xiàn)參考了業(yè)界開源實踐,涉及其他開源大模型的部分開源代碼。團隊嚴格遵循開源許可證的要求,在開源代碼文件中清晰標注開源代碼的版權(quán)聲明。這不僅是開源社區(qū)的通行做法,也符合業(yè)界倡導(dǎo)的開源協(xié)作精神。
參考資料 >
跨越AI開發(fā)天塹:華為云盤古大模型的故事.華為云.2023-06-27
華為云發(fā)布全球最大預(yù)訓(xùn)練模型,開啟工業(yè)化AI開發(fā)新模式.華為云.2023-10-21
華為云Stack 8.5.0 解決方案描述 04.華為.2025-07-10
“盤古”開天記,AI落地時.華為.2023-06-27
華為MateBook X Pro首次應(yīng)用華為盤古大模型.北京商報-今日頭條.2024-06-23
盤古大模型首次應(yīng)用于PC,華為余承東:輕舟已過萬重山.第一財經(jīng)-今日頭條.2024-04-12
華為開發(fā)者大會于6月21日召開,HarmonyOS NEXT開啟AI大模型時代OS新體驗.華為開發(fā)者官網(wǎng).2025-03-19
華為盤古大模型將于7月7日在開發(fā)者大會上公布重大升級.IT之家-今日頭條.2024-06-23
華為云正式發(fā)布盤古大模型3.0.今日頭條.2025-07-21
“不作詩,只做事”!華為:盤古3.0正式發(fā)布.騰訊網(wǎng).2025-03-19
?華為:盤古大模型將迎來重大升級.觀察者網(wǎng)-今日頭條.2024-06-23
華為開發(fā)者大會2023_HDC.Cloud2023.華為云.2023-10-02
華為云盤古大模型3.0正式發(fā)布 張平安:將重塑千行百業(yè).新京報-今日頭條.2024-04-12
科技早報|SHEIN回應(yīng)Temu指控其壟斷 三星或?qū)⑸a(chǎn)特斯拉下一代全自動駕駛芯片.界面新聞-今日頭條.2024-04-12
華為云將以盤古大模型為基礎(chǔ)與伙伴共建“百模千態(tài)”.界面新聞.2024-04-12
全球首發(fā)!湖南鋼鐵攜手湖南移動和華為發(fā)布全球首個鋼鐵行業(yè)大模型.全國黨媒信息公開平臺-今日頭條.2024-06-23
華為云盤古大模型5.0發(fā)布.界面新聞.2024-06-22
華為云發(fā)布盤古大模型5.0實現(xiàn)三大升級.光明網(wǎng)-今日頭條.2024-06-22
華為云董理斌:盤古西語及葡語NLP大模型將于Q3發(fā)布.百家號.2025-05-20
華為全面開源AI技術(shù):CANN與三款盤古大模型亮相.數(shù)據(jù)世界網(wǎng).2025-08-07
華為盤古大模型或4月上線,包括NLP大模型、CV大模型等.新浪財經(jīng)-百家號.2024-06-23
華為云盤古大模型榮獲深圳人工智能科技進步獎.鳳凰科技.2024-06-23
2024信創(chuàng)500強榜單出爐.微信公眾平臺.2025-01-08
網(wǎng)傳華為盤古大模型疑似抄襲通義千問,盤古團隊否認.百家號.2025-07-05
盤古團隊最新聲明:盤古Pro MoE開源模型是基于昇騰硬件平臺開發(fā)、訓(xùn)練的基礎(chǔ)大模型,并非基于其他廠商模型增量訓(xùn)練而來.騰訊網(wǎng).2025-07-05