智譜清言是由北京智譜華章科技有限公司推出的生成式AI助手,正式于2023年8月31日上線。2024年8月29日,智譜清言APP支持視頻通話功能。該助手基于智譜AI自主研發的中英雙語對話模型ChatGLM2,經過萬億字符的文本與代碼預訓練,并采用有監督微調技術,以通用對話的形式為用戶提供智能化服務??。智譜清言能在工作、學習和日常生活中為用戶解答各類問題并完成多種任務。它已具備通用問答、多輪對話、創意寫作、代碼生成以及虛擬對話等豐富能力,并計劃未來開放多模態等生成能力。截至2023年8月,智譜清言已在各大應用商店上線,包括蘋果公司商店App Store和Android主流商店。2025年1月,智譜清言的月活躍用戶數為702萬,居國內AI產品的第7位。截止于2025年2月25日,智譜清言在App Store的效率類版單中位于第19名。
智譜清言的發展歷史始于2021年,以ChatGLM系列模型的迭代為起點。起初,該系列基于GLM-130B模型,一個致力于提高中英雙語對話處理精確性和效率的模型。隨著ChatGLM系列的發展,尤其是ChatGLM2系列的推出與優化,使得智譜清言的技術基礎得到加強。2023年8月31日,智譜清言正式發布,作為基于ChatGLM2模型的AI助手,其結合了預訓練及有監督微調技術,提供包括問答、創意寫作、代碼生成等多項智能服務。此外,2023年10月中國計算機大會(CNCC)上推出的ChatGLM3為智譜清言帶來了進一步的技術增強,擴大了應用范圍并提高了性能。ChatGLM3的多模態理解、代碼生成執行及網絡搜索增強功能,使智譜清言在處理多樣化任務和場景時更為高效。
智譜清言,作為一款植根于ChatGLM2模型核心技術的AI助手,其在多個標準任務,如MMLU、C-Eval和GSM8K上,以其較為先進的性能、不錯上下文處理能力、以及較快的推理速度,贏得了廣泛關注。特別是ChatGLM3引入的AgentTuning技術之后,為智譜清言提供了更深入的智能規劃和執行能力,使其在多輪對話和內容創作等領域取得顯著進步。這主要體現在下載量和github星標數量的快速增長上。此外,得益于其實際應用潛力和適應性的驗證,多家企業和機構,包括聯想、中國民航信息網絡公司以及清華大學等,已經采納或與之建立了合作關系。
發展歷程
智譜清言的技術發展歷程是一個不斷迭代和創新的過程。主要過程可以總結為從GLM-130B的初步探索到ChatGLM系列模型的連續迭代,到后來基于ChatGLM2和ChatGLM3開發的智譜清言。因此,智譜清言的發展源自于智譜AI每個階段大模型的技術進步。
GLM-130B發布:技術突破
GLM-130B模型的開發始于2021年12月,在清華大學知識工程實驗室的一次內部頭腦風暴會議上提出。當時的目標是開發一個高精度的雙語(中文/英文)模型,并將其開源。項目初期面臨計算資源的缺乏,但在2022年1月,智譜AI提供了必要的計算資源支持。隨后,項目團隊在技術開發上遇到了諸多挑戰,包括頻繁的硬件故障、模型梯度爆炸、算法中的過多內存使用等問題。在清華PACMAN團隊的協助下,這些問題逐一得到解決,最終成功完成了GLM-130B模型的訓練。
ChatGLM亮相:對話模型新紀元
ChatGLM于2023年3月14日首次發布,是智譜AI基于GLM-130B模型的進一步創新。作為一款中英雙語對話模型,ChatGLM專注于提升對話處理能力。智譜AI開源了GLM系列模型的新成員——ChatGLM-6B,支持在單張消費級顯卡上進行推理使用,這是繼GLM-130B千億基座模型開源之后的又一項重要研究成果。ChatGLM-6B是一個開源的中英雙語問答對話語言模型,針對中文進行了優化。該模型基于General Language Model (GLM)架構,具有62億參數。經過約1T標識符的中英雙語訓練,輔以監督微調、反饋自助、人類反饋強化學習等技術的加持,ChatGLM-6B盡管規模不及千億模型,但大大降低了推理成本,提升了效率,并且能生成符合人類偏好的回答。
ChatGLM2推出:技術的進一步演進
ChatGLM2-6B于2023年6月25日推出,其為智譜AI與清華大學KEG實驗室在對話AI領域的合作成果。作為ChatGLM-6B的后續版本,ChatGLM2-6B在繼承前代模型特性的基礎上,進行了一系列的技術更新和優化。這些包括對模型性能的提升、上下文處理能力的擴展,以及推理速度的優化。此外,智譜AI和合作伙伴為推動AI技術的發展,將ChatGLM2-6B模型的權重完全開放,供學術研究和商業用途使用。
智譜清言上線:全新生成式AI助手
智譜清言的發展歷程標志著智譜AI在生成式AI助手領域的重大進展。該產品于2023年8月31日正式上線,基于智譜AI自研的中英雙語對話模型ChatGLM2。智譜清言通過預訓練和有監督微調技術,成為了一個能夠在多種場景中提供支持的智能助手。為用戶提供了一個多功能的、能在日常生活、學習和工作中提供幫助的AI助手。
ChatGLM3發布:基于ChatGLM2的模型再升級
在2023中國計算機大會(CNCC)上,智譜AI推出的ChatGLM3為智譜清言提供了強大的技術支撐,極大地拓寬了其應用范圍和性能。ChatGLM3的多模態理解能力、代碼生成和執行功能,以及網絡搜索增強,使得智譜清言在處理復雜任務和多元場景中表現出更高效的能力。2024年7月26日,AI生成視頻模型清影(Ying)上線智譜清言,30秒的時間可生成6秒視頻,自當日起所有C端用戶都能通過清影(Ying)體驗AI文生視頻和圖生視頻能力。特別是,ChatGLM3的AgentTuning技術賦予了智譜清言更加深入的智能規劃和執行能力,從而在多輪對話和內容創作等方面實現了質的飛躍。此外,智譜清言借助ChatGLM3的新技術,不僅提高了對話的流暢度和準確性,還在諸如圖像處理、數學計算等多樣化應用中展現了出色的性能,較大程度的提升了用戶體驗。
原理基礎
智譜清言作為智譜AI的先進AI語言處理工具,其背后的技術動力源自于ChatGLM3等大模型的加持。ChatGLM系列大模型,不僅在自然語言處理領域取得了顯著的進展,還在多模態理解和代碼生成等方面展現了突出的能力。這種能力的背后,離不開一種核心技術的支撐——Transformer模型。Transformer模型的獨特架構和自注意力機制為ChatGLM2的高級功能提供了理論基礎和技術框架。
Transformer模型
Transformer模型是自然語言處理領域的核心技術,首次出現于2017年的論文《Attention Is All You Need》。它采用自注意力機制,允許模型同時關注文本序列的所有部分,而不是逐個單元處理。這種方法優于傳統的循環神經網絡(RNN)和長短時記憶網絡(LSTM),特別是在處理長文本和捕捉長距離依賴方面。變壓器的并行處理能力提高了效率,解決了梯度消失問題,其編碼器-解碼器結構使其適用于多種復雜的語言處理任務,如機器翻譯和問答系統。
ChatGLM2與Transformer的關系
在ChatGLM2的開發過程中,Transformer模型的基礎架構被有效應用并進行了關鍵性的擴展,旨在適應復雜的多模態任務和代碼生成需求。這一發展過程中,ChatGLM2不僅維持了Transformer的核心優點,例如高效的并行處理和強大的上下文理解能力,同時也對模型的結構和訓練方法做了適當的創新與調整。這些改進和技術融合使得ChatGLM3在語言處理和多模態內容理解方面展現出優異性能,為智譜清言等應用提供了可靠的技術支撐。
功能與服務
通用問答
智譜清言在文本生成與創意寫作方面具有較強能力。其利用基于深度學習的大規模預訓練模型。智譜清言能夠生成多樣化的內容,包括廣告文案、故事、博客文章等,同時適應用戶的特定要求和風格偏好????。它的深度學習驅動的創意過程使其能夠理解和模仿不同的寫作風格,并進行主題研究和情感分析,從而提高內容的相關性和吸引力。此外,智譜清言還提供協作增強和創意輔助功能,幫助用戶進行創意決策和內容優化,預測內容的市場反響,并在多個行業中廣泛應用,尤其適用于需要快速產生高質量內容的場合。
多輪對話能力與知識檢索問答系統
智譜清言的多輪對話能力在2023年6月經歷了重大升級。智譜AI將其千億模型ChatGLM升級到第二代,這次升級顯著提高了性能表現。其中的一項關鍵改進是對上下文理解長度的擴展,現在可以處理長達32K字符的對話上下文,并且在推理速度上也取得了顯著的提升。這一升級使得智譜清言在多輪對話中表現出更加強大的性能,不僅能夠理解和回應長文本對話,還具備廣泛的知識儲備,涵蓋了科學、技術、歷史、文化、藝術、商業等多個領域的信息。
代碼生成與編程輔助
智譜清言的代碼生成與編程輔助功能是其重要特性之一。它能夠理解用戶需求的智能助手,并能夠在多方面為用戶提供有用的幫助,包括但不限于工作、學習、日常生活以及編程輔助。具體來說,智譜清言的代碼生成能力允許它支持100余種編程語言,能夠更快更精確地生成代碼。這一功能對程序員來說是極大的便利,可以有效提高編程效率和準確性。
多模態交互
智譜清言在多模態交互方面的顯著進步和創新得益于其背后的最新技術,特別是智譜AI開發的第三代基座大模型ChatGLM3。它實現了多項新功能,包括多模態理解能力的CogVLM(看圖識語義)。此外,其代碼增強模塊Code Interpreter能夠根據用戶需求生成并執行代碼,自動完成數據分析、文件處理等復雜任務。網絡搜索增強功能WebGLM則使得智譜清言能夠在互聯網上查找最新信息,并在回答時提供相關資料鏈接??。同時支持包括工具調用、代碼執行、游戲、數據庫操作、知識圖譜搜索與推理、操作系統等多種復雜場景??。使得智譜清言成為了國內首個具備代碼交互能力的大模型產品,支持圖像處理、數學計算、數據分析等多種應用場景??。
技術演進
智譜清言使用的核心模型ChatGLM2是基于General Language Model (GLM)架構的中英雙語對話語言模型,具有62億參數。這個模型的訓練涉及到了一系列較為先進的技術和策略,旨在提高其在中英文處理上的性能和對話生成的自然性。同時,智譜清言使用的核心模型ChatGLM2是基于ChatGLM-6B的進化版本,而ChatGLM-6B本身又是基于GLM-130B模型的發展。
GLM-130B:基礎框架
GLM-130B采用多種訓練技術,包括大規模語料庫預訓練、分布式訓練、混合精度訓練和優化器選擇,以提高訓練效率和性能。該模型基于Transformer架構,具備雙語處理能力,可處理多種任務。其獨特的技術特點包括豐富的語言知識積累、雙語編碼、高效的訓練和推理性能,以及靈活的適應性。
ChatGLM-6B:針對對話的優化
ChatGLM-6B是一個基于GLM-130B的大型語言模型,旨在提升文本生成和對話質量。該模型結合了多種訓練技術,如監督微調、反饋自助和人類反饋強化學習,使其能更好地理解和響應用戶需求,尤其在對話和問答方面。在架構上,ChatGLM-6B采用了高效的Transformer架構,優化了并行處理和長距離依賴關系的捕捉,使其適合處理復雜的語言理解和生成任務。此外,它在性能和多功能性方面表現卓越:在文本生成速度與GPT-3相當,GPU內存效率更高,能在小型GPU上部署。ChatGLM-6B通過大規模文本和代碼訓練,可以執行語言翻譯、創意內容生成等多種任務,并在glue基準測試中展示了先進性能。為提高部署效率,模型還進行了INT8和INT4量化,減少了對計算資源的需求,使其成為一個多功能、高效且易于部署的大型語言模型。
ChatGLM2:性能和效率的進一步提升
ChatGLM2-6B是基于ChatGLM-6B的進化版,繼承了GLM-130B的核心架構。它是專門為對話系統設計的中英雙語對話語言模型,擁有62億參數,使得ChatGLM2-6B在處理復雜的語言模式和對話結構方面具有顯著的能力。
訓練技術
ChatGLM2模型采用了GLM的混合目標函數進行預訓練,這種方法結合了自回歸和自編碼的優點,有助于模型更好地理解和生成自然語言。此外,模型經過了1.4T中英雙語標識符的預訓練,這種大規模的雙語數據訓練使得模型在中英文處理上都表現出色。為了進一步優化模型的對話生成能力,ChatGLM2還采用了人類反饋強化學習,使其生成的對話更符合人類的偏好和期望。
模型架構
ChatGLM2-6B是基于ChatGLM-6B的進化版,繼承了GLM-130B的核心架構。它是專門為對話系統設計的中英雙語對話語言模型。其擁有62億參數,使得ChatGLM2-6B在處理復雜的語言模式和對話結構方面具有強大的能力。
技術特點
ChatGLM2-6B基于GLM的混合目標函數和1.4T中英標識符的預訓練,模型性能在多個基準測試上有了明顯提升。為確保長對話的連貫性,ChatGLM2-6B利用FlashAttention技術,將上下文處理能力從2K擴展至32K。此外,通過引入Multi-Query Attention技術,其推理效率提高了42%,且在INT4量化的加持下,該模型在6G顯存下支持的對話長度從1K增至8K。相比于初代模型,ChatGLM2-6B在多個基準測試上的性能較為明顯,在MMLU、CEval、GSM8K、BBH等數據集上,性能提升分別為+23%、+33%、+571%、+60%。
ChatGLM3: 基于ChatGLM2的再升級
ChatGLM3是智譜AI推出的第三代基座大模型,其瞄向GPT-4V,實現了若干全新功能的迭代升級。該模型融合了獨創的多階段增強預訓練方法,結合了更為豐富和多元的訓練數據,以及更優化的訓練方案。這些集成的技術使得ChatGLM3在基礎架構上更為先進和強大。
訓練技術
通過深度優化,ChatGLM3的訓練采用了多階段增強的方法,確保了訓練的充分性和深入性。在44個中英文公開數據集的評測中,該模型在各項性能指標上的顯著提升。相較于ChatGLM二代模型,MMLU提升36%、CEval提升33%、GSM8K提升179%、BBH提升126%
模型架構
在原有架構的基礎上,ChatGLM3實現了技術上的多項升級。這些升級包括但不限于多模態理解能力、代碼增強模塊和網絡搜索增強功能。這些新加入的技術功能不僅增強了模型的語義理解能力,也提升了其邏輯處理能力,使得ChatGLM3在多樣化的應用場景中比上一代模型展現出更高的效能。
技術特點
ChatGLM3的技術特色主要體現在三大方面:其具備的多模態理解能力CogVLM,可以實現對圖像等多元信息的深度解讀,不僅可以回答各種類型的視覺問題,還能完成復雜的目標檢測并打上標簽,或者自動數據標注;借助代碼增強模塊Code Interpreter,ChatGLM3擁有了代碼生成和執行的能力,這一功能可自動根據用戶需求生成代碼并執行,可用于完成數據分析、文件處理等復雜任務;最后,網絡搜索增強WebGLM能夠讓模型能夠充分利用網絡資源,從而提供更準確、更貼切的回答。這些功能的整合提升了ChatGLM3的語義和邏輯處理和處理多元復雜任務的能力。ChatGLM3 集成了智譜AI自主研發的 AgentTuning 技術,激活了模型的智能體功能,特別是在智能規劃和執行方面,相較于 ChatGLM2 提升了 1000%。此外,它還支持國產大模型的原生功能,如工具調用、代碼執行、游戲、數據庫操作、知識圖譜搜索與推理、操作系統等復雜場景的操作。
市場表現和用戶反饋
智譜清言是一款基于大規模語料庫訓練的語言模型,旨在為用戶提供高效、智能的語言服務。在市場上,智譜清言展現出一定的優勢和競爭力。首先,智譜清言在情感分析方面表現良好,能夠準確捕捉和反饋用戶的情感。其次,智譜清言具備正確的代碼執行能力,能夠按照用戶的要求準確執行編寫的代碼。然而,智譜清言也存在一些局限性。在信息搜索方面,智譜清言獲取實時數據的能力有待提升,這可能會影響其為用戶提供最新信息的能力。此外,在法律等專業領域,智譜清言在處理專業信息時存在失實問題,需要進一步改進和優化。智譜清言在蘋果應用商店中獲得的用戶評價較為正面,其評分達到4.8分。用戶主要評論集中在稱贊其在界面、反應速度和邏輯清晰度等方面,或者稱贊其在工作、學習和健康生活等領域能夠提供有效幫助。雖然英語語法和圖像生成有待提高,但它在理工科解題和編程方面表現出色。用戶還提到,它在文案任務完成度高,能提升工作效率。此外,其在營銷工作中的靈感提供也受到好評。
相關合作
參考資料 >
智譜AI.智譜AI.2023-11-29
首發|脫胎于清華大學計算機系,智譜AI完成過億元A輪融資.投資界.2023-12-06
智譜AI首款生成式AI助手“智譜清言” 上線.鳳凰科技.2023-12-15
智譜AI正式上線首款生成式AI助手“智譜清言”.騰訊網.2023-12-15
啟明星 | 智譜AI張鵬:我們不做中國的ChatGPT.新浪財經.2023-12-06
智譜AI推出第三代基座大模型.智譜AI.2023-12-15
智譜AI上線首款生成式AI助手智譜清言:基于中英雙語對話模型ChatGLM2,支持100余種編程語言_生成式 AI_凌敏_InfoQ精選文章.InfoQ.2023-12-06
ChatGLM3全新基座大模型賦能智譜清言 國內獨家提供代碼交互能力的AI產品.騰訊網.2023-12-06
ChatGLM: 千億基座的對話模型開啟內測 ?對應單卡版本開源.chatglm blog.2023-12-15
GLM-130B:開源的雙語預訓練模型.知識工程研究室.2023-12-15
ChatGLM:千億基座的對話模型啟動內測,單卡版模型已全面開源.智譜AI.2023-12-15
ChatGLM-6B.GitHub.2023-12-15
國產對話模型ChatGLM啟動內測.清華大學.2023-12-15
4年百億估值,國產大模型創業TOP 1,清華造.騰訊網.2023-12-29
ChatGLM2-6B:性能大幅提升,8-32k上下文,推理提速42%.智譜AI.2023-12-15
ChatGLM2-6B.GitHub.2023-12-15
智譜AI新大模型來襲:部署價格大降50%,免費商用,做應用能力逼近GPT3.5 | 最前線-36氪.36氪.2023-12-06
清華系ChatGLM3現場懟臉演示,多模態直逼GPT-4V,國產Code Interpreter來了-36氪.36氪.2023-12-06
首批國產大模型上線 備案制管理將加速激活行業生態.上海證券報.2023-12-06
四面出擊的智譜:這家最像OpenAI的中國公司在干什么.騰訊網.2023-12-06
“智譜清言”正式上線,全自研模型打造生成式AI助手.AI云資訊.2023-12-06
“智譜清言”正式上線,全自研模型打造生成式AI助手.投資界.2023-12-06
GLM.GitHub.2023-12-15
大模型技術實踐(一)|ChatGLM2-6B基于UCloud UK8S的創新應用.搜狐網.2023-12-15
InstructEval Models Explained, ChatGLM-6B.accubits.2023-12-16
5款主流國產大模型PK:誰最好用?誰更懂你?我們幫你試了試.騰訊網.2023-12-06
智譜清言-工作生活學習AI助手 評分及評論.App Store.2023-12-05
智譜AI完成數億元B輪融資,持續打造高性能千億級普惠大模型.智譜AI.2023-12-15
360 將推千億級大語言模型 360GLM:與智譜 AI 合作,號稱打造中國的“微軟 + OpenAI”組合.IT之家.2023-12-15
竹間智能、中科曙光和智譜AI達成戰略合作,“加速”通用人工智能在企業落地的到來.環球網.2023-12-06
思美傳媒:與智譜華章戰略合作 探討智譜大模型商業化落地模式.今日頭條.2023-12-06
美團在大模型領域再出手,入股智譜華章,后者估值超5億美元.今日頭條.2023-12-06