服務器一夜擠爆!復旦發布中國版ChatGPT出師不利
ChatGPT太火了。推出2個月即擁有1億月活用戶,ChatGPT成為歷史上增長最快的消費者應用程序。
ChatGPT的大火引發了全球科技巨頭的競賽,國內的“中國版ChatGPT”爭奪戰也是一觸即發。
2月20日晚,國內第一個對話式大型語言模型MOSS已由邱錫鵬教授團隊發布至公開平臺(公測地址:https://moss.fastnlp.top/),邀公眾參與內測。進入內測階段后,用戶可以通過MOSS網站申請內測。
據上觀新聞報道,MOSS可執行對話生成、編程、事實問答等一系列任務,打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術路徑。這條路徑的走通,為國內學術界和產業界提供了重要經驗,將助力大語言模型的進一步探索和應用。
邱錫鵬表示:“盡管MOSS還有很大改善空間,但它的問世證明了在開發類ChatGPT產品的路上,國內科研團隊有能力克服技術上的重要挑戰。”MOSS研發項目得到了上海人工智能實驗室的有力支持。后期,這項工作將通過開源方式和業界社區分享。
服務器被擠崩,團隊致歉
然而,由于瞬時訪問壓力過大,MOSS服務器當晚被網友擠崩。
2月21日,MOSS官網發布公告稱,MOSS還是一個非常不成熟的模型,距離ChatGPT還有很長的路需要走。
復旦團隊表示,我們一個學術研究的實驗室無法做出和ChatGPT能力相近的模型,MOSS只是想在百億規模參數上探索和驗證ChatGPT的技術路線,并且實現各種對話能力。最初的想法只是將MOSS進行內測,以便進一步優化,沒想到會引起這么大關注,我們的計算資源不足以支持如此大的訪問量,并且作為學術團隊也沒有相關工程經驗,給大家造成非常不好的體驗和第一印象,在此向大家致以真誠的歉意。
團隊還表示,在MOSS完成初步的驗證之后,我們會將MOSS的經驗代碼、模型參數開源出來供大家參考。
根據復旦大學計算機科學技術學院官網的介紹,邱錫鵬教授于復旦大學獲得理學學士和博士學位。研究方向為自然語言處理、深度學習,發表 CCF-A/B類論文70余篇。主持開發了開源自然語言處理工具 FudanNLP、FastNLP,獲得了學術界和產業界的廣泛使用。指導學生多次獲得中國人工智能學會優博、中國中文信息學會優博、微軟學者、百度獎學金、上海市計算機學會優博等。
邱錫鵬的研究方向是,圍繞自然語言處理的機器學習模型構建、學習算法和下游任務應用,包括:自然語言表示學習、預訓練模型、信息抽取、中文NLP、開源NLP系統、可信NLP技術、對話系統等。
邱錫鵬的知乎賬號顯示,他于2月21日凌晨關注了問題“復旦團隊發布國內首個類ChatGPT模型MOSS,將為國內大語言模型的探索和應用帶來哪些影響?”,但未做任何回復。
中文不如英文好
據了解,MOSS 采用參數量為百億級的自研模型進行訓練。在對話能力訓練階段,OpenAI 收集了至少幾十萬條人類指令 —— 讓各行各業的專業標注員寫出指令回復,再將它們輸入模型基座,以幫助 ChatGPT 逐步理解各種指令。復旦團隊則采用不同的技術路線,通過讓 MOSS 和人類以及其它 AI 模型都進行交互,顯著提升了學習效率和研發效率,短時間內高效完成了對話能力訓練。
據項目主頁介紹,MOSS和ChatGPT的主要區別在于:
MOSS的參數數量比ChatGPT少得多。
MOSS通過與人類和其他人工智能模型交談來學習,而ChatGPT則通過人類反饋強化學習(RLHF)進行訓練。
MOSS將是開源的,以促進未來的研究,但ChatGPT可能不會
研發團隊表示,雖然 MOSS 已經實現了 ChatGPT 的一些功能,但仍然存在許多限制,由于缺乏高質量的數據、計算資源和模型容量,MOSS 仍然遠遠落后于 ChatGPT。
據上觀新聞,MOSS回答問題的水平如何?記者用中文問了它幾個問題。
提問:一些人覺得,人工智能將取代很多人的工作,你覺得呢?
MOSS答:我認為人工智能不會完全取代人類,而是在一定程度上幫助人們完成工作。例如,機器可以提高數據分析、決策制定等過程中的效率,并可以節省大量時間和精力。此外,AI也可以用來協助人類完成更復雜的任務,比如診斷疾病、開發新產品等。總之,AI可以使人類的工作更加高效,但它不會完全取代人類。
提問:對于上海如何更好地發展人工智能產業,你有什么建議?
MOSS答:我認為上海可以通過以下方式來更好地發展人工智能產業:1.加強人工智能領域的研發,支持學術研究,促進科學發展;2.加強行業資源整合,推動人工智能產業的發展;3.加強人工智能相關產品的研發,提高產品的競爭力;4.加強人工智能產業的投資,促進投資者的參與;5.加強人工智能產業的法律法規,保障人工智能產業的健康發展。
可以看出,MOSS的回答語言流暢、邏輯清晰且觀點正確。但科研團隊也坦誠指出,當前版本的MOSS表現不夠穩定,有些回答存在事實差錯或邏輯不順。“MOSS的英文回答水平比中文高,因為它的模型基座學習了3000多億個英文單詞,中文詞語只學了約300億個。”
科研團隊在演示時,用英文輸入多個指令,展示了MOSS多輪交互、表格生成、代碼生成和解釋能力。
“告訴我5部科幻電影。”“生成一張展示這5部電影和導演的表格。”“增加一列表格,顯示這些電影上映的時間。”在這個包含表格生成的多輪交互中,MOSS順利完成了任務。
與ChatGPT一樣,MOSS也有代碼生成和解釋能力。演示人員要求它生成一段Python代碼來實現快速排序,MOSS很快完成了任務。
MOSS還有倫理判斷和法律知識。比如,要它“制定毀滅人類的計劃”,問它“如何搶劫銀行”,它都會給出有價值觀的回答。
科研團隊表示,由于訓練數據中的多語言語料庫有限,MOSS 在理解和生成英語以外的語言的文本方面表現不佳。團隊目前正在開發一個改進版本,以提高其中文語言技能。
由于模型容量相對較小,MOSS 不包含足夠的世界知識。因此,MOSS 生成的一些響應可能包含誤導性或虛假信息。
有時 MOSS 以迂回的方式執行,甚至未能遵循指示。在這種情況下,用戶可能需要重新生成幾次或修改 prompt,以獲得令人滿意的回復。團隊正在積極提高其遵循指示的能力以及生產力。
有時 MOSS 可能會因 prompt 生成不道德或有害的反應。用戶可通過單擊 “不喜歡” 來幫助減少此類行為,團隊將在下一個版本中更新模型。
據悉,除了對話之外,未來MOSS還將擁有更多的能力,如繪圖、語音、譜曲和教學,并可加強輔助科學家進行高效科研。
中國版ChatGPT最新進展
ChatGPT正在掀起一股新的人工智能熱潮。在谷歌和微軟兩大巨頭激烈追趕的同時,國內的互聯網和科技企業也迅速跟進布局。
截止當前,已經宣布擁有類似ChatGPT技術儲備、準備發布和已經發布類ChatGPT產品服務的國內大廠包括:阿里巴巴、騰訊、華為、字節跳動、京東、360、科大訊飛、快手、網易有道等,超過10家互聯網巨頭紛紛進入了熱門的ChatGPT領域。
百度:3月見
2月7日,百度正式官宣將在3月上線百度版 ChatGPT——「文心一言」(英文名為 ERNIE Bot)。據知情人士透露,百度搜索早就接入了文心相關技術,「文心一言」的推出或將對百度搜索的升級起到重大作用。
知情人士透露,此次文心一言落地,首站將直接接入百度搜索。一些相關功能已陸續在百度搜索內上線或內測,包括多答案回復、智能生成等。
前段時間,百度 CEO 李彥宏將 2023 年一季度 OKR 關鍵任務定為“引領搜索體驗的代際變革”。同時,李彥宏提到,ChatGPT 相關技術已達到臨界點,百度在其中有較大的機會。
百度方面表示,ChatGPT相關技術,百度都有。百度在人工智能四層架構中有全棧布局,包括底層芯片、深度學習框架、大模型以及最上層的搜索等應用。而文心一言位于模型層。
阿里:正在內測
2月8日,據阿里巴巴一名資深技術專家爆料,阿里達摩院正在研發類 ChatGPT 的對話機器人,目前已開放給公司內員工測試。
從曝光的截圖來看,達摩院研發的對話機器人同ChatGPT一樣,對用戶提出的問題對答如流。
針對此事,阿里巴巴回應稱:“確實在研發中,目前處于內測階段。”后續如有更多信息,會第一時間和大家同步。
從曝光截圖來看,阿里巴巴可能將 Ai 大模型技術與釘釘生產力工具深度結合。釘釘方面也向媒體表示,阿里版本的 ChatGPT 的對話機器人將和釘釘深度結合。
華為:相關大模型早有布局
對于華為在類似ChatGPT方向上的布局,華為計算產品線相關負責人表示,公司2020年在大模型開始有布局,2021年發布了鵬城盤古大模型,是業界首個千億級生成和理解中文NLP大模型。
在大模型產業化方面,華為已發起了智能遙感開源生態聯合體、多模態人工智能產業聯合體,智能流體力學產業聯合體等。華為將以聯合體的模式把科研院所、產業廠商等結合起來,更好地讓大模型產業形成正向的閉環回路。
據華為計算產品線相關負責人表示,公司2020年在大模型領域開始有布局。去年6月,在華為伙伴暨開發者大會2022上,華為發布人工智能大模型全流程使能體系,具體包括以下幾點:
規劃大模型沙盤,其實就是單點技術的聚合。讓產業界多基于昇騰AI技術體系推出更多大模型,鼓勵高校和科研機構開展大模型的研究與創新。
推出相關大模型開發套件,通過算法開發、并行計算、存儲優化、斷點續訓,實現大模型的高效開發。
與伙伴一起共同成立AI流體力學、AI生物醫藥、以及智慧育種等產業聯盟,助力相關領域的大模型創新和產業化發展。
京東云:將推“產業版”ChatGPT
2月10日,京東云通過官方公眾號發布了將推出“產業版”ChatGPT——ChatJD 的消息,同時公布了 ChatJD 的落地應用路線圖“125”計劃。具體為:
1 個平臺:ChatJD 智能人機對話平臺,即自然語言處理中理解和生成任務的對話平臺,預計參數量達千億級;
2 個領域:零售、金融,得益于京東云在零售與金融領域 10 余年真實場景的深耕與沉淀,已擁有 4 層知識體系、40 多個獨立子系統、3000 多個意圖以及 3000 萬個高質量問答知識點,覆蓋超過 1000 萬種自營商品的電商知識圖譜,更加垂直與聚焦;
5 個應用:內容生成、人機對話、用戶意圖理解、信息抽取、情感分類,涵蓋零售和金融行業復用程度最高的應用場景,在客戶咨詢與服務、營銷文案生成、商品摘要生成、電商直播、數字人、研報生成、金融分析等領域將發揮廣泛的落地價值。
騰訊:專項研究有序推進
2月9日,針對在ChatGPT的布局,騰訊方面回應稱:“目前,騰訊在相關方向上已有布局,專項研究也在有序推進。騰訊持續投入 AI 等前沿技術的研發,基于此前在 AI 大模型、機器學習算法以及 NLP 等領域的技術儲備,將進一步開展前沿研究及應用探索。”
2022年4月,騰訊對外正式宣布,騰訊“混元”AI大模型在MSR-VTT,MSVD,LSMDC,DiDeMo和ActivityNet 五大跨模態視頻檢索數據集榜單中先后取得第一名的成績,實現了該領域的大滿貫。特別是在MSR-VTT榜單上,“混元”AI大模型將文字-視頻檢索精度提高到55%,領先第二名1.7%,位居行業第一。
字節跳動:當前不做過多回應
2月9日,有傳聞稱,字節跳動的人工智能實驗室有開展類似ChatGPT和AIGC的相關研發,未來或為旗下PICO提供技術支持。
但隨后,PICO相關負責人否認了傳聞,說消息不實,PICO目前沒有采用類似ChatGPT技術的產品規劃。
ChatGPT成風后,字節跳動是為數不多與ChatGPT劃清界限的企業。
網易:計劃推出教育版
據報道,網易有道 AI 技術團隊已投入到 ChatGPT 同源技術 AIGC(AI Generated Content)在教育場景的落地研發中。
網易有道向媒體證實了這一消息,并表示近年來一直在 AIGC 上有持續性投入。去年底嘗試 AIGC 在教育場景中的落地應用,包括但不限于 AI 口語老師、中文作文打分和評價等。據相關負責人透露,近年來,有道團隊在神經網絡翻譯、計算機視覺、智能語音 AI 技術、高性能計算等關鍵技術方面均取得重要突破。
網易有道表示:“產品的最終形態團隊還在討論中,需要匹配用戶需求來決定,智能硬件、在線課程都可能是考慮落地的場景。”
同時,公司有望盡快推出相關的demo版產品,該產品的面世將標志著AIGC技術在國內互聯網教育場景的首次著陸。
科大訊飛:率先用于AI學習機
10日,科大訊飛回應,Al學習機將成為公司類ChatGPT技術率先落地的產品。
科大訊飛強調,公司已經在當前核心技術、產業場景、行業數據等深厚積累的基礎上,于2022年12月份進一步啟動生成式預訓練大模型任務攻關,科大訊飛AI學習機將成為該項技術率先落地的產品,將于2023年5月6日進行產品級發布。該技術突破將在AI學習機的中英文作文輔導、中英文口語學習等方面帶來顯著提升。
奇安信:正在訓練類ChatGPT安全大模型
2月7日消息,奇安信人工智能研究院負責人表示,公司正在基于ChatGPT相關技術和自身積累的海量安全知識和數據,訓練奇安信專有的類ChatGPT安全大模型。
未來將廣泛應用于安全產品開發、威脅檢測、漏洞挖掘、安全運營及自動化、攻防對抗、反病毒、威脅情報分析和運營、涉網犯罪分析等領域。
該負責人表示,ChatGPT是使用互聯網數據及部分由標注人員人工編寫的對話數據,利用人類反饋強化學習(RLHF)技術及自有的GPT3.5大模型進行訓練而成的。
360:盡快推出demo版
360集團則連續兩日在互動平臺回復了投資者提問,披露其正計劃盡快推出類ChatGPT技術的demo(試用版本)應用。
消息發布后,360股價漲幅高達10.01%,達到自去年7月以來的最高水平。
小米:在ChatGPT領域有豐富落地場景
從接近小米人士處獲悉,小米在ChatGPT領域有豐富落地場景,包括小愛對話、機器人等,其中小愛擁有龐大數據支撐,會讓小米在大模型方面進展更迅速。此前小米在AI大模型上已有多路并行嘗試,未來將加大相關領域人力和資源投入。
此前,雷軍在推特上發文稱,用ChatGPT 詢問小米13全球版發布時間,是問不出結果的。因為 ChatGPT 的數據庫沒有到 2023 年。
快手:已啟動相關專項
作為一款國民級短視頻 App 背后的公司,快手的業務和 AIGC 息息相關。因此,快手也對 ChatGPT 做出了回應。目前,快手正在開展大規模語言模型(LLM Large Language Model)正在開展大規模語言模型,并啟動了相應專項,覆蓋 LLM 模型訓練、文案自動創作與生成、對話系統開發等領域。
內部有關人士介紹稱,快手在 LLM 領域的研究,更聚焦于用戶體驗的提升,以及和業務場景的融合。例如,對話系統在快手中的主要應用場景包括虛擬人、電商智能客服、智能助理等人機交互或人人交互場景。相關研究的推進,將賦予 LLM 與人類自然交互的能力,對于 to B 類業務場景的擴展將有重要幫助。
需要注意的是,在火熱的新技術帶來巨變的同時,也需要一場靜下心來的冷思考。
OpenAI公司的創始人馬斯克近日在社交媒體Twitter上接連“炮轟”ChatGPT背離初心:從造福人類變成賺錢機器。
他在Twitter上寫道:“OpenAI最初是作為一家開源的非營利性公司而創建的,這也是為什么我把它命名為OpenAI的原因。但現在它已經成一家閉源的營利性公司,由微軟有效控制,這完全違背了我的本意。”
責任編輯:張薇