• “星火”的賭局
    來源:合肥網 責任編輯:李萌 分享到 2023-12-06 18:00:51

              

    人工智能的三次浪潮,都充斥著路線之爭。
    人工智能是這樣一個江湖:讓機器擁有智慧是人們共同的目標,但路徑卻大相徑庭。每隔十幾年就會有顛覆性的新技術問世。符號主義、聯結主義、行為主義各行其是,“劍宗”和“氣宗”在歷史上此消彼長,一著不慎走入岔道,就會粉身碎骨。但是粉身碎骨者卻不能蓋棺定論,隨著科學的進境,白骨又會重新站起,走向臺前,領一時風潮。
    因此,衡量一家AI公司的成色,不能光看財務報表上的研發支出,很關鍵的一條,是看它有沒有穿越周期的能力。就像西行的玄奘和大航海的哥倫布一樣,抵達只是尾聲,始終盯對羅盤才是第一要義。
    10月24日,科大訊飛董事長劉慶峰在合肥發布新版“星火”認知大模型。國務院發展研究中心國研經濟研究院的橫評報告顯示:新版大模型綜合能力超越ChatGPT(GPT-3.5),甚至在部分行業優于GPT-4 ,處于國內領先、國際一流的地位。
    與GPT-4比較,“星火”仍有差距。但是毫無疑問,科大訊飛已經拿到大模型時代的“入場券”,并矗立潮頭。劉慶峰認為:“星火”有信心在多個行業領域追上GPT-4。
    但僅僅在一年以前,Open AI發布ChatGPT之后的那一周,其實是科大訊飛面臨考驗的關鍵時刻。當真正重大的變化來臨的時候,時間的度量都發生了變化,你可以清晰地聽到秒針轉動的聲音,“那真是最漫長的一周”。





    2022年的11月30日,Open AI的 ChatGPT橫空出世。但很少有人意識到,通用人工智能這頭被困的雄獅已經從牢籠中闖出來了。一種與典型大學畢業生一樣具有“智力”的系統觸手可及。它聊天、搜索、翻譯,寫故事、寫代碼甚至是debug,在上線五天后就吸引到100萬用戶。


    在ChatGPT出現的那個瞬間,有關人工智能的道德爭議和路線之爭暫時停止了,另一個提問更加直接:ChatGPT意味著什么?

    在合肥高新區望江西路666號,這個問題同樣存在。

    科大訊飛園區內平行排布著五座大樓,“訊飛研究院”位于第四棟。這里門禁森嚴,公司內部人士也不能隨意進出,回字形長廊連接辦公區和會議室,論文、技術海報和研究路徑被貼在回廊的墻上,畫滿樹狀圖和公式的寫字板掛滿辦公區域,低調而又神秘。

    90后劉權是整個研究院最先注意到ChatGPT的人之一。他2017年加入科大訊飛,當他第一次點開ChatGPT的藍色簡約圖標時,多少還有點漫不經心。十分鐘之后,他的表情開始嚴肅起來。

    他問ChatGPT的前兩個問題平平無奇:你是誰?你能干什么?

    緊跟著,他扔給ChatGPT兩個“文本生成類”任務:寫一封郵件;模仿魯迅寫一篇文章。ChatGPT“啪啪啪啪就完成了”,“(它)完成的質量非常高?!?/section>

    他接著又拋出兩個開放問題:“菠菜和豆腐能放在一起吃嗎?”“如果我生病跌倒了怎么辦?”

    ChatGPT答完后,他已經完全被對面展示出的理解力所吸引。從2020年至2021年,劉權曾帶團隊獲得NLP領域5個國際權威評測冠軍。因此,在這個上午,他完全知道發生了什么——ChatGPT似乎突破了以往所有類似人機對話系統的瓶頸。

    他立刻抓起電話召集團隊:“我們趕快研究一下?!?/section>

    訊飛研究院 攝于2023年8月


    實際上,GPT在過去幾年內的任何進展,都被科大訊飛緊盯。

    訊飛認知智能領域的核心人物魏思很早就關注“Transformer 架構”這一NLP(自然語言理解)領域的重要架構。

    “Transfomer架構”是谷歌最重要的發明之一,它最初是山景城總部的研究人員在午餐時設計出來的。

    2017 年,隨著《Attention is All You Need》的重磅論文發表,Transformer 不僅嵌入在谷歌搜索和谷歌翻譯中,并且驅動著幾乎所有大型語言模型——包括谷歌的“Bard對話應用語言模型”和Open AI的“GPT模型”。

    兩者的訓練方法截然不同。魏思告訴記者:“簡單來說,Open AI的訓練思路是給出第一個字和第二個字,不停地讓機器去猜第三個字;而谷歌的訓練則是給出第一個字和第三個字,讓機器去猜中間那個字是什么?!?/section>

    GPT模型一開始在業界是個少數派。從GPT-1到GPT-3,都沒有多少人關注;相反,業界受到擁躉的是谷歌推出的對話應用語言模型Bard。

    GPT靠堆數據和算力“大力出奇跡”,優勢是后發的。2018 年,GPT-1推出時貌不驚人;2019 年,GPT-2 已經擁有15 億參數;2020 年, GPT-3已經擁有驚人的 1750 億參數,是世界上最大的自然語言生成模型。

    2020年GPT-3問世之后,安徽省相關領導曾經調研科大訊飛,討論要不要跟進大模型,也考慮過由安徽省牽頭搭建大算力平臺的構想。

    魏思至少參加過兩次調研會。但是分析和驗證過之后,結論是GPT-3效果并不好,因此做大模型的“時機尚不成熟”?!肮馐菢嫿ㄇ|參數大模型的算力投入就要十幾個億。投入這么大,但大規模預訓練的效果能到什么程度呢?只能有個基本效果,解決不了實際問題?!?/section>

    最后劉慶峰提了兩點:“保持有限投入;保證留在牌桌上”。

    從本質上來說,GPT還沒有“進化”出來,至少在細分領域上并不突出。魏思將其表述為“當時的算法并不能證明它足夠能做成?!?/section>

    因此,“算力”的背后是個“時機”的問題??拼笥嶏w2023年和華為打造大模型算力平臺“飛星一號”,是當機立斷的,而且從第一天就做好了“國產算力自主可控”的長期主義準備。

    劉慶峰后來復盤,當時不做、后面再做是科學的,“我們當時做,會浪費很多錢。但時機不到,效果不會太好?!?/section>

    但另一方面,在算力之外,科大訊飛在認知智能領域對算法和人才的儲備已歷時近十年,一刻都沒有放松過。

    2014年,科大訊飛就推出“超腦計劃”,并衍生出“超腦2030計劃”。在“超腦計劃”框架下,人工智能被寄希望于“懂各行各業知識,有通識和情感”。

    從2017年開始,“超腦”先是在全球首次通過了國家執業醫師資格考試,超過了96.3%參加考試的醫生;兩年后又在斯坦福大學發起的SQuAD機器英文閱讀理解比賽中首次超過人類平均水平;在去年艾倫研究院組織的OpenBookQA科學常識推理比賽中,又首次超過人類平均水平。


    實際上,“超腦計劃”一直試圖突破無監督學習和知識推理的關鍵算法。

    “我們一直在做跟谷歌Bard很像的事。過去幾年,訊飛研究院一直在搞無監督學習,只能說部分成功了,已經用到我們的產品里,有些還沒成功,現在還在做?!蔽核颊f。

    沒有這些技術儲備,一家公司想在短時期內復刻ChatGPT的“智慧涌現”,根本就是天方夜譚。

    但是,回到Open AI推出ChatGPT的那個時刻,一切又都是模糊不清的??拼笥嶏w面臨的選擇,首先是要不要做大模型?其次是,到底是谷歌,還是Open AI?如果要做,訊飛有沒有足夠的資源支撐?

    這些選擇決定了一家公司的興衰,乃至生死存亡。

    訊飛研究院首席科學家魏思


    當劉權正在召集人手之時,魏思和劉聰也在考慮同樣的事情。


    劉聰和魏思是同門師兄弟,兩人都來自大名鼎鼎的中科大語音及語言信息處理國家工程實驗室(下稱“中科大語音實驗室”)。劉慶峰也出自這間實驗室。

    劉聰后來擔任訊飛研究院院長;魏思是訊飛研究院首席科學家。魏思是2017年的《麻省理工科技評論》評出的“35歲以下創新35人”;劉聰是2018年的“35歲以下創新35人”。魏思對科學有獨特的鑒賞力,劉聰則喜歡給他加個框,“你做出來我才說你?!?。

    兩個人性格迥異。魏思是那種典型的科學家個性,桀驁不馴。當年實驗室每周都開組會,博士師兄們在上面講,本科生不敢插嘴。但是魏思不管,他操一口肥東口音的普通話,從后排站起來直接開噴,場面火爆。師兄稱他“一看就不是一個善茬”。

    另一方面,魏思擅長長時間的深入思考。他辦公室的書柜里擺著各種書籍,從歷史到心理學,閱讀口味十分寬泛。大二那年,他每天都蹲在圖書館看文學雜志,“把那一年全中國文學雜志的每一篇小說都看完了”。

    相對于魏思的“超脫”,劉聰相對“務實”。他在科大讀書時不愛上課,也不愛上自習,但是很會考試,他的作業一直是供全班同學Copy的“四個版本”之一。他愛交朋友,是個更注重平衡的科學家,一講起話來滔滔不絕,雄辯無礙。

    在ChatGPT發布后不久,劉聰就給劉權緊急電話溝通測試事宜。他在群里看到的各種信息都提示他:“ChatGPT的表現已經超出想象”。而在整個研究院層面,ChatGPT的出現已經使其進入戰時狀態?!斑@個時候的當務之急,就是趕緊下場去試,早點把結果拿到自己手中?!?/section>

    科大訊飛研究院院長劉聰在實驗室(左二)


    在劉聰看來,眼下的情勢似曾相識。

    十二年前,“深度學習”突然橫空出世,其顛覆性一點也不亞于大模型,訊飛也面臨著類似的選擇。

    2010年9月21日,受中科大信息科學技術學院院長李衛平邀請,日后鼎鼎大名的學者鄧力重回合肥,他和俞棟一起在科大西區電三樓西側的一間會議室內作了一個關于“深度學習”的學術報告。

    科大電三樓 攝于2023年6月1日

    兩年以前,鄧力和Geoffrey  Hinton的合作拉開序幕,他們一起用一種新的方法處理語音問題,而且取得了不錯的結果。

    這種新方法就叫做“深度學習”。

    但鄧力和Hinton的新方法并不被業界和學界接受。當年的“深度神經網絡”在所有人工智能算法里面是偏門中的偏門,被認為是歪門邪道,甚至是騙子。

    就連鄧力在微軟的老板——曾任卡內基梅隆大學計算機系系主任的Peter Lee都不支持他,認為Hinton的神經網絡“非?;闹嚒?。

    一直到2012年,鄧力在向微軟研究院資深研究者及公司高管講述深度學習進展時,依然被一位學者打斷:“神經網絡從未取得成功?!?/section>

    這名學者甚至走到了臺前,把鄧力筆記本電腦的投影連接線拔掉接到自己電腦上。屏幕上出現1969年出版的《感知機》一書封面,正是這本書對神經網絡的批判導致了神經網絡“失落的二十年”,這是任何一位神經網絡研究者都不愿觸及的“傷疤”。

    因此,鄧力的來訪,并不是學術明星式的“布道”,整個科大也沒有什么人工智能新技術浪潮來臨的氣氛。當年,為了避免人們對新方法的誤解,鄧力甚至不用DNN((Deep Neural Networks深度神經網絡),而使用DBN(Deep Belief Networks深度信任網絡),DNN是之后的事情。

    參加過那次講座的人們回憶,由于范圍比較窄,來聽的人不多?!艾F場只有稀稀落落的二三十個人,但真正能聽懂的人不多?!?/section>

    然而,出身中科大語音實驗室的一群年輕人參與了那場學術報告。他們都擁有另一個身份——供職于科大訊飛研究院。

    十三年后,鄧力回憶那次講座,他對那群年輕人印象深刻:“他們提出了很多尖銳的問題。Hinton關于深度學習最早的那兩篇文章他們一定看過,我也看過,但有些數學我沒有特別懂,這也是我邀請Hinton到微軟來的原因。但是那些年輕人所問跟我之前所思是一樣的,說明他們對文獻的理解已經達到我的水平,所受訓練也很有深度。這讓我有非常強的愿望跟他們繼續交流?!?/section>

    鄧力走后,當年訊飛研究院的院長胡郁決定,先“try”一下“深度神經網絡”再說。

    這一try是決定性的。在眼前一片迷霧的時候,當務之急不是觀望或者爭論,而是先走上幾步。


    科大訊飛有一個重要的價值觀:要做世界第一流的研究,首先要對所有東西都要Open?!安灰蟻砭驼fNo?!?br/>

    劉聰后來說:深度神經網絡這種東西沒什么理論,就是個工程。你要想用數學推出理論先進性來,不太可能?!澳憔蛯嵺`,做出來最優它就是最優?!?/section>

    劉聰后來找來師兄潘嘉,一個搭建系統,一個搞算法,整個團隊跳過相對簡單的數字字母識別等任務,開始嘗試深度學習的方法訓練真實場景下的大詞匯量連續語音識別任務。

    訊飛一開始并不是把所有框架全換掉,而是先把深度學習放在特征處理環節試一試。這一試不得了?!跋喈斢谥惶鎿Q掉一部分,但性能立即就有所改善?!?/section>

    鄧力和俞棟是在科大西區的講座結束后,才前往微軟亞洲研究院的。這也意味著,科大訊飛是除微軟總部之外,首先詳細了解這一研究并著手跟進深度學習研究的團隊之一。

    2011年,科大訊飛上線中文語音識別深度學習系統,這是第一個中文DNN語音識別系統,領先百度一個身位。

    到2012年底,鄧力和Hinton合作的那篇近代語音識別歷史上被引用最多(超過11000次)的文章《Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups》發表后,深度學習在語音識別領域全面開花,勢不可擋。

    但科大訊飛已經贏得了接近兩年的時間差。

    在移動互聯網時代,兩年時間足夠一家初創公司顛覆巨頭。新算法的快速落地后來應用在“訊飛輸入法”這個有大量潛在用戶、場景豐富且可以快速迭代的商業化系統中。

    訊飛的估值也扶搖直上,突破百億元。

    鄧力后來說:在深度學習剛剛被提出時,全世界只有兩家公司真的相信了?!捌渲幸患沂枪雀?,另一家就是科大訊飛?!?/section>

    谷歌后來花費了4400萬美元收購了多倫多大學的一家初創公司 DNNResearch。這家公司在當時不僅沒有任何產品,也壓根沒有生產產品的計劃。它只有三位員工Geoffrey Hinton與他的學生Alex Krizhevsky、llya Sutskever。順便說一句,llya Sutskever后來離開谷歌,成為Open AI的聯合創始人和首席科學家,并參與主導了ChatGPT的研發。

    左一為鄧力,右一為Geoffrey Hinton 


    在2022年底的那個關鍵一周,測試ChatGPT的重任落在劉權身上。


    劉權是魏思和劉聰的師弟,他2012年進入中科大語音實驗室,正是“深度學習”風起云涌之時。當年,實驗室十五個人,十四個人都搞語音,只有他一人自告奮勇要用深度學習的方法去搞NLP(自然語言理解)。


    轉博時,實驗室老師勸他搞語音,被劉權直接拒絕了:“我說我就不做語音,我要徹底的‘NLP’?!?/p>


    劉權后來加入魏思負責的“超腦計劃”,是超腦組“一號組員”,專攻常識推理,后來他在2016年Winograd Schema國際認知智能挑戰賽上拿下第一名。他的系統是唯一用深度學習做出來的系統,當年其他系統都仍然使用傳統符號邏輯推理方法。


    盡管奪冠,但第一名的正確率也只有58%。這是個什么概念呢?“這個測試是二選一,也就是說,小孩隨機猜都能拿50分?!?/p>


    也就是說:算法還抵不過瞎猜。這個結論令人沮喪。在那個年代,機器的推理能力尚不及兒童水平,通用人工智能仍是遙不可及的事。


    劉權后來離開“常識知識推理”領域,從2017年到2022年底,他在訊飛一直從事“人機交互”,仍與NLP相關,但那是一個更貼近企業實際應用的東西,“為稻粱謀”,劉權也與通用人工智能漸行漸遠。


    因此當2022年11月30日,劉權開始測試ChatGPT時,就像回到久別重逢的故鄉,看到了熟悉的人,但已是今時不同往日。


    之后的那一周,劉權把科大訊飛研究院好幾個方向的骨干都拉進一個群里,都是他認為最靠譜的人。實際上,研究院整建制的團隊都在支持他。他和他的小伙伴們開始輪番上陣測試ChatGPT。


    當GPT的訓練方法通過對海量數據的高質量清洗和對上億參數大模型的訓練之后,突然迸發出驚人的力量。


    “當它把全世界的書、全世界的網頁、全世界的語料都讀了一遍之后,神奇的事情出現了。大模型大概率就懂得了語義——它可能讀懂了語言在隱含空間中的意思?!?/p>


    一周之內,劉權寫下整整一百頁PPT。在這個PPT最后,劉權建議“借鑒ChatGPT思路,在重要認知智能任務中開始研究,并研制一個中等大規模預訓練模型”。(注:后來這一建議在立項時被擴展到“1+N”,即一個“可對標ChatGPT的大模型”加N個“行業大模型”)


    短短兩句話,意味著要以億為單位,“燒錢”投入GPT技術。

    科大訊飛AI研究院副院長劉權


    歷史不會重復,但總是會押韻。 

    2022年12月7日,科大訊飛A4樓五樓北側,訊飛研究院院長胡國平那間不到二十個平方米的辦公室擠滿了人,研究院最生猛的年輕人們都在。大家圍住一臺電腦,電腦連著一個投影,投影上是劉權熬夜寫成的《Open AI ChatGPT 調研分析報告》。

    “爭吵”很快開始了。

    ChatGPT最大的反對派是魏思,他認為ChatGPT是“一本正經地胡說八道”,這源自于他對GPT-1到GPT-3的觀察?!拔艺f你別聽他吹牛。Open AI特別喜歡PR(公關),GPT-1到GPT-3都吹得跟啥一樣,其實效果并不好?!?/section>

    支持派的代表人物則是劉聰。劉聰是結果導向,他在舉了很多例子后說:“這一次有可能是顛覆性的?!?/section>

    魏思反問:你不能光看結果,有些結果是人為做出來的。你有沒有自己去試?

    “火藥味”立刻就上來了,誰也說服不了誰。

    劉聰最后說:“你這次要翻船了!你敢不敢打賭?”

    兩個人當即賭了一頓牛排。

    劉權沒有評價兩位師兄的發言。他調試好了他的一百頁PPT,開始一頁一頁的分析。

    現場立刻安靜極了。

    會議結束后的中午,魏思沒去吃飯,他找劉權要了一個賬號,開始親手測試ChatGPT。魏思用的是教育和醫療任務去測ChatGPT,ChatGPT是大模型,不可能針對這些“小任務”做過訓練。但結果出乎魏思的意料,ChatGPT的表現與訊飛專門針對這些任務訓練過的“小模型”相比,差距并不大?!斑@就相當厲害了?!?/section>

    一個下午過去,魏思的觀點一百八十度翻轉,一躍成為支持派。

    魏思當天晚上就給劉慶峰寫郵件。他不容置疑地說:我們必須上(大模型),不上肯定落后。

    劉慶峰立刻要了一個賬號體驗,體驗完之后,劉慶峰把ChatGPT定義為“通用人工智能的曙光”。他判斷,大模型將對整個人類的生產和生活方式帶來巨大的顛覆,產生全新的機會?!靶乱惠喌睦顺币獊砹恕?。

    “很多系統是在各個專用領域做到了超過我們人類的水平,尤其是在各大感知領域,但今天在通用人工智能的曙光下,星星之火開始出現?!眲c峰說。

    在一周之內,他做了三個決策。

    一是,科大訊飛要把資源壓上去,重現Open AI的智慧涌現。

    二是,大模型要做“1+N”,“1”就是指通用認知智能大模型,“N”就是大模型在教育、辦公、汽車、人機交互等各個領域的落地。

    三是,建立一套實實在在、腳踏實地、科學的、系統的評測體系。要用評測體系給出判斷,技術到底到了什么程度了、下一個發展應該往哪邊走。 

    整個研究院都為之沸騰??拼笥嶏w的大模型被命名為“星火”。劉慶峰對這個詞感觸很深。這和訊飛創業初期的“要么率先燎原,要么率先熄滅”的意象異曲同工?!靶切侵?,可以燎原”出自《毛澤東選集》,在關鍵時點,點出了中國革命重大轉折來臨的歷史邏輯。

    討論



    2023年5月6日,合肥奧體中心的主場館內,劉慶峰董事長帶著星火大模型跑步入場。

    在此后的兩個小時內,劉慶峰和劉聰在臺上一起操控“星火”完成各式任務。那大概是科大訊飛歷史上氣氛最熱烈的發布會了,能容納1500人的會展中心主場館座無虛席,就連過道上也擠滿了人,他們在一陣陣驚呼聲中站著聽完2個多小時的發布會,而線上累計觀看人次超過3345萬,幾乎每隔幾分鐘,現場就爆發出熱烈掌聲。

    發布會后的下一個交易日,科大訊飛股票漲停,一周內滬深兩市成交量排名第一。

    之后,科大訊飛走過屬于“星火”的波瀾壯闊的一年。

    魏思后來復盤時說:盡管GPT-3出來的時候沒有引起足夠重視,但那不是決定性的。

    「研究就是這樣,每個人都有自己認同的方向,有的人堅信,他就賭對了,所以他就成了。我們做的方向可能不一樣,但是沒關系。原創研究的不確定性是很大的,你可能做十個能成一個就不錯了,你不能賭這個東西??拼笥嶏w是家企業,對企業來說重要的并不僅僅是你賭對方向的能力,而是你迅速判斷哪個方向有用,并快速把它落地的能力?!?/section>

    核心實際上是一種穿越周期的能力。
    你要足夠堅守,堅守到活著看到冬天離去。
    你要足夠Open,Open到能夠接納少數派。
    你還要足夠勇敢,勇敢到在timing來臨時毫不猶豫。

    當然,你還要足夠強悍和聰明。用劉聰的話說:錯一個東西,三個月就過去了。

    2023年,鄧力在回顧過去十年人工智能的歷史時說:大模型正是人工智能的Goldrush(淘金熱),而上一個Goldrush就是十年前(深度學習)。

    4月28日召開的中共中央政治局會議指出,要重視通用人工智能發展,營造創新生態,重視防范風險。

    5月5日召開的二十屆中央財經委員會第一次會議則強調,要把握人工智能等新科技革命浪潮,適應人與自然和諧共生的要求。

    在10月25日,科大訊飛發布星火大模型3.0之后一天。安徽省發布《通用人工智能創新發展三年行動計劃》,提出搶占通用人工智能發展制高點,加速構建產業創新發展生態體系。

    人工智能的一個新的時代可能就要來了。劉慶峰說:“通用人工智能將是一個偉大的歷史進程,所以核心技術的進步也將是一步一個腳印、踏踏實實持續進化的過程;同時,就像過去十年一樣,我們依然不能放松對源頭技術的關注?!?/section>

    那些決定勝負的關鍵核心技術突破往往不是大力出奇跡,也不是集中一萬個工程師辦大事,而是由若干個充滿個性、野心勃勃的人在一個適宜創新的環境中碰撞出來的。在ChatGPT的賭局之后,魏思表示要請2022年12月7日見證過那個賭局的人們“撮”一頓。但在那之后,“星火”令所有人都抽不出時間了。 

            

    安徽商報丨元新聞記者丨潘艷剛 周梅 梁巍



           


    聲明:
    凡本報記者署名文字、圖片,版權均屬安徽商報、安徽商報合肥網所有。任何媒體、網站或個人,未經授權不得轉載、鏈接、轉貼或以其他方式復制發表;已授權的媒體、網站,在使用時必須注明 “來源:安徽商報或安徽商報合肥網”,違者將依法追究法律責任。
    成熟熟女国产精品一区二区_超碰在线中文字幕_中文字幕亚洲无码在线观看_一级欧美一级日韩片_亚洲色偷偷偷网站色偷一区_亚洲成l人在线观看线路