在計算領域一種巨大的范式遷移正在緩緩向我們走來,在歷史上僅有其他兩個時刻具有可比性。 第一個時刻是計算的『桌面時代』,得益于中央處理器(Central Processing Units, CPUs);第二次是計算的移動時代,得益于性能功耗比更加強勁的移動處理器。現(xiàn)在,一種新的計算棧,在人工智能(Artificial Intelligence,AI)和針對大量消耗算力設計的專用芯片的驅動下,正在和所有軟件共同前行。
在過去的10年里,AI的計算需求給CPU帶來了極大壓力,我們無法擺脫CPU時鐘頻率和散熱性能的物理限制。值得慶幸的是,人工智能算法只需要線性代數操作——和你在高中時代數學課上的那些線性代數是一樣的。我們發(fā)現(xiàn),原生支持線性代數的圖形處理芯片(Graphics Processing Units, GPUs)相當適合處理這些操作,所以在AI領域我們憑借使用GPU獲得了長足的進步。
雖然GPU擅長線性代數,但這種產品的領先地位正受到幾十家中美公司的挑戰(zhàn),這些公司正在從零開始設計制造用于線性代數計算的專用芯片。某些公司把它們的芯片稱為張量處理單元(Tensor Processing Units),另一些把它們稱作張量核心(Tensor Cores)。這些公司甚至對一個術語——張量——都要進行競爭。當然,這并不令人感到意外,因為這是在AI領域中被頻繁使用的一個核心概念。所有這些產品都支持谷歌在2015年11月開源的軟件庫TensorFlow。實際上,我正在運營一家計算機視覺公司,公司的名字是Matroid(擬陣,在數學上比張量更廣義的概念),我們正在大量使用這些硬件。
這些芯片為不同的計算模式進行了專業(yè)化定制:有些芯片在計算中心運行,而另外一些在低功耗的嵌入式系統(tǒng)中運行;有些芯片主要為了訓練模型而設計,另外一些只能用于模型推理。每種芯片都有它的優(yōu)勢和劣勢,而英偉達公司的GPU為這些芯片設計鋪平了道路,在適合數據中心進行訓練的芯片中擁有領先地位。在其他模式的計算領域中,競爭仍在繼續(xù)。
當這些硬件公司之間經歷了競爭洗牌之后,將會有一種新型的芯片保持堅挺:這種芯片會在絕大多數軟件框架上擁有更好的性能,而當軟件通吃世界的同時,人工智能技術會迅速通吃所有的軟件。這個推理鏈條可以簡而言之為:
- 圖形與張量處理器正在通吃線性代數操作
- 線性代數正在通吃深度學習
- 深度學習正在通吃機器學習
- 機器學習正在通吃人工智能
- 人工智能正在通吃軟件
- 軟件正在通吃世界
即使是C端公司(以消費者為目標客戶群)的公司也正在探索這個空間。他們沒有明確銷售芯片的意向,他們的目標是改進最終產品。 舉例來說,特斯拉正在為實現(xiàn)Autopilot的無人值守可靠性而設計AI芯片。蘋果已經在iPhone X中推出了專門用于面部識別的專用芯片。微軟Azure在它們的機器學習工作流中使用FPGA芯片.? Google在AlphaGo、街景地圖產品(Street View) 和其他許多應用中使用了TPU。 這些公司都沒有公開宣布出售芯片的意圖,但都已經在使用芯片來改進其所研發(fā)的應用。
伴隨著計算行業(yè)的巨大變化,中國正向這一領域注入數百萬美元的資金,而且是從最高層政府級別來理解這種結構性轉變。 為了讓中國在半導體業(yè)務上獲得優(yōu)勢,AI芯片是中國政府定義的八大“關鍵通用技術”之一,對國家AI戰(zhàn)略至關重要(這里可以找到原文)。 目前中國正在制造AI芯片的公司包括:比特大陸(Bitmain),寒武紀科技(Cambricon),深鑒科技(DeePhi) ,地平線機器人技術(Horizon Robotics) 和商湯科技(SenseTime),其中許多公司估值超過10億美元。
美國和中國都在大力投資這個新的計算技術棧。 8月份,中國國家開發(fā)投資公司(中國政府擁有的一項基金)對位于北京的寒武紀科技公司領投了1億美元。 寒武紀科技和比特大陸在過去兩個月都發(fā)布了新芯片,并且兩者都可以直接與英偉達發(fā)布的產品競爭。 中國發(fā)改委在剛剛過去的10月份不遺余力地發(fā)起相關的研究提案中,一再要求發(fā)展高性能AI芯片。
目前,美國計算機行業(yè)暫時處于世界領先地位,以英偉達,英特爾和高通為代表。 互聯(lián)網巨頭谷歌宣布,將TPU作為谷歌云平臺的一部分出租。 同期涌現(xiàn)出了一大批美國初創(chuàng)公司,每一家公司的目標都是成為下一個計算硬件巨頭,這其中包括:AIMotive,BrainChip,Cerebras,Deep Vision,Graphcore(英國,美國投資),Groq,Mythic,Remicro,ThinCI,Unisound和Wave Computing。
其中一些公司專注于性能功耗比,一些公司單純專注于提高計算能力,或者稱為『每秒執(zhí)行的代數運算』,而另一些則專注于構建豐富的計算庫生態(tài)系統(tǒng)。 究竟這些中美公司中的哪一家能夠在新的計算棧中勝出,保持摩爾定律的活力,現(xiàn)在仍不明朗;但可以確信的是,我們構建軟件和硬件的方式正在急劇變化,人工智能野火燎原,帶領我們走向未來。
Reza Zadeh
Reza Bosagh Zadeh 是Matroid的創(chuàng)始人、首席執(zhí)行官,斯坦福大學的兼職教授,并在斯坦福提供兩門博士級別課程的教學:分布式算法與優(yōu)化,以及離散數學與算法。 他的工作集中在機器學習、分布式計算和離散應用數學上。 他曾獲得的獎項包括KDD最佳論文獎和Gene Golub杰出論文獎。 Reza曾擔任微軟和Databricks的技術顧問委員會成員。 他是Apache Spark中線性代數包的初始創(chuàng)建者。 通過Apache Spark,Reza的工作被整合到工業(yè)和學術計算集群環(huán)境中。 Reza在在Gunnar Carlsson的指導下,獲得了斯坦福大學的計算數學博士學位。他的一部分工作是推出了Twitter使用的第一個機器學習算法產品,『Who-to-follow系統(tǒng)』(為用戶推薦應該關注的其他用戶)。

