最新一期（2017年1月12日）O’Reilly數(shù)據(jù)秀播客：大型計(jì)算如何為深度學(xué)習(xí)火箭助力。
專家們把深度學(xué)習(xí)比喻成一艘宇宙飛船。它需要很強(qiáng)大的發(fā)動(dòng)機(jī)（模型）和非常多的燃料（數(shù)據(jù)）來推動(dòng)它飛到任何想去的地方。為了能更好地理解為深度學(xué)習(xí)建造計(jì)算系統(tǒng)這個(gè)問題，我采訪了這個(gè)領(lǐng)域的最前沿專家之一，百度公司的資深研究員Greg Diamos。Diamos長(zhǎng)期致力于結(jié)合軟硬件的先進(jìn)科技來讓計(jì)算機(jī)跑的更快。近年來，他專注于擴(kuò)展深度學(xué)習(xí)來幫助提升一些前沿的領(lǐng)域，比如語音識(shí)別。
大的模型加上海量數(shù)據(jù)，必然需要大型計(jì)算系統(tǒng)，或者至少是在AI領(lǐng)域的尖端系統(tǒng)。研究人員已經(jīng)傾向于使用高性能計(jì)算（HPC）或是類似于超級(jí)計(jì)算機(jī)的系統(tǒng)。而大部分從業(yè)人員則是使用多GPU（ASIC或是FPGA）的系統(tǒng)，和一些能讓快速深度學(xué)習(xí)模型在其上運(yùn)行的易用的軟件庫。
除了很多企業(yè)都會(huì)面對(duì)的如何平衡方便易用和性能的辯論，現(xiàn)在還有另外一些關(guān)于使用大數(shù)據(jù)技術(shù)而非HPC的努力。在下面這個(gè)博客里，我將重點(diǎn)介紹一些工程師和數(shù)據(jù)科學(xué)家的工作。他們已經(jīng)開始使用這些技術(shù)并開發(fā)軟件，從而在大數(shù)據(jù)領(lǐng)域常見的軟硬件基礎(chǔ)設(shè)施上運(yùn)行深度學(xué)習(xí)。
到目前為止設(shè)計(jì)什么樣的系統(tǒng)才能夠使用海量數(shù)據(jù)來訓(xùn)練深度學(xué)習(xí)的模型？下面是一些深度學(xué)習(xí)研究領(lǐng)域出現(xiàn)的模式：
- 使用多GPU的密集計(jì)算硬件。盡管GPU是出了名的難編程，但是深度學(xué)習(xí)卻相對(duì)比較容易。因?yàn)樗挠?jì)算一般都是海量、密集和線性的代數(shù)運(yùn)算。
- 部署高速的計(jì)算網(wǎng)絡(luò)系統(tǒng)，并結(jié)合可以利用高速網(wǎng)絡(luò)的軟件和算法（比如MPI）。也可以使用諸如異步SGD這樣的算法來降低計(jì)算節(jié)點(diǎn)之間的通信總量。
- 利用為算法和專門的計(jì)算（例如深度學(xué)習(xí)所需的線性代數(shù)、快速傅里葉變換和卷積神經(jīng)網(wǎng)絡(luò)）優(yōu)化過的庫。英偉達(dá)和英特爾都為此發(fā)布了一些開源的庫。但很多研究組織也各自開發(fā)了他們自己的工具。
- 考慮使用專門的IO系統(tǒng)來滿足大型深度學(xué)習(xí)負(fù)荷所需要的海量隨機(jī)數(shù)據(jù)讀取。
- 也可以嘗試在訓(xùn)練模型時(shí)使用低精度浮點(diǎn)數(shù)（一個(gè)熱門研究領(lǐng)域），或者是降低模型大?。ㄑ芯匡@示在模型被訓(xùn)練后，對(duì)模型進(jìn)行壓縮和正則化并不影響模型的效果）
ASIC（專用集成電路）還是GPU
在采訪中，Diamos曾對(duì)一個(gè)問題有過插話。即是否有可能建造比GPU更加有效率的ASIC（來推進(jìn)深度學(xué)習(xí)）。
這是一個(gè)很有趣的問題。硬件設(shè)計(jì)人員還在努力解決這個(gè)問題。我不覺得現(xiàn)在有一個(gè)清晰的答案。我個(gè)人認(rèn)為是有可能制造比GPU更好的硬件，但是這需要有不少前瞻性的研究結(jié)果來完成最終的落地，其中很多都和制造的流程有關(guān)。所以我認(rèn)為現(xiàn)在討論為深度學(xué)習(xí)制造ASIC還是一個(gè)賭博。但這并不意味著不值得去嘗試。我真心希望能成功，因?yàn)樗挠绊懯呛苌钸h(yuǎn)的。
我認(rèn)為他們必須非常有創(chuàng)造力。對(duì)于大家來說，一個(gè)比GPU更好的ASIC會(huì)是什么樣并不明晰。我覺得大家對(duì)此只有一點(diǎn)想法。目前流行的一個(gè)大的想法是降低精度。但問題是GPU也能加入對(duì)這個(gè)功能的支持。而ASIC對(duì)比GPU的優(yōu)點(diǎn)也僅僅只是降低運(yùn)行時(shí)間。
這個(gè)問題的另外一方面則是硬件設(shè)計(jì)已經(jīng)變的非常復(fù)雜和昂貴了。即使你想到了一個(gè)ASIC的好點(diǎn)子，那也需要非常巨大的資金投入（來實(shí)現(xiàn)這個(gè)想法）。風(fēng)險(xiǎn)非常大，這是因?yàn)檫@需要非常多的不同的技術(shù)都能成功地被實(shí)現(xiàn)，并真正能去和使用尖端流程（比如14納米或10納米）的高速處理器來競(jìng)爭(zhēng)。因此即便能有一個(gè)非常好的想法，綜合上面所有的因素來看，風(fēng)險(xiǎn)也是非常高的。
在研究領(lǐng)域已經(jīng)有一些制造ASIC的想法和提議了。我最喜歡的是一個(gè)基于3D集成的方法。它某種程度上是把內(nèi)存和處理器用非常緊密的方法“粘”在一起。但這個(gè)方法的問題是它只對(duì)于支持這個(gè)方式的處理器才有用，才能提升性能。但據(jù)我所知，這種技術(shù)非常昂貴?？梢哉J(rèn)為這是一個(gè)需要投資10億美元并要經(jīng)過多年研發(fā)的事情。
相關(guān)資料：
- 在即將開始的圣何塞Strata+Hadoop世界2017大會(huì)上有很多關(guān)于應(yīng)用深度學(xué)習(xí)的講座。
- 《HPC在深度學(xué)習(xí)里的機(jī)會(huì)》——Greg Diamos在斯坦福大學(xué)的一個(gè)演講。
- 《對(duì)速度的需求：衡量深度學(xué)習(xí)負(fù)載的基準(zhǔn)線》：Greg Diamos在2016 O’Reilly人工智能大會(huì)上的一個(gè)演講。
- 《深度神經(jīng)網(wǎng)絡(luò)的壓縮和正則化》。
訂閱O’Reilly數(shù)據(jù)秀播客，探索推動(dòng)大數(shù)據(jù)、數(shù)據(jù)科學(xué)及人工智能的機(jī)遇和技術(shù)?？梢栽?iTunes,?Stitcher,?TuneIn,?SoundCloud,?RSS?找到我們。
PS, 在微信中瀏覽此頁面可能不能點(diǎn)擊超鏈接，請(qǐng)從微信右上角選取手機(jī)瀏覽器來瀏覽。
本·羅瑞卡（Ben Lorica）
本·羅瑞卡是O'Reilly的首席數(shù)據(jù)科學(xué)家和關(guān)于數(shù)據(jù)方面的內(nèi)容策略主管。在多個(gè)領(lǐng)域里（包括直銷市場(chǎng)、消費(fèi)者和市場(chǎng)研究、精準(zhǔn)廣告、文本挖掘和金融工程），他曾經(jīng)進(jìn)行了商業(yè)智能、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和統(tǒng)計(jì)分析的工作。他曾效力于投資管理公司、互聯(lián)網(wǎng)創(chuàng)業(yè)企業(yè)和金融服務(wù)公司。
