由于大量的標(biāo)記數(shù)據(jù)集、面向數(shù)據(jù)科學(xué)家的語言（R、Julia、Python）、諸如scikit-learn、PyTorch、TensorFlow等的框架以及用于構(gòu)建支持端到端應(yīng)用的基礎(chǔ)架構(gòu)工具越來越多地出現(xiàn)，機(jī)器學(xué)習(xí)正在被加速采用。雖然無監(jiān)督學(xué)習(xí)的一些有趣應(yīng)用開始出現(xiàn)，但當(dāng)前大多數(shù)的機(jī)器學(xué)習(xí)應(yīng)用依然依賴于監(jiān)督學(xué)習(xí)。在最近的一系列博文中，Ben Recht說明了為什么一些最有趣的問題可能實(shí)際上屬于強(qiáng)化學(xué)習(xí)（RL）的范疇。特別是那些能夠根據(jù)過去的數(shù)據(jù)采取行動(dòng)的系統(tǒng)，使用強(qiáng)化學(xué)習(xí)能讓它們以更安全、魯棒和可靠的方式運(yùn)行。
但是，首先我們要能有從業(yè)人員可用的強(qiáng)化學(xué)習(xí)的工具。不像監(jiān)督學(xué)習(xí)，在過去一段時(shí)間里，并沒有一個(gè)開源工具可以讓大家很容易地嘗試大規(guī)模強(qiáng)化學(xué)習(xí)。我認(rèn)為現(xiàn)在不同了。我非常幸運(yùn)地被邀請(qǐng)參加首次專門針對(duì)Ray的聚會(huì)。Ray是RISE實(shí)驗(yàn)室開發(fā)的高性能分布式的計(jì)算引擎，專門針對(duì)新出現(xiàn)的人工智能應(yīng)用，也包括那些依賴強(qiáng)化學(xué)習(xí)的應(yīng)用。這個(gè)聚會(huì)是由OpenAI組織的一個(gè)小型、只邀請(qǐng)參加的聚會(huì)。大部分與會(huì)人員都對(duì)強(qiáng)化學(xué)習(xí)非常感興趣。
下面是這次聚會(huì)的一個(gè)簡(jiǎn)要概述。
- Robert Nishihara和Philipp Moritz對(duì)Ray項(xiàng)目做了簡(jiǎn)單的概述和進(jìn)展更新。也講述了Ray項(xiàng)目近期路線圖里的一些項(xiàng)目的情況。
- Eric Liang和Richard Liaw針對(duì)構(gòu)建于Ray上的兩個(gè)庫做了簡(jiǎn)要的教學(xué)講解。這兩個(gè)庫是RLib（針對(duì)可擴(kuò)展的強(qiáng)化學(xué)習(xí)）和Tune（一個(gè)超參數(shù)調(diào)優(yōu)框架）。他們也介紹了最近一篇關(guān)于RLib的ICML的論文。這兩個(gè)庫對(duì)于熟悉Python的人而言都很容易使用，而且會(huì)在數(shù)據(jù)科學(xué)家群體內(nèi)變的流行起來。
圖1 RLib和強(qiáng)化學(xué)習(xí)。圖片由RISE實(shí)驗(yàn)室友情提供
- Eugene Vinitsky展示了一些不錯(cuò)的視頻。它們講述了Ray是如何幫助他們實(shí)時(shí)地理解和預(yù)測(cè)交通流量模型，以及Ray是如何幫助研究人員研究大型交通網(wǎng)絡(luò)的。這些視頻是我所見過的整合IoT、傳感器網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)的最好的例子。
- 來自螞蟻金服的Alex Bao講述了他們找到的應(yīng)用Ray的三個(gè)場(chǎng)景。我不太確定我是否可以在這里透露這些場(chǎng)景。但是它們都是非常有趣和重要的場(chǎng)景。這個(gè)夜晚最重要的收獲是螞蟻金服已經(jīng)在三個(gè)場(chǎng)景中的兩個(gè)的生產(chǎn)系統(tǒng)里使用了Ray。而且他們也已經(jīng)即將在第三個(gè)場(chǎng)景里部署Ray了。鑒于螞蟻金服是世界上最大的獨(dú)角獸公司，這可以說是對(duì)Ray的最佳背書。
根據(jù)這個(gè)夜晚的演講人所提供的信息以及已經(jīng)出現(xiàn)的生產(chǎn)系統(tǒng)里的早期案例，我認(rèn)為本次Ray聚會(huì)將點(diǎn)燃其他地區(qū)對(duì)Ray的熱情。我們尚處于采用機(jī)器學(xué)習(xí)技術(shù)的早期階段。本次聚會(huì)的演講驗(yàn)證了：一個(gè)類似Ray這樣可獲取和可擴(kuò)展的平臺(tái)可以激發(fā)出很多強(qiáng)化學(xué)習(xí)和在線學(xué)習(xí)的應(yīng)用。
想更多了解Ray：
- 訪問Ray項(xiàng)目在GitHub上的網(wǎng)頁
- 參加在2018年9月5日在舊金山（或10月9日在倫敦）召開的人工智能大會(huì)上3小時(shí)長(zhǎng)的教學(xué)議程“用Ray來構(gòu)建強(qiáng)化學(xué)習(xí)應(yīng)用”。
- 《RLib庫簡(jiǎn)介：一個(gè)可組合和可擴(kuò)展的強(qiáng)化學(xué)習(xí)的庫》
- Robert Nishihara和Philipp Moritz的O’Reilly數(shù)據(jù)播客秀《Ray是如何讓持續(xù)學(xué)習(xí)可觸及和更容易擴(kuò)展》
Ben Lorica
Ben Lorica是O’Reilly Media公司的首席數(shù)據(jù)科學(xué)家，同時(shí)也是Strata數(shù)據(jù)會(huì)議和O’Reilly人工智能會(huì)議的內(nèi)容日程主管。他曾在多種場(chǎng)景下應(yīng)用商業(yè)智能、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和統(tǒng)計(jì)分析技術(shù)，這些場(chǎng)景包括直銷、消費(fèi)者與市場(chǎng)研究、定向廣告、文本挖掘和金融工程。他的背景包括在投資管理公司、互聯(lián)網(wǎng)初創(chuàng)企業(yè)和金融服務(wù)公司就職。
