91精品国产综合久久四虎久久_国产成人午夜高潮毛片_99er视频精品免费观看_2020亚洲熟女在线观看_日本女优人体写真_国内黄色毛片_年轻的老师中文版在线_丰满女邻居做爰_久久久久久精品成人免费图片

根據(jù)Geoff Hinton（經(jīng)常被譽(yù)為深度學(xué)習(xí)的“教父”）的觀點(diǎn)，更好地理解神經(jīng)元產(chǎn)生脈沖的原因可以帶來(lái)更聰明的人工智能系統(tǒng)，其可以更有效地存儲(chǔ)更多的信息。

Geoff Hinton是多倫多大學(xué)的榮譽(yù)退休杰出教授和谷歌的工程院士。他是神經(jīng)網(wǎng)絡(luò)的先驅(qū)者之一。作為很小一群學(xué)術(shù)人員之一，他和其他人共同哺育這項(xiàng)技術(shù)渡過(guò)了它所經(jīng)歷的研究興趣、資金和發(fā)展的低潮期。

核心內(nèi)容：

1. 通過(guò)諸如奧巴馬政府的“大腦計(jì)劃”這樣的研究項(xiàng)目完成的大規(guī)模大腦研究，有希望獲得對(duì)大腦的新認(rèn)知，從而為AI的設(shè)計(jì)人員帶來(lái)新想法和思路。
2. 是可以把神經(jīng)科學(xué)里的發(fā)現(xiàn)引入到AI相關(guān)的想法里，盡管這可能會(huì)花些時(shí)間。在1973年，Hinton首先想到去實(shí)現(xiàn)一個(gè)類似于神經(jīng)突觸在多時(shí)間尺度上變化的機(jī)制，但直到2016，才發(fā)表了這個(gè)領(lǐng)域的一篇主要論文。
3. 開發(fā)強(qiáng)大的感知系統(tǒng)是相對(duì)容易的，但是我們需要新的技術(shù)來(lái)構(gòu)建能夠推理和語(yǔ)言的系統(tǒng)。

Jack Clark：為什么我們?cè)陂_發(fā)AI系統(tǒng)時(shí)需要關(guān)注大腦？我們需要關(guān)注哪些方面？

Geoff Hinton：主要原因是大腦是真正有智能的東西。到目前為止，大腦是我們唯一知道的聰明且通用的智能。第二個(gè)原因是，很多年來(lái)，一部分人認(rèn)為我們應(yīng)該關(guān)注大腦從而能讓AI更好地工作，但他們并沒有前行太遠(yuǎn)。在80年代他們有推進(jìn)，但隨后就停滯了。AI界的人們嘲笑他們說(shuō)：“你不能通過(guò)研究大黃蜂來(lái)設(shè)計(jì)波音747客機(jī)”。但事實(shí)表明他們從大腦研究上取得的靈感對(duì)AI是非常有用的，而且沒有這些靈感，他們也不會(huì)向那個(gè)方向去研究。這不僅僅是因?yàn)槲覀冇幸粋€(gè)智能的例子，還因?yàn)槲覀円灿幸粋€(gè)真正能工作的方法論的例子。我認(rèn)為我們應(yīng)該繼續(xù)推進(jìn)這個(gè)方向。

JC：今天，諸如神經(jīng)網(wǎng)絡(luò)的現(xiàn)代分類器的各個(gè)方面看起來(lái)都有些類似于我們知道的大腦的視覺系統(tǒng)。受海馬體的啟發(fā)，我們也開發(fā)了記憶系統(tǒng)。還有其他的領(lǐng)域我們可以借鑒大腦，并從中獲取靈感嗎？比如脈沖刺激神經(jīng)元？

GH：我們真不知道為什么神經(jīng)元要發(fā)脈沖。一個(gè)理論是它們想要噪聲，以便正則化，因?yàn)槲覀兊膮?shù)超過(guò)數(shù)據(jù)量。整個(gè)Dropout（丟棄部分參數(shù)，一種防止過(guò)渡擬合的技術(shù)）的思路就是如果你有噪音的激活，你就能承受使用一個(gè)更大的模型。這可能是為什么它們要發(fā)脈沖，但我們并不清楚是否真是這樣。另外一個(gè)它們要發(fā)脈沖的原因可能是這樣它們就能使用類似時(shí)間的維度，來(lái)在脈沖時(shí)編碼一個(gè)真實(shí)值。這個(gè)理論已經(jīng)出現(xiàn)有50多年了，但沒人知道它是否正確。在某些子系統(tǒng)里，神經(jīng)元確實(shí)是這樣做的。這就像通過(guò)判斷信號(hào)到達(dá)兩耳的相對(duì)時(shí)間，從而就能獲取方向。

另外一個(gè)領(lǐng)域就是在記憶部分。突觸以許多不同的時(shí)間尺度和復(fù)雜的方式去適應(yīng)。 目前，在大多數(shù)人造神經(jīng)網(wǎng)絡(luò)中，我們只有一個(gè)適應(yīng)突觸的時(shí)間尺度，以及一個(gè)激活神經(jīng)元的時(shí)間尺度。我們沒有這些中間時(shí)間尺度的突觸適應(yīng)，我認(rèn)為這對(duì)于短期記憶將是非常重要的，部分原因是它給你一個(gè)更好的短期記憶容量

JC：在我們了解大腦的能力上有什么樣的障礙？從而減緩我們受它啟發(fā)來(lái)提出新思路的速度。

GH：我認(rèn)為如果你把一個(gè)電極插入一個(gè)細(xì)胞并從中記錄信息，或是把電極放到細(xì)胞附近并從中記錄，或是靠近很多的細(xì)胞并從其中一部分中記錄，你可能無(wú)法理解一些可能通過(guò)光學(xué)染料很容易理解的事情，比如一百萬(wàn)個(gè)細(xì)胞正在干什么。在奧巴馬大腦計(jì)劃里有非常多的事情可提供給我們新的技術(shù)，從而讓我們看到（并弄清楚）那些曾經(jīng)非常難確立的事情。我們還不知道它們將會(huì)是什么，但我猜想這將會(huì)帶給我們一些有趣的思路與想法。

JC：因此，如果我們有足夠大的神經(jīng)網(wǎng)絡(luò)，對(duì)于任何工作它能和人腦想匹敵嗎？或還有什么我們遺漏的部件嗎？

GH：這取決于你所說(shuō)的是什么具體工作。如果你所說(shuō)的是像語(yǔ)音識(shí)別，那么如果一個(gè)真正大的網(wǎng)絡(luò)能和人類向匹敵的話，我會(huì)非常驚喜的。我認(rèn)為這就不會(huì)很差也不會(huì)太好。人類不是上限。我認(rèn)為在語(yǔ)音識(shí)別上，如果在10年內(nèi)，神經(jīng)網(wǎng)絡(luò)不能做到比人類更好，我也不會(huì)很驚訝。對(duì)于其他的領(lǐng)域，比如推理和從一個(gè)非常小的樣本里學(xué)習(xí)，開發(fā)一個(gè)能匹敵人類甚至是超越人類的系統(tǒng)會(huì)花更長(zhǎng)的時(shí)間。

JC：現(xiàn)代的推斷學(xué)習(xí)系統(tǒng)看起來(lái)有的一個(gè)問(wèn)題，即了解問(wèn)題的哪個(gè)部分值得專注去探索，由此你不必浪費(fèi)時(shí)間在那些圖像里不重要的部分。

GH：這在視覺里也是一樣的。人類做出了非常智能的定位，幾乎所有的光學(xué)陣列從不會(huì)以高分辨力進(jìn)行處理。而在計(jì)算機(jī)視覺里，人們一般會(huì)把整個(gè)陣列上的低分辨率、中分辨率和高分辨率都獲取，并試圖把這些信息整合起來(lái)。所以這就是我們碰到的同樣的問(wèn)題。你如何智能地定位在事物上？我們也將在處理語(yǔ)言時(shí)面對(duì)同樣的問(wèn)題。這是一個(gè)非常本質(zhì)的問(wèn)題，而我們尚未解決。

JC：最近的一個(gè)講演里，就你發(fā)表的一篇論文，你介紹了在神經(jīng)網(wǎng)絡(luò)里短期記憶權(quán)重修改的主題。你能解釋一下這個(gè)論文以及為什么你認(rèn)為這很重要嗎？

GH：在循環(huán)神經(jīng)網(wǎng)絡(luò)里，如果是處理一個(gè)句子，網(wǎng)絡(luò)需要記憶到某個(gè)時(shí)間點(diǎn)句子里都有了什么內(nèi)容。所有這些記憶都在隱藏層神經(jīng)元的激活函數(shù)里。這意味著這些神經(jīng)元必須被用來(lái)記憶內(nèi)容，因此他們就不能用于當(dāng)前的處理了。

一個(gè)好的例子就是如果你碰到一個(gè)嵌套的句子，比如你說(shuō)“John不喜歡Bill因?yàn)樗麑?duì)Mary很無(wú)禮，因?yàn)锽ill對(duì)Mary很無(wú)禮”。網(wǎng)絡(luò)會(huì)從頭開始處理這個(gè)句子，然后用同樣的處理邏輯來(lái)處理“因?yàn)锽ill對(duì)Mary很無(wú)禮”。這時(shí)的理想情況是，你希望使用相同的神經(jīng)元、相同的連接和相同的連接權(quán)重來(lái)處理這后半句話。這才是真正的循環(huán)，同時(shí)這也意味著你需要使用到目前為止從句子里學(xué)習(xí)到的東西，因此你必須把這些東西存放到什么地方。那么現(xiàn)在的問(wèn)題就是：你怎么去存放它們？在計(jì)算機(jī)里，這很簡(jiǎn)單，因?yàn)橛袃?nèi)存。你可以把他們拷貝到內(nèi)存里的其他地方來(lái)釋放當(dāng)前內(nèi)存。但在大腦里，我不認(rèn)為我們是把神經(jīng)活動(dòng)模式進(jìn)行拷貝的。我認(rèn)為大腦所做的是快速改變突觸的強(qiáng)度，從而能在我們需要記憶的時(shí)候重建它。而且我們可以在合適的上下文的時(shí)候重建它。

我最近與Jimmy Ba和DeepMind的一些研究員共同發(fā)表了一篇論文，展示了我們是如何實(shí)現(xiàn)這種機(jī)制的。我認(rèn)為這就是一個(gè)例子，展示了了解突觸可以在多個(gè)時(shí)間尺度上變化這個(gè)事實(shí)對(duì)AI的研究是有用的。我最早是在1973年就想到了這一點(diǎn)，并設(shè)計(jì)了一個(gè)很小的模型，在一個(gè)非常簡(jiǎn)單的任務(wù)上實(shí)現(xiàn)了真正的循環(huán)。一年前，我在DeepMind重新實(shí)現(xiàn)了這個(gè)想法，并在這個(gè)框架內(nèi)成功了?，F(xiàn)在這個(gè)框架能記住任何東西。當(dāng)我第一次冒出這個(gè)想法的時(shí)候，那時(shí)的計(jì)算機(jī)內(nèi)存只有64k，我們也不知道如何訓(xùn)練大的神經(jīng)網(wǎng)絡(luò)。

JC：你是否認(rèn)為AI需要以某種應(yīng)用形式出現(xiàn)才能變成真正的智能，比如機(jī)器人或是足夠豐富的模擬？

GH：我認(rèn)為這個(gè)問(wèn)題有兩個(gè)層面。一個(gè)是哲學(xué)層面，而另一個(gè)則是實(shí)踐層面。在哲學(xué)意義上，我認(rèn)為沒有理由要求AI必須以某種形式呈現(xiàn)，因?yàn)槟憧梢酝ㄟ^(guò)閱讀Wikipedia來(lái)了解這個(gè)世界是什么樣。但從實(shí)踐意義上說(shuō)，我認(rèn)為實(shí)用化對(duì)AI會(huì)很有幫助。馬克思說(shuō)：“如果你想了解這個(gè)世界，去嘗試并改變它。”僅僅只是觀察去理解事務(wù)運(yùn)作的機(jī)理，并不如實(shí)踐行動(dòng)那樣有效。因此，哲學(xué)問(wèn)題就是：這個(gè)實(shí)踐是否至關(guān)重要？如果實(shí)踐對(duì)理解這個(gè)世界至關(guān)重要，那么天體物理學(xué)就有麻煩了。因此，我的答案是否定的。我不認(rèn)為AI的應(yīng)用形式化是必須的。

JC：如果你可以復(fù)制某些脈沖神經(jīng)元的特性，并與可以形成臨時(shí)記憶的系統(tǒng)集成，你可以構(gòu)建出什么東西？

GH：我認(rèn)為這會(huì)讓目前所有我們已有的東西工作得更好。因此，對(duì)于自然語(yǔ)言理解，我認(rèn)為有一個(gè)權(quán)重可以快速變化的輔助記憶將是非常有用的。對(duì)于那些前饋傳播網(wǎng)絡(luò)，我認(rèn)為重合檢測(cè)器對(duì)于過(guò)濾背景噪音會(huì)非常合適。這樣神經(jīng)網(wǎng)絡(luò)就能更好地聚焦于信號(hào)區(qū)，而過(guò)濾掉噪音。這在學(xué)習(xí)小數(shù)據(jù)集時(shí)可能也會(huì)有幫助。