基于PyTorch的自然語(yǔ)言處理
劉彥君, 周駿蕭, 李思雨, 吳豪 譯
出版時(shí)間:2020年07月
頁(yè)數(shù):248
“這是一本應(yīng)用PyTorch探索NLP和深度學(xué)習(xí)很棒的書。本書作者做了十分卓越的工作,不僅清晰地解釋了NLP概念,而且在每一章的代碼中進(jìn)行了演示,從而讓我們使用PyTorch來(lái)解決實(shí)際的NLP任務(wù)?!?br />
——Liling Tan
一位來(lái)自Rakuten的科學(xué)家
自然語(yǔ)言處理(NLP)為解決人工智能問(wèn)題提供了無(wú)限的機(jī)會(huì),從而使諸如Amazon Alexa和Google Translate之類的產(chǎn)品成為可能。如果你是初次接觸NLP和深度學(xué)習(xí)的開發(fā)人員或數(shù)據(jù)科學(xué)家,本實(shí)用指南將向你展示如何使用PyTorch(基于Python的深度學(xué)習(xí)庫(kù))應(yīng)用這些方法。
兩位研究員為你提供了NLP和深度學(xué)習(xí)算法的堅(jiān)實(shí)基礎(chǔ)。他們還演示了如何使用PyTorch來(lái)構(gòu)建應(yīng)用程序,這些應(yīng)用程序包含了你所遇到問(wèn)題的豐富文本表示形式,并且每章都包含多個(gè)代碼示例和說(shuō)明。
● 探索計(jì)算圖和監(jiān)督學(xué)習(xí)范式。
● 掌握PyTorch優(yōu)化張量庫(kù)的基礎(chǔ)。
● 概述傳統(tǒng)的NLP概念和方法。
● 學(xué)習(xí)構(gòu)建神經(jīng)網(wǎng)絡(luò)的基本思想。
● 檢查前饋神經(jīng)網(wǎng)絡(luò),例如多層感知器。
● 使用嵌入方式來(lái)表示單詞、句子、文檔等。
● 了解如何使用遞歸神經(jīng)網(wǎng)絡(luò)對(duì)序列數(shù)據(jù)建模。
● 探索序列預(yù)測(cè)并生成sequence-to-sequence模型。
● 學(xué)習(xí)用于構(gòu)建NLP系統(tǒng)的設(shè)計(jì)模式。
- 前言
- 第1章 概述
- 監(jiān)督學(xué)習(xí)范式
- 樣本和目標(biāo)編碼
- 獨(dú)熱表示(one-hot)
- 詞頻表示(TF)
- TF-IDF表示
- 目標(biāo)編碼
- 計(jì)算圖
- PyTorch基礎(chǔ)
- 安裝PyTorch
- 創(chuàng)建張量
- 張量的類型和大小
- 張量操作
- 索引、切片、連接
- 張量和計(jì)算圖
- CUDA張量
- 練習(xí)題
- 答案
- 小結(jié)
- 參考文獻(xiàn)
- 第2章 自然語(yǔ)言處理
- 語(yǔ)料庫(kù)、詞和類型
- 一元,二元,三元,…,n元模型
- 詞形還原和詞干提取
- 文檔分類
- 單詞分類:詞性標(biāo)注
- 廣度分類:分塊和命名實(shí)體識(shí)別
- 句子結(jié)構(gòu)
- 詞義與語(yǔ)義
- 小結(jié)
- 參考文獻(xiàn)
- 第3章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
- 感知器:最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)
- 激活函數(shù)
- 損失函數(shù)
- 深入監(jiān)督訓(xùn)練
- 輔助訓(xùn)練的概念
- 案例:餐館評(píng)論分類
- 小結(jié)
- 參考文獻(xiàn)
- 第4章 用于自然語(yǔ)言處理的前饋網(wǎng)絡(luò)
- 多層感知器
- 示例:用MLP進(jìn)行姓氏分類
- 卷積神經(jīng)網(wǎng)絡(luò)
- 示例:使用CNN對(duì)姓氏進(jìn)行分類
- CNN中的雜項(xiàng)主題
- 小結(jié)
- 參考文獻(xiàn)
- 第5章 嵌入單詞和類型
- 為什么學(xué)習(xí)嵌入?
- 示例:連續(xù)詞袋模型的嵌入
- 示例:使用預(yù)先訓(xùn)練的嵌入進(jìn)行文檔分類
- 小結(jié)
- 參考文獻(xiàn)
- 第6章 自然語(yǔ)言處理的序列建模
- 遞歸神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介
- 示例:使用字符RNN對(duì)姓氏國(guó)籍進(jìn)行分類
- 小結(jié)
- 參考文獻(xiàn)
- 第7章 自然語(yǔ)言處理的中級(jí)序列建模
- 普通RNN(或Elman RNN)的問(wèn)題
- 用門控方法解決普通RNN存在的問(wèn)題
- 示例:用于生成姓氏的字符RNN
- 訓(xùn)練序列模型的技巧和竅門
- 參考文獻(xiàn)
- 第8章 自然語(yǔ)言處理的高級(jí)序列建模
- 序列到序列模型,編碼器-解碼器模型和條件生成
- 從序列中捕獲更多信息:雙向遞歸模型
- 從序列中捕獲更多信息:注意力
- 評(píng)估序列生成模型
- 示例:神經(jīng)機(jī)器翻譯
- 小結(jié)
- 參考文獻(xiàn)
- 第9章 經(jīng)典,前沿與下一步發(fā)展
- 到目前為止,我們學(xué)到了什么?
- NLP中的永恒主題
- NLP前沿
- 生產(chǎn)NLP系統(tǒng)的設(shè)計(jì)模式
- 接下來(lái)呢?
- 參考文獻(xiàn)
書名:基于PyTorch的自然語(yǔ)言處理
譯者:劉彥君, 周駿蕭, 李思雨, 吳豪 譯
國(guó)內(nèi)出版社:中國(guó)電力出版社
出版時(shí)間:2020年07月
頁(yè)數(shù):248
書號(hào):978-7-5198-4598-8
原版書書名:Natural Language Processing with PyTorch
原版書出版商:O'Reilly Media
Delip Rao
Delip Rao是Joostware的創(chuàng)始人。Joostware是一家總部位于舊金山的咨詢公司,專門從事機(jī)器學(xué)習(xí)和NLP研究。他還是“假新聞挑戰(zhàn)”的聯(lián)合創(chuàng)始人,該倡議旨在將黑客和AI研究人員召集在一起,共同研究新聞媒體中與事實(shí)檢查相關(guān)的問(wèn)題。Delip之前曾在Twitter和Amazon(Alexa)從事NLP相關(guān)產(chǎn)品和研究的工作。
Brian McMahan
Brian McMahan是Wells Fargo的NLP研究科學(xué)家。在此之前,他曾在Joostware從事NLP研究。
本書封面的動(dòng)物是戴菊(學(xué)名:Regulus goodfellowi),生活在高山的針葉林中。從鳴叫聲,外貌和習(xí)性上看,這種鳥與亞洲大陸上的其他雀類最為相近。它的物種名稱(Goodfellowi)是為了紀(jì)念英國(guó)野生動(dòng)植物收藏家和鳥類學(xué)家Walter Goodfellow,是他最早對(duì)這種鳥進(jìn)行了科學(xué)描述。
戴菊是一種高效的食蟲獵手,雖然它只有3~5英寸長(zhǎng),重量?jī)H為四分之一盎司,但它們?cè)跇渖巷w舞時(shí)仍保持近乎恒定的運(yùn)動(dòng),在樹枝間跳來(lái)跳去捕食小昆蟲。戴菊的頭頂有黑色條紋,頂部有橙黃色的斑點(diǎn);眼睛周圍覆蓋著白色羽毛,像戴了面具一樣;鳥身側(cè)面為黃色,翅膀則是橄欖色。雄性鳥的橙色羽毛斑塊較大,當(dāng)它們由于領(lǐng)土或繁殖糾紛而發(fā)生沖突時(shí),這些羽毛會(huì)升起,醒目的火焰色簇也是這種鳥英文命名的來(lái)源(Flamecrest)。戴菊不會(huì)遷徙,一年四季都留在一個(gè)地方,只會(huì)根據(jù)季節(jié)從一個(gè)海拔轉(zhuǎn)移到另一個(gè)海拔。也許是由于它們棲息的山區(qū)較為偏僻,這種鳥類的繁殖習(xí)性鮮為人知,仍需研究。
盡管戴菊在其棲息范圍內(nèi)很常見(jiàn),并且不算是受到威脅的物種,但其棲息范圍僅限于受自然保護(hù)法保護(hù)的山區(qū)。山區(qū)的自然保護(hù)區(qū)(僅公園就覆蓋了近3000平方英里的面積),不僅使戴菊之類的鳥類受到保護(hù),而且廣受登山愛(ài)好者和遠(yuǎn)足愛(ài)好者的歡迎。
O’Reilly封面上的許多動(dòng)物都已瀕臨滅絕,每一個(gè)物種都是這個(gè)世界重要的一份子。如果你想了解更多信息,并為它們做些什么的話,請(qǐng)?jiān)L問(wèn):animals.oreilly.com。