Neural Probabilistic Language Model

神經機率語言模型與word2vec

By Mark Chang

神經機率語言模型與 word2vec

語意向量 類神經網路 word2vec

n-gram的缺陷

容易受到維度爆炸的影響 只能得出表面文字的關聯無法得出較深層的語意 事實上語意可從其附近的字詞來得知

罷免蔡正元 失敗

罷免 祭止兀 失敗

蔡正元 是最佳助選員

祭止兀 是最佳助選員

祭止兀和蔡正元語意相近

語意向量

把字詞對應到一個 n維度的向量

祭止兀 (1 1 xn)

蔡正元 (1 1 xn)

罷免 蔡正元 失敗

罷免 祭止兀 失敗

蔡正元 是最佳 助選員

祭止兀 是最佳 助選員

(x1=罷免 x

2 =助選員 x

n)

石內卜 (0 0 xn)

語意向量

祭止兀 (x1 x

2 x

n)

蔡正元 (x1 x

2 x

n)

石內卜 (x1 x

2 x

n)

語意向量

語意上越相近的詞在向量空間中的夾角越小

祭止兀 (x1 x

2 x

n)

罷免 (x1 x

2 x

n)

蔡正元 (x1 x

2 x

n)

自己人 (x1 x

2 x

n)

帥哥 (x1 x

2 x

n)

石內卜 (x1 x

2 x

n)

割闌尾 (x1 x

2 x

n)

語意向量

Cosine Similarityndash 向量A 和向量B 的 Cosine Similarity 為

(AB) ( |A| |B| )

祭止兀 (b1 b

2 b

n)

蔡正元 (a1 a

2 a

n)

a1b

1 + a

2b

2 ++ a

nb

n

蔡正元與祭止兀的 Cosine Similarity為

a1

2+a2

2++an

2 b1

2+b2

2++bn

2

類神經網路

一種複雜的機器學習模型其原理是模仿神經元的構造

神經元可從輸入訊息中做運算組合輸出結果

神經元與動作電位

httphumanphisiologywikispacescomfileviewneuronpng216460814neuronpng

httpuploadwikimediaorgwikipediacommonsthumb44aAction_potentialsvg1037px-Action_potentialsvgpng

神經機率語言模型與 word2vec

語意向量 類神經網路 word2vec

n-gram的缺陷

容易受到維度爆炸的影響 只能得出表面文字的關聯無法得出較深層的語意 事實上語意可從其附近的字詞來得知

罷免蔡正元 失敗

罷免 祭止兀 失敗

蔡正元 是最佳助選員

祭止兀 是最佳助選員

祭止兀和蔡正元語意相近

語意向量

把字詞對應到一個 n維度的向量

祭止兀 (1 1 xn)

蔡正元 (1 1 xn)

罷免 蔡正元 失敗

罷免 祭止兀 失敗

蔡正元 是最佳 助選員

祭止兀 是最佳 助選員

(x1=罷免 x

2 =助選員 x

n)

石內卜 (0 0 xn)

語意向量

祭止兀 (x1 x

2 x

n)

蔡正元 (x1 x

2 x

n)

石內卜 (x1 x

2 x

n)

語意向量

語意上越相近的詞在向量空間中的夾角越小

祭止兀 (x1 x

2 x

n)

罷免 (x1 x

2 x

n)

蔡正元 (x1 x

2 x

n)

自己人 (x1 x

2 x

n)

帥哥 (x1 x

2 x

n)

石內卜 (x1 x

2 x

n)

割闌尾 (x1 x

2 x

n)

語意向量

Cosine Similarityndash 向量A 和向量B 的 Cosine Similarity 為

(AB) ( |A| |B| )

祭止兀 (b1 b

2 b

n)

蔡正元 (a1 a

2 a

n)

a1b

1 + a

2b

2 ++ a

nb

n

蔡正元與祭止兀的 Cosine Similarity為

a1

2+a2

2++an

2 b1

2+b2

2++bn

2

類神經網路

一種複雜的機器學習模型其原理是模仿神經元的構造

神經元可從輸入訊息中做運算組合輸出結果

神經元與動作電位

httphumanphisiologywikispacescomfileviewneuronpng216460814neuronpng

httpuploadwikimediaorgwikipediacommonsthumb44aAction_potentialsvg1037px-Action_potentialsvgpng

n-gram的缺陷

容易受到維度爆炸的影響 只能得出表面文字的關聯無法得出較深層的語意 事實上語意可從其附近的字詞來得知

罷免蔡正元 失敗

罷免 祭止兀 失敗

蔡正元 是最佳助選員

祭止兀 是最佳助選員

祭止兀和蔡正元語意相近

語意向量

把字詞對應到一個 n維度的向量

祭止兀 (1 1 xn)

蔡正元 (1 1 xn)

罷免 蔡正元 失敗

罷免 祭止兀 失敗

蔡正元 是最佳 助選員

祭止兀 是最佳 助選員

(x1=罷免 x

2 =助選員 x

n)

石內卜 (0 0 xn)

語意向量

祭止兀 (x1 x

2 x

n)

蔡正元 (x1 x

2 x

n)

石內卜 (x1 x

2 x

n)

語意向量

語意上越相近的詞在向量空間中的夾角越小

祭止兀 (x1 x

2 x

n)

罷免 (x1 x

2 x

n)

蔡正元 (x1 x

2 x

n)

自己人 (x1 x

2 x

n)

帥哥 (x1 x

2 x

n)

石內卜 (x1 x

2 x

n)

割闌尾 (x1 x

2 x

n)

語意向量

Cosine Similarityndash 向量A 和向量B 的 Cosine Similarity 為

(AB) ( |A| |B| )

祭止兀 (b1 b

2 b

n)

蔡正元 (a1 a

2 a

n)

a1b

1 + a

2b

2 ++ a

nb

n

蔡正元與祭止兀的 Cosine Similarity為

a1

2+a2

2++an

2 b1

2+b2

2++bn

2

類神經網路

一種複雜的機器學習模型其原理是模仿神經元的構造

神經元可從輸入訊息中做運算組合輸出結果

神經元與動作電位

httphumanphisiologywikispacescomfileviewneuronpng216460814neuronpng

httpuploadwikimediaorgwikipediacommonsthumb44aAction_potentialsvg1037px-Action_potentialsvgpng

語意向量

把字詞對應到一個 n維度的向量

祭止兀 (1 1 xn)

蔡正元 (1 1 xn)

罷免 蔡正元 失敗

罷免 祭止兀 失敗

蔡正元 是最佳 助選員

祭止兀 是最佳 助選員

(x1=罷免 x

2 =助選員 x

n)

石內卜 (0 0 xn)

語意向量

祭止兀 (x1 x

2 x

n)

蔡正元 (x1 x

2 x

n)

石內卜 (x1 x

2 x

n)

語意向量

語意上越相近的詞在向量空間中的夾角越小

祭止兀 (x1 x

2 x

n)

罷免 (x1 x

2 x

n)

蔡正元 (x1 x

2 x

n)

自己人 (x1 x

2 x

n)

帥哥 (x1 x

2 x

n)

石內卜 (x1 x

2 x

n)

割闌尾 (x1 x

2 x

n)

語意向量

Cosine Similarityndash 向量A 和向量B 的 Cosine Similarity 為

(AB) ( |A| |B| )

祭止兀 (b1 b

2 b

n)

蔡正元 (a1 a

2 a

n)

a1b

1 + a

2b

2 ++ a

nb

n

蔡正元與祭止兀的 Cosine Similarity為

a1

2+a2

2++an

2 b1

2+b2

2++bn

2

類神經網路

一種複雜的機器學習模型其原理是模仿神經元的構造

神經元可從輸入訊息中做運算組合輸出結果

神經元與動作電位

httphumanphisiologywikispacescomfileviewneuronpng216460814neuronpng

httpuploadwikimediaorgwikipediacommonsthumb44aAction_potentialsvg1037px-Action_potentialsvgpng

語意向量

祭止兀 (x1 x

2 x

n)

蔡正元 (x1 x

2 x

n)

石內卜 (x1 x

2 x

n)

語意向量

語意上越相近的詞在向量空間中的夾角越小

祭止兀 (x1 x

2 x

n)

罷免 (x1 x

2 x

n)

蔡正元 (x1 x

2 x

n)

自己人 (x1 x

2 x

n)

帥哥 (x1 x

2 x

n)

石內卜 (x1 x

2 x

n)

割闌尾 (x1 x

2 x

n)

語意向量

Cosine Similarityndash 向量A 和向量B 的 Cosine Similarity 為

(AB) ( |A| |B| )

祭止兀 (b1 b

2 b

n)

蔡正元 (a1 a

2 a

n)

a1b

1 + a

2b

2 ++ a

nb

n

蔡正元與祭止兀的 Cosine Similarity為

a1

2+a2

2++an

2 b1

2+b2

2++bn

2

類神經網路

一種複雜的機器學習模型其原理是模仿神經元的構造

神經元可從輸入訊息中做運算組合輸出結果

神經元與動作電位

httphumanphisiologywikispacescomfileviewneuronpng216460814neuronpng

httpuploadwikimediaorgwikipediacommonsthumb44aAction_potentialsvg1037px-Action_potentialsvgpng

語意向量

語意上越相近的詞在向量空間中的夾角越小

祭止兀 (x1 x

2 x

n)

罷免 (x1 x

2 x

n)

蔡正元 (x1 x

2 x

n)

自己人 (x1 x

2 x

n)

帥哥 (x1 x

2 x

n)

石內卜 (x1 x

2 x

n)

割闌尾 (x1 x

2 x

n)

語意向量

Cosine Similarityndash 向量A 和向量B 的 Cosine Similarity 為

(AB) ( |A| |B| )

祭止兀 (b1 b

2 b

n)

蔡正元 (a1 a

2 a

n)

a1b

1 + a

2b

2 ++ a

nb

n

蔡正元與祭止兀的 Cosine Similarity為

a1

2+a2

2++an

2 b1

2+b2

2++bn

2

類神經網路

一種複雜的機器學習模型其原理是模仿神經元的構造

神經元可從輸入訊息中做運算組合輸出結果

神經元與動作電位

httphumanphisiologywikispacescomfileviewneuronpng216460814neuronpng

httpuploadwikimediaorgwikipediacommonsthumb44aAction_potentialsvg1037px-Action_potentialsvgpng

語意向量

Cosine Similarityndash 向量A 和向量B 的 Cosine Similarity 為

(AB) ( |A| |B| )

祭止兀 (b1 b

2 b

n)

蔡正元 (a1 a

2 a

n)

a1b

1 + a

2b

2 ++ a

nb

n

蔡正元與祭止兀的 Cosine Similarity為

a1

2+a2

2++an

2 b1

2+b2

2++bn

2

類神經網路

一種複雜的機器學習模型其原理是模仿神經元的構造

神經元可從輸入訊息中做運算組合輸出結果

神經元與動作電位

httphumanphisiologywikispacescomfileviewneuronpng216460814neuronpng

httpuploadwikimediaorgwikipediacommonsthumb44aAction_potentialsvg1037px-Action_potentialsvgpng

類神經網路

一種複雜的機器學習模型其原理是模仿神經元的構造

神經元可從輸入訊息中做運算組合輸出結果

神經元與動作電位

httphumanphisiologywikispacescomfileviewneuronpng216460814neuronpng

httpuploadwikimediaorgwikipediacommonsthumb44aAction_potentialsvg1037px-Action_potentialsvgpng

神經元與動作電位

httphumanphisiologywikispacescomfileviewneuronpng216460814neuronpng

httpuploadwikimediaorgwikipediacommonsthumb44aAction_potentialsvg1037px-Action_potentialsvgpng

w1

x1

x2

y=w1x

1+w

2x

2+w

3x

3+b

x3

w2

w3

1

b

z= 1 ( 1+e-y )

Sigmoid function

模仿神經元

httpuploadwikimediaorgwikipediacommonsthumb888Logistic-curvesvg1280px-Logistic-curvesvgpng

類神經網路

httpcpmarkchanglogdowncomposts277349-neural-network-backward-propagation

訓練類神經網路

類神經網路

類神經網路

測試資料 輸出值

訓練資料訓練

輸出值

修正

訓練完成

訓練前

太陽花

香蕉

訓練中

香蕉

太陽花

調整參數

訓練後

香蕉

太陽花

word2vec

一種神經機率語言模型 用類神經網路訓練得出每個字詞的語意向量

內湖石內卜祭止兀罷免失敗

車輪黨闌尾祭止兀罷免失敗

內湖

石內卜

失敗

罷免

闌尾

失敗

祭止兀 祭止兀

罷免

車輪黨

實作 3 word2vec

先對語料庫進行斷詞載入繁體字典並加入自定詞彙

找出與自定詞彙最相近的詞

任意挑選兩個詞計算其相似程度

延伸閱讀

類神經網路訓練過程公式推導ndash httpcpmarkchanglogdowncomposts277349-neu

ral-network-backward-propagation 神經語言模型

ndash httpcpmarkchanglogdowncomposts255785-neural-network-neural-probabilistic-language-model

ndash httpcpmarkchanglogdowncomposts276263--hierarchical-probabilistic-neural-networks-neural-network-language-model

訓練前

太陽花

香蕉

訓練中

香蕉

太陽花

調整參數

訓練後

香蕉

太陽花

word2vec

一種神經機率語言模型 用類神經網路訓練得出每個字詞的語意向量

內湖石內卜祭止兀罷免失敗

車輪黨闌尾祭止兀罷免失敗

內湖

石內卜

失敗

罷免

闌尾

失敗

祭止兀 祭止兀

罷免

車輪黨

實作 3 word2vec

先對語料庫進行斷詞載入繁體字典並加入自定詞彙

找出與自定詞彙最相近的詞

任意挑選兩個詞計算其相似程度

延伸閱讀

類神經網路訓練過程公式推導ndash httpcpmarkchanglogdowncomposts277349-neu

ral-network-backward-propagation 神經語言模型

ndash httpcpmarkchanglogdowncomposts255785-neural-network-neural-probabilistic-language-model

ndash httpcpmarkchanglogdowncomposts276263--hierarchical-probabilistic-neural-networks-neural-network-language-model

訓練中

香蕉

太陽花

調整參數

訓練後

香蕉

太陽花

word2vec

一種神經機率語言模型 用類神經網路訓練得出每個字詞的語意向量

內湖石內卜祭止兀罷免失敗

車輪黨闌尾祭止兀罷免失敗

內湖

石內卜

失敗

罷免

闌尾

失敗

祭止兀 祭止兀

罷免

車輪黨

實作 3 word2vec

先對語料庫進行斷詞載入繁體字典並加入自定詞彙

找出與自定詞彙最相近的詞

任意挑選兩個詞計算其相似程度

延伸閱讀

類神經網路訓練過程公式推導ndash httpcpmarkchanglogdowncomposts277349-neu

ral-network-backward-propagation 神經語言模型

ndash httpcpmarkchanglogdowncomposts255785-neural-network-neural-probabilistic-language-model

ndash httpcpmarkchanglogdowncomposts276263--hierarchical-probabilistic-neural-networks-neural-network-language-model

訓練後

香蕉

太陽花

word2vec

一種神經機率語言模型 用類神經網路訓練得出每個字詞的語意向量

內湖石內卜祭止兀罷免失敗

車輪黨闌尾祭止兀罷免失敗

內湖

石內卜

失敗

罷免

闌尾

失敗

祭止兀 祭止兀

罷免

車輪黨

實作 3 word2vec

先對語料庫進行斷詞載入繁體字典並加入自定詞彙

找出與自定詞彙最相近的詞

任意挑選兩個詞計算其相似程度

延伸閱讀

類神經網路訓練過程公式推導ndash httpcpmarkchanglogdowncomposts277349-neu

ral-network-backward-propagation 神經語言模型

ndash httpcpmarkchanglogdowncomposts255785-neural-network-neural-probabilistic-language-model

ndash httpcpmarkchanglogdowncomposts276263--hierarchical-probabilistic-neural-networks-neural-network-language-model

word2vec

一種神經機率語言模型 用類神經網路訓練得出每個字詞的語意向量

內湖石內卜祭止兀罷免失敗

車輪黨闌尾祭止兀罷免失敗

內湖

石內卜

失敗

罷免

闌尾

失敗

祭止兀 祭止兀

罷免

車輪黨

實作 3 word2vec

先對語料庫進行斷詞載入繁體字典並加入自定詞彙

找出與自定詞彙最相近的詞

任意挑選兩個詞計算其相似程度

延伸閱讀

類神經網路訓練過程公式推導ndash httpcpmarkchanglogdowncomposts277349-neu

ral-network-backward-propagation 神經語言模型

ndash httpcpmarkchanglogdowncomposts255785-neural-network-neural-probabilistic-language-model

ndash httpcpmarkchanglogdowncomposts276263--hierarchical-probabilistic-neural-networks-neural-network-language-model

內湖石內卜祭止兀罷免失敗

車輪黨闌尾祭止兀罷免失敗

內湖

石內卜

失敗

罷免

闌尾

失敗

祭止兀 祭止兀

罷免

車輪黨

實作 3 word2vec

先對語料庫進行斷詞載入繁體字典並加入自定詞彙

找出與自定詞彙最相近的詞

任意挑選兩個詞計算其相似程度

延伸閱讀

類神經網路訓練過程公式推導ndash httpcpmarkchanglogdowncomposts277349-neu

ral-network-backward-propagation 神經語言模型

ndash httpcpmarkchanglogdowncomposts255785-neural-network-neural-probabilistic-language-model

ndash httpcpmarkchanglogdowncomposts276263--hierarchical-probabilistic-neural-networks-neural-network-language-model

內湖

石內卜

失敗

罷免

闌尾

失敗

祭止兀 祭止兀

罷免

車輪黨

實作 3 word2vec

先對語料庫進行斷詞載入繁體字典並加入自定詞彙

找出與自定詞彙最相近的詞

任意挑選兩個詞計算其相似程度

延伸閱讀

類神經網路訓練過程公式推導ndash httpcpmarkchanglogdowncomposts277349-neu

ral-network-backward-propagation 神經語言模型

ndash httpcpmarkchanglogdowncomposts255785-neural-network-neural-probabilistic-language-model

ndash httpcpmarkchanglogdowncomposts276263--hierarchical-probabilistic-neural-networks-neural-network-language-model

實作 3 word2vec

先對語料庫進行斷詞載入繁體字典並加入自定詞彙

找出與自定詞彙最相近的詞

任意挑選兩個詞計算其相似程度

延伸閱讀

類神經網路訓練過程公式推導ndash httpcpmarkchanglogdowncomposts277349-neu

ral-network-backward-propagation 神經語言模型

ndash httpcpmarkchanglogdowncomposts255785-neural-network-neural-probabilistic-language-model

ndash httpcpmarkchanglogdowncomposts276263--hierarchical-probabilistic-neural-networks-neural-network-language-model

延伸閱讀

類神經網路訓練過程公式推導ndash httpcpmarkchanglogdowncomposts277349-neu

ral-network-backward-propagation 神經語言模型

ndash httpcpmarkchanglogdowncomposts255785-neural-network-neural-probabilistic-language-model

ndash httpcpmarkchanglogdowncomposts276263--hierarchical-probabilistic-neural-networks-neural-network-language-model

講者聯絡方式

Mark Chang

Github httpgithubcomckmarkoh

Blog httpcpmarkchanglogdowncom

email ckmarkoh at gmailcom