word2vec

PreviousKalman filtering Next关联规则挖掘

Last updated 4 years ago

Was this helpful?

截图

看上面的链接内容，直接从第5章开始看。

总结

$L=\log \prod_{u} P(u|Content(w))$
$P(u|Content(w)) = \sigma(X_w^T \theta^u) \quad or \quad \sigma(-X_w^T \theta^u)$

Parallelizing Word2Vec in Shared and Distributed Memory

word2vec相较于之前的Word Embedding方法好在什么地方呢？

两个词经常一块出现<=>两个词在某方面有相似语义<=>两个向量在某些维度取值类似

king - man + woman is queen; but why?

上面这篇文章要细读

仅仅利用了word co-occurrence 。忽略了语法等。
interchanged 。A small, fluffy roosety climbed a tree. 根据上下文，可以认为roosety就是松鼠squirrel，因为这两个可以交换。
用pointwise mutual information (PMI)度量两个point的距离 $PMI(a, b) = \log \left[ \frac{P(a,b)}{P(a)P(b)} \right] = \log \left[ \frac{P(a|b)}{P(a)} \right]$ ，一般用近似的 $PMI(a, b) = \vec{v}_a \cdot \vec{v}_b$ 。这个就是向量内积，衡量两个vector接近。
上面的PMI可以用来做推荐系统

Hierarchical Softmax

句子的相似度

算出句子每个词向量之后用

下的WMD_tutorial.ipynb

$L=\log \prod_{u} P(u|Content(w))$

$P(u|Content(w)) = \sigma(X_w^T \theta^u) \quad or \quad \sigma(-X_w^T \theta^u)$

用pointwise mutual information (PMI)度量两个point的距离 $PMI(a, b) = \log \left[ \frac{P(a,b)}{P(a)P(b)} \right] = \log \left[ \frac{P(a|b)}{P(a)} \right]$ ，一般用近似的 $PMI(a, b) = \vec{v}_a \cdot \vec{v}_b$ 。这个就是向量内积，衡量两个vector接近。