图学习参考资料 词向量word2vec( 七 )

step 200, loss 0.693step 300, loss 0.693step 400, loss 0.693step 500, loss 0.691step 600, loss 0.688step 700, loss 0.682step 800, loss 0.665step 900, loss 0.658step 1000, loss 0.646step 1100, loss 0.631step 1200, loss 0.612step 1300, loss 0.592step 1400, loss 0.568从打印结果可以看到 , 经过一定步骤的训练,Loss逐渐下降并趋于稳定 。同时也可以发现skip-gram模型可以学习到一些有趣的语言现象,比如:跟who比较接近的词是"who, he, she, him, himself" 。3.4词向量的有趣应用在使用word2vec模型的过程中,研究人员发现了一些有趣的现象 。比如得到整个词表的word embedding之后,对任意词都可以基于向量乘法计算出跟这个词最接近的词 。我们会发现,word2vec模型可以自动学习出一些同义词关系,如:
Top 5 words closest to "beijing" are:1. newyork2. paris3. tokyo4. berlin5. seoul...Top 5 words closest to "apple" are:1. banana2. pineapple3. huawei4. peach5. orange除此以外,研究人员还发现可以使用加减法完成一些基于语言的逻辑推理,如:
Top 1 words closest to "king - man + woman" are1. queen...Top 1 words closest to "captial - china + america" are1. Washington【图学习参考资料 词向量word2vec】

推荐阅读