深度学习之word2vec.pptVIP

CBOW模型+Hierarchical Softmax方法（续） 正类概率: 负类概率: 足球 叶子节点经过4次二分类 由Context(足球)预测足球出现的概率 对于叶节点的每一个词，有一个全局唯一的编码，形如1001。 在训练阶段，当给定上下文，要预测的词是w_t的时候，我们事先可以知道它的编码是1001。 我们就从二叉树的根节点开始遍历，我们希望在根节点，隐层词向量Xw和与根节点相连经过logistic计算得到bit=1的概率尽量接近0，在第二层，希望其bit=1的概率尽量接近1，这么一直下去，我们把一路上计算得到的概率相乘，即得到目标词w_t在当前网络下的概率P(w_t)，那么对于当前这个sample的残差就是1-P(w_t) 损失函数就是要最小化 这个残差 word2vec实战（一） 训练数据集：经过分词后的新闻数据，大小184MB 查看中国，钓鱼岛，旅游，苹果几个词语的相似词语如下所示 word2vec实战（一） 向量加减法 中国+北京-日本，中国+北京-法国，家庭+孩子-学校 word2vec应用（一） 机器翻译 语言词语的关系集合被表征为向量集合 向量空间内，不同语言享有许多共性 实现一个向量空间到另一个向量空间的映射和转换 图为英语和西班语的五个词在向量空间中的位置（已经过降维） 对英语和西班语之间的翻译准确率高达90% word2vec应用（三） 给广告主推荐用户 T媒体网站用户浏览网页的记录 pageH是匹克体育用品公司在T上的官网 page2,page3,page5和pageH是比较相似的页面 可给匹克体育用品公司推荐经常浏览page2,3,5这个几个页面的用户进行广告投放 word2vec应用（三） 相似的页面计算过程 word2vec应用（三）续 对预估模型的帮助 新广告上线存在冷启动问题 通过比较相似的广告的点击率来预估这个广告的点击率 由上个例子可得到每个页面的向量，然后通过Kmeans进行聚类，得到比较相似页面的簇？ 向页面向量添加其它的特征，例如广告主所属的行业和地域等 假设页面p1的向量是(0.3,-0.5,0.1），加入行业和地域信息后为(0.3,-0.5,0.1,1,0)，1和0分别表示行业和地域的特征值 这样得到的聚类效果相对更好 thank you ! QA 深度学习之word2vec 学习、分享与交流 陈凯2015/12/17 目录 基本概念 模型与方法 实战与应用 词向量 自然语言中的词语在机器学习中表示符号 One-hot Representation 例如： “话筒”表示为 [0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 ...] “麦克”表示为 [0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 ...] 实现时就可以用0,1,2,3,...来表示词语进行计算，这样“话筒”就为3，“麦克”为8. 存在两个问题 当文本丰富度较大时，维度过大 词汇鸿沟：任意两个词之间都是孤立的，不能体现词和词之间的关系 词向量 Distributional Representation 词表示为： [0.792, ?0.177, ?0.107, 0.109, 0.542, ...] 常见维度50或者100 解决“词汇鸿沟”问题 可以通过计算向量之间的距离（欧式距离、余弦距离等）来体现词与词的相似性 如何训练这样的词向量 没有直接的模型可训练得到 可通过训练语言模型的同时，得到词向量 语言模型 判断一句话是不是正常人说出来的，用数学符号描述为 给定一个字符串w1,w2,...,wt,计算它是自然语言的概率 ，一个很简单的推论是 例如，有个句子大家,喜欢,吃,苹果 P(大家，喜欢，吃，苹果)=p(大家)p(喜欢|大家)p(吃|大家,喜欢)p(苹果|大家,喜欢,吃) 简单表示为 计算 问题 语言模型 现有模型 N-gram模型 N-pos模型 ... Bengio的NNLM CW 的 SENNA MH 的 HLBL Mikolov 的 RNNLM Huang 的语义强化 ... 相似的词语拥有相似的语境 word2vec原理 两种模型，两种方法 模型 CBOW Skip-Gram 方法 Hierarchical Softmax Negative Sampling Hierarchical Softmax Negative Sampling 简单神经网络 扫雷机的神经网络 权重向量： 0.3, -0.8， -0.2， 0.6， 0.1， -0.l， 0.4， 0.5 w1x1 + w2x2 + w3x3 +...+ wnxn =