(额外补充)词嵌入原理及应用简介.pdfVIP

Word Embedding 词嵌入原理及应用简介 七月算法公开课 李韶华 自我介绍  读博前在CNKI、搜狗、当当网等公司工作 ，从事信息检索和数据挖掘开发  博士课题：贝叶斯生成式模型，表示学习（ 词嵌入、主题嵌入等）  接触自然语言处理时间较短，希望同行批评 指正 词嵌入原理及应用简介 2/23 七月算法在线公开课 词嵌入是NLP的流行方法 词嵌入原理及应用简介 3/23 七月算法在线公开课 讲座提纲  直观上认识词嵌入  词嵌入的优点  模型的发展历史 ；word2vec  Word2vec和矩阵分解的等价性 ；GloVe算法  影响性能的因素 ；怎么调参  “多词义”词嵌入  应用：CNN做句子分类 词嵌入原理及应用简介 4/23 七月算法在线公开课 词嵌入初印象  训练自淘宝商品标题数 据集  数据量小(500多个标题)  32维向量  泰芝郎、欧比森、优鲨 都是男式衬衣品牌  相似词映射到相似方向  Cosine相似度衡量方向 词嵌入原理及应用简介 5/23 七月算法在线公开课 词嵌入做类比题  v(“国王”) – v(“王后”) ≈ v(“男”) – v(“女”)  v(“英国”) + v(“首都”) ≈ v(“伦敦”)  反映出语义空间中的线性关系  质疑：然而并没有什么x用？  两个句子: A含“英国”,“首都”，不含“伦敦”； B含“伦敦”  所有词的词向量的和表示句子  两个句子仍会比较相似 词嵌入原理及应用简介 6/23 七月算法在线公开课 相似词映射到相似方向：为什么  基本假设：“相似”词的邻居词分布类似  倒推：两个词邻居词分布类似→ 两个词语义相 近  猫宠物主人喂食蹭喵  狗宠物主人喂食咬汪  v(“猫”)≈v(“狗”) 词嵌入原理及应用简介 7/23 七月算法在线公开课 词嵌入的优点 传统one-hot编码( “天气”: (1,0,0…,0)，“气候”: (0,1,0,…0) )  维度高（几千–几万维稀疏向量），数据稀疏  难以计算词之间相似度  难以做模糊匹配 词嵌入  维度低（100 – 500维）  无监督学习，不需去掉停用词(stopwords)  天然有聚类后的效果  连续向量，方便机器学习模型处理  罕见词：“风姿绰约” ≈ “漂亮” 词嵌入原理及应用简介 8/23 七月算法在线公开课 最早的词嵌入模型  Bengio 2003, A Neural Probabilistic Language Model  输入: 上下文词的向量 Softmax变换为概率  输出: 下个词的概率 乘矩阵U  目标: 最大化预测概率 Tanh变换  两次矩阵乘，两次非线性 变换 乘矩阵H  参数多，容易过拟合  优化缓慢，不适合大语料 词嵌入原理及应用简介 9/23 七月算法在线公开课 Word2vec 简介