与 LDA 假设不同,BTM 模型假设每个biterm 中的两个词汇均是采样于一个主题 z,而每个主题是关于词汇的多项式分布。该模型示意图如下 BTM 于LDA的不同在于,LDA是document-level,BTM是corpus-level,LDA 计算 ...
记录学习BTM 来源知乎等https: zhuanlan.zhihu.com p 什么是BTM BTM和LDA一样都是主题模型,就是给你一篇文档,你指定一个主题的个数,这两个模型都会生成每个主题中的关键词,以及一篇新的文档中各个主题的概率有多大。根据论文作者的表述。传统的主题模型 LDA 在处理短文本 比如直播间弹幕,微博文本等等 ,会因为文本中的词过于稀疏,得到模型的效果不够好。为了解决这个问 ...
2021-03-25 16:11 0 674 推荐指数:
与 LDA 假设不同,BTM 模型假设每个biterm 中的两个词汇均是采样于一个主题 z,而每个主题是关于词汇的多项式分布。该模型示意图如下 BTM 于LDA的不同在于,LDA是document-level,BTM是corpus-level,LDA 计算 ...
BTM的原理跟LDA很像,下面是该模型的概率图: 由该图可以看出来,与LDA的区别在于确定主题分布和词分布后相应地取两个词(而LDA只取一个,即类比常见的骰子说法:先投掷K面的骰子得到主题z,再根据相应的V面骰子,连续投掷两次,得到一对词汇),这俩词叫做biterm(就是在把一个文档分词之后 ...