LDA
LDA简介： LDA的全称是Linear Discriminant Analysis（线性判别分析），是一种supervised learning。因为是由Fisher在1936年提出的，所以也叫Fisher’s Linear Discriminant。 LDA通常作为数据预处理阶段的降维技术 ...
原文：Spark LDA实战
选取了 个文档，其中 个来自于一篇论文， 篇来自于一篇新闻， 篇来自于另一篇新闻。 首先在pom文件中加入mysql connector java： main函数： 运行结果： ...
2017-08-13 15:05 0 2994 推荐指数：
相关推荐
Spark机器学习(8)：LDA主题模型算法
1. LDA基础知识 LDA（Latent Dirichlet Allocation）是一种主题模型。LDA一个三层贝叶斯概率模型，包含词、主题和文档三层结构。 LDA是一个生成模型，可以用来生成一篇文档，生成时，首先根据一定的概率选择一个主题，然后在根据概率选择主题里面的一个单词，这样反复 ...
Spark随机森林实战
使用数据： 结果（测试集&预测集）： 内部决策树结构： 总结：可知该随机森林共有10棵树组成，预测结果为10棵树的投票为准。每棵树的最 ...
spark streaming 实战
最近在学习spark的相关知识， 重点在看spark streaming 和spark mllib相关的内容。 关于spark的配置： http://www.powerxing.com/spark-quick-start-guide/ 这篇博客写的很全面：http ...
scala & spark实战
java.lang.Long is not a valid external type for schema of string java.lang.RuntimeExcept ...
Spark Structured Streaming（二）实战
5. 实战Structured Streaming 5.1. Static版本 先读一份static 数据： val static = spark.read.json("s3://xxx/data/activity-data/") static.printSchema root ...
spark之JDBC开发（实战）
一、概述 Spark Core、Spark-SQL与Spark-Streaming都是相同的,编写好之后打成jar包使用spark-submit命令提交到集群运行应用$SPARK_HOME/bin#./spark-submit --master spark://Master01:7077 ...
第8章 Spark SQL实战
第8章 Spark SQL实战 8.1 数据说明 数据集是货品交易数据集。 每个订单可能包含多个货品，每个订单可以产生多次交易，不同的货品有不同的单价。 8.2 加载数据 tbStock： tbStockDetail: tbDate ...