使用VMW安装四台CentOS x DVD .iso虚拟机： 计划配置三台centos虚拟机： 资源分配情况： 每台虚拟机分配：内存 G，CPU核数 个，磁盘 G。 VMW配置及本地IPv 上网配置情况： 安装VMW，并设置其连接方式为桥接方式： 本地网络适配器除了 本地连接 外，其他都禁用： 本地连接的IPV 配置，这里采用的自适应方式： 本地ipconfig如下： 安装CentOS 安装Cen ...
2018-06-26 20:11 0 815 推荐指数：
如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming ...
如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming ...
如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming ...
如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何配置hadoop2.9.0 HA 请参考《Kafka：ZK+Kafka+Spark ...
注： elasticsearch 版本6.2.2 1）集群模式，则每个节点都需要安装ik分词，安装插件完毕后需要重启服务，创建mapping前如果有机器未安装分词，则可能该索引可能为RED，需要删除后重建 ...
flatMapGroupsWithState的出现解决了什么问题： flatMapGroupsWithState的出现在spark structured streaming原因(从spark.2.2.0开始才开始支持)： 1）可以实现agg函数； 2）就目前最新spark2.3.2版本 ...
将arvo格式数据发送到kafka的topic 第一步：定制avro schema: 定义一个avro的schema文件userlog.avsc，内容如上。 该schema包含字段：ip:string,identity:string,userid:int,time:string ...
参考《在Kafka中使用Avro编码消息：Consumer篇》、《在Kafka中使用Avro编码消息：Producter篇》 在了解如何avro发送到kafka，再从kafka解析avro数据之前，我们可以先看下如何使用操作字符串： producer ...
