最近需要做一个订阅kafka中的消息并存入Phoenix中的项目,首先使用了pykakfa模块,代码如下: 在windows中运行正常,但是放到ubuntu14.04下,出现错误: 在官网https://github.com/Parsely/pykafka查看介绍 ...
. Java 消费端消费报错 No entry found for connection 和Connection to node 解决办法:https: blog.csdn.net qq article details Java 端实现 kafka 生产者与消费者,kafka 服务在云服务器 。当消费者消费消息报错,需要修改kafka 的 server.properties 配置 ip 为云服务 ...
2020-09-07 10:03 0 538 推荐指数:
最近需要做一个订阅kafka中的消息并存入Phoenix中的项目,首先使用了pykakfa模块,代码如下: 在windows中运行正常,但是放到ubuntu14.04下,出现错误: 在官网https://github.com/Parsely/pykafka查看介绍 ...
1.启动后第一个报错如下: [error] k.m.a.c.BrokerViewCacheActor - Failed to get broker metrics for BrokerIdentit ...
官方指导:http://spark.apache.org/docs/2.2.0/structured-streaming-kafka-integration.html 1、版本问题 起初用的kafka是0.8,各种问题,后面换成官方要求的 0.10.0 以上,一些版本问题再没有 ...
在项目中使用spark-stream读取kafka数据源的数据,然后转成dataframe,再后通过sql方式来进行处理,然后放到hive表中, 遇到问题如下,hive-metastor在没有做高可用的情况下,有时候会出现退出,这个时候,spark streaminG的微批作业就会失败 ...
kafka对于消息体的大小默认为单条最大值是1M. 但是在我们应用场景中, 常常会出现一条消息大于1M, 如果不对kafka进行配置. 则会出现生产者无法将消息推送到kafka或消费者无法去消费kafka里面的数据, 这是我们就要对kafka进行以下配置: 1. ...
学习技术,提升自己 安装kafka 1.官网找到压缩包,下载并上传到虚拟机内(没钱买不起服务器) 2.执行解压缩命令 tar -zxvf kafka_2.11-2.1.0.tgz 3.进入到kafka_2.11-2.1.0/config目录里,执行图片中的命令 ...
问题 解决办法:## *** 文件~/.bashrc 末尾添加 *** ...
1.启动kafka命令: #nohup ./bin/kafka-server-start config/server-properties & 报错如下: (1)拒绝连接,如果有开启防火墙,将2181端口设置通过: #vi /etc/sysconfig/iptables 添加 ...