最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试。现整理如下的笔记,发上来和大家分享。后续还会有kafka的研究笔记,依然会与大家分享! 1 kafka环境搭建 1.1 kafka单机环境搭建 (1)、解压 ...
目录 Kafka 概念 单机搭建与使用 基本概念介绍 Topic Producer Consumer Broker Kafka单机配置,一个Broker 环境: 配置zookeeper 配置Kafka 使用Kafka 创建topic 在虚拟机用sh脚本上作为生产者生产消息 在虚拟机上用sh脚本作为消费者消费消息 使用Python作为生产者 消费者 使用Springboot 作为生产者 消费者 一 ...
2019-03-05 14:40 0 1380 推荐指数:
最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试。现整理如下的笔记,发上来和大家分享。后续还会有kafka的研究笔记,依然会与大家分享! 1 kafka环境搭建 1.1 kafka单机环境搭建 (1)、解压 ...
0.安装java环境 可以参考另一篇文章:https://www.cnblogs.com/codedoge/p/10101580.html 1.下载kafka(我下载的是2.11-2.1.0版本) 2.解压 3.进入kafka的conf目录,修改相关配置文件 ...
一、kafka介绍 1.1 主要功能 根据官网的介绍,ApacheKafka®是一个分布式流媒体平台,它主要有3种功能: 1:It lets you publish and subscribe to streams of records.发布和订阅消息流,这个功能类似于消息队列,这也 ...
一、采用docker搭建一个kafka的单机 1.1 拉取镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 1.2 启动容器 docker run -d --name zookeeper ...
1. Redis基础 1.1 Redis概述 Redis是一个开源、先进的key-value存储,并用于构建高性能、可扩展的应用程序的完美解决方案。 Redis从它的许多竞争继承了三个主要特点: ①Redis数据库完全在内存中,使用磁盘仅用于持久性; ②相比许多键值对数据存储 ...
一、简介 自0.9.0.0.版本引入Security之后,Kafka一直在完善security的功能。当前Kafka security主要包含3大功能:认证(authentication)、信道加密(encryption)和授权(authorization)。信道加密就是为client ...
感觉自己越来越像个运维了,真的是所有的分布式的中间件基本都搭建了一遍 不得了了。 好 废话少说 , 还是来走Kafka 吧 , 经历了Rocket MQ , Kafka 的搭建真的是简单的不知道多少倍 , RocketMQ 实在 是太麻烦了。 还是老方案 , 先登录官网 ...
1.kafka依赖于zookeeper(传送门https://www.cnblogs.com/answerThe/p/11267179.html),所以需要拉取kafka和zookeeper镜像。 docker pull wurstmeister/kafka docker pull ...