本文来自网易云社区 作者：李勇 背景 随着互联网的不断发展，用户所产生的行为数据被越来越多的网站重视，那么什么是用户行为呢？所谓的用户行为主要由五种元素组成：时间、地点、人物、行为、行为对应的内容。为什么要做用户的行为分析？因为只有做了用户行为分析才能知道用户画像、才能知道用户在网 ...

需求说明： 如下图：要用Flume进行用户行为日志数据采集到Hdfs目录下，以便为hive数据仓库提供用户行为数据 大致数据流程如下： 1）页面或者app前端，通过采集用户的页面行为（如点击某商品，浏览了什么商品，停留了在那个页面这些行为），通过页面JS发送数据 到后台 ...

正是因为Kafka推出了Kerberos认证，才表示Kafka真正的由实验阶段变为了实际的生产环境(速度很慢)，但是对于SSL的认证处理是非常复杂的，所以在实际的开发中，更多的开发者会选择利用Kerberos这种认证机制，同时结合jaas配置文件进行更加有效的安全认证处理。 Kerberos认证 ...

有些操作，需要短信验证码，就要每次到服务端查看日志。有些同事不知道如何查看，就写了页面方便大家调用查看服务端日志。 1.Service层 1.1Service接口 1.2.Service实现类 1.3测试Service层 2.controller层 3.前端 3.1 ...

一直报错： 查看zk服务端，报错如下： 原因是 watch 太多且路径太长导致重连的时候超过了 ZK maxBuffer 的限制 把 客户端从 3.4.6 升级到 3.4.7 就能解决这个问题 先部署zookeeper，默认docker不需要参数，域名访问地址 ...

写在前面 什么是用户行为日志呢？其实也叫做用户行为轨迹，流量日志等。简单来说，就是用户每次访问网站产生的行为数据（访问，浏览，搜索，点击等）。基本上，只要你访问了任何一个网站，该网站都会有你的行为记录。 当然，日志也是一个很大的概念，任何程序都有可能输出日志：操作系统内核、各种应用服务 ...

用于行为日志生成方式 1、Nginx 2、Ajax 用户行为日志内容 日志数据内容： 1）访问的系统属性：操作系统、浏览器等等 2）访问特征：点击的URL、从哪个URL跳转过来的（referer）、页面上的停留时间 3）访问信息：session_id、访问ID（访问城市）等 用户 ...

写入流程   Kafka 服务端通过KafkaApis的handle()方法来统一处理请求，ApiKeys枚举了能被handle() 方法处理的请求类型吗，如果是PRODUCE类型，表示有生产者客户端发送了消息，之后将消息传递给副本管理器处理。   副本管理器会将消息追加到分区 leader ...