项目背景 每个系统都有日志，当系统出现问题时，需要通过日志解决问题 当系统机器比较少时，登陆到服务器上查看即可满足 当系统机器规模巨大，登陆到机器上查看几乎不现实 当然即使是机器规模不大，一个系统通常也会涉及到多种语言的开发，拿我们公司来说，底层是通过c++开发的，而也业务 ...

到这一步，我的收集系统就已经完成很大一部分工作，我们重新看一下我们之前画的图： 我们已经完成前面的部分，剩下是要完成后半部分，将kafka中的数据扔到ElasticSearch，并且最终通过kibana展现出来 ElasticSearch 官网地址这里介绍了非常详细的安装方法：https ...

一篇文章主要是关于整体架构以及用到的软件的一些介绍，这一篇文章是对各个软件的使用介绍，当然这里主要是关于架构中我们agent的实现用到的内容 关于zookeeper+kafka 我们需要先把两者启动，先启动zookeeper,再启动kafka启动ZooKeeper:./bin ...

再次整理了一下这个日志收集系统的框，如下图 这次要实现的代码的整体逻辑为： 完整代码地址为: https://github.com/pythonsite/logagent etcd介绍 高可用的分布式key-value存储，可以用于配置共享和服务发现 类似的项目 ...

机票实时搜索系统架构设计 • 不同的业务场景，不同的特征 • 结合特征去进⾏设计和优化 • 通⽤!=最优 • 量体裁⾐ 分布式系统的CAP理论 首先把分布式系统中的三个特性进行了如下归纳： ● 一致性（C）：在分布式系统中的所有数据备份，在同一时刻是否同样的值 ...

中经常用到的日志、缓存、异常、事务、多浏览器支持、通用权限、安全、加密解密、压缩解压。实现基于XML的 ...

日志数据是最常见的一种海量数据，以拥有大量用户群体的电商平台为例，双 11 大促活动期间，它们可能每小时的日志数量达到百亿规模，海量的日志数据暴增，随之给技术团队带来严峻的挑战。 本文将从海量日志系统在优化、部署、监控方向如何更适应业务的需求入手，重点从多种日志系统的架构设计对比 ...

小结： 1、 有赞百亿级日志系统架构设计https://tech.youzan.com/you-zan-bai-yi-ji-ri-zhi-xi-tong-jia-gou-she-ji/ 马梦婕 | 15 Apr 2019 | 16 min (4265 words ...