原文:亿级PV的ELK集群实践之路

前言 笔者多年前便维护过ELK,但是由于站点日志流量及服务器数量并不是很多基本都是单机搞定。 然而光Web服务器就 ,Nginx日志大小每天 G ,加上其他业务系统日志,之前单机ELK显然不足以支撑现有的业务场景。 规划篇 目前的业务采用阿里云 自建机房的模式,阿里云做为线上业务,自建机房做为灾备中心,尽可能的将线上日志实时传输到自建机房进行数据分析。 架构图 简述 .日志集中处理 笔者一开始是在 ...

2018-03-10 18:52 4 3113 推荐指数:

查看详情

【原创】讲讲亿PV的负载均衡架构

引言 本来没想写这个题材的,为了某某童鞋能够更好的茁壮成长,临时写一篇负载均衡的。负载均衡,大家可能听过什么3层负载均衡、4层负载均衡、7层负载均衡什么的?那这是怎么分的呢,ok,是根据osi七层网 ...

Mon Jan 14 03:00:00 CST 2019 1 1967
亿PV请求的三种负载均衡技术

在互联网+不断渗透到生活中的今天,各种各样的网络服务存在在我们身边,他们的访问流量也是大得惊人。一个大型网站(百万PV以上)想要正常访问,单单靠一台服务器是不可能提供稳定服务的。这时候就需要用负载均衡技术将海量的接口请求平均分发到各个服务器上,以减少每台服务器的压力。 上面的流程图展示 ...

Tue Apr 11 19:10:00 CST 2017 0 2570
亿用户中心的设计与实践

用户中心是互联网最为基础的核心系统,随着业务和用户的增长,势必会带来不断的挑战。如何在亿的情况下保证系统的高可用,高性能以及高安全,本文能够给你一套实践方案。 注1:本文讨论的是微服务框架下的用户中心,不涉及授权等功能; 注2:本文所涉及的用户中心设计与vivo自身业务无关 ...

Mon Mar 08 18:18:00 CST 2021 2 1025
有赞亿订单同步的探索与实践

https://www.infoq.cn/article/QxFxSOt5UuH1-WqJwMQg 一、引子 有赞是提供商家 SAAS 服务,随着越来越多的商家使用有赞,搜索或详情的需求也日益增长 ...

Tue May 21 18:52:00 CST 2019 0 458
高德亿流量接入层服务的演化之路

题为《高德亿流量接入层服务的演化之路》的演讲,主要分享了接入层服务在高德业务飞速发展过程中,为应对系统 ...

Thu Oct 31 23:25:00 CST 2019 1 804
基于Apache Hudi + Flink的亿数据入湖实践

本次分享分为5个部分介绍Apache Hudi的应用与实践 实时数据落地需求演进 基于Spark+Hudi的实时数据落地应用实践 基于Flink自定义实时数据落地实践 基于Flink+Hudi的应用实践 后续应用规划及展望 1. 实时数据落地需求演进 实时平台 ...

Sun Jan 09 14:10:00 CST 2022 0 746
微信亿用户异常检测框架的设计与实践

欢迎大家前往云+社区,获取更多腾讯海量技术实践干货哦~ 作者:青原行思(微信安全) 作者:李琦、元东、苗园莉(清华大学深圳研究生院) 编辑:小智 由 腾讯大讲堂 发布在云+社区 月活用户越高的互联网产品,被黑产盯上的可能性就越大。在微信的安全生态里,正是有网络黑产 ...

Thu Jan 25 23:17:00 CST 2018 2 997
涂鸦智能 dubbo-go 亿流量的实践与探索

涂鸦智能 dubbo-go 亿流量的实践与探索 dubbo 是一个基于 Java 开发的高性能的轻量级 RPC 框架,dubbo 提供了丰富的服务治理功能和优秀的扩展能力。而 dubbo-go 在 java 与 golang 之间提供统一的服务化能力与标准,是涂鸦智能目前最需要解决的主要 ...

Fri Jun 12 06:17:00 CST 2020 0 2330
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM