原文:億級PV的ELK集群實踐之路

前言 筆者多年前便維護過ELK,但是由於站點日志流量及服務器數量並不是很多基本都是單機搞定。 然而光Web服務器就 ,Nginx日志大小每天 G ,加上其他業務系統日志,之前單機ELK顯然不足以支撐現有的業務場景。 規划篇 目前的業務采用阿里雲 自建機房的模式,阿里雲做為線上業務,自建機房做為災備中心,盡可能的將線上日志實時傳輸到自建機房進行數據分析。 架構圖 簡述 .日志集中處理 筆者一開始是在 ...

2018-03-10 18:52 4 3113 推薦指數:

查看詳情

【原創】講講PV的負載均衡架構

引言 本來沒想寫這個題材的,為了某某童鞋能夠更好的茁壯成長,臨時寫一篇負載均衡的。負載均衡,大家可能聽過什么3層負載均衡、4層負載均衡、7層負載均衡什么的?那這是怎么分的呢,ok,是根據osi七層網 ...

Mon Jan 14 03:00:00 CST 2019 1 1967
PV請求的三種負載均衡技術

在互聯網+不斷滲透到生活中的今天,各種各樣的網絡服務存在在我們身邊,他們的訪問流量也是大得驚人。一個大型網站(百萬PV以上)想要正常訪問,單單靠一台服務器是不可能提供穩定服務的。這時候就需要用負載均衡技術將海量的接口請求平均分發到各個服務器上,以減少每台服務器的壓力。 上面的流程圖展示 ...

Tue Apr 11 19:10:00 CST 2017 0 2570
用戶中心的設計與實踐

用戶中心是互聯網最為基礎的核心系統,隨着業務和用戶的增長,勢必會帶來不斷的挑戰。如何在的情況下保證系統的高可用,高性能以及高安全,本文能夠給你一套實踐方案。 注1:本文討論的是微服務框架下的用戶中心,不涉及授權等功能; 注2:本文所涉及的用戶中心設計與vivo自身業務無關 ...

Mon Mar 08 18:18:00 CST 2021 2 1025
有贊訂單同步的探索與實踐

https://www.infoq.cn/article/QxFxSOt5UuH1-WqJwMQg 一、引子 有贊是提供商家 SAAS 服務,隨着越來越多的商家使用有贊,搜索或詳情的需求也日益增長 ...

Tue May 21 18:52:00 CST 2019 0 458
高德流量接入層服務的演化之路

題為《高德流量接入層服務的演化之路》的演講,主要分享了接入層服務在高德業務飛速發展過程中,為應對系統 ...

Thu Oct 31 23:25:00 CST 2019 1 804
基於Apache Hudi + Flink的數據入湖實踐

本次分享分為5個部分介紹Apache Hudi的應用與實踐 實時數據落地需求演進 基於Spark+Hudi的實時數據落地應用實踐 基於Flink自定義實時數據落地實踐 基於Flink+Hudi的應用實踐 后續應用規划及展望 1. 實時數據落地需求演進 實時平台 ...

Sun Jan 09 14:10:00 CST 2022 0 746
微信用戶異常檢測框架的設計與實踐

歡迎大家前往雲+社區,獲取更多騰訊海量技術實踐干貨哦~ 作者:青原行思(微信安全) 作者:李琦、元東、苗園莉(清華大學深圳研究生院) 編輯:小智 由 騰訊大講堂 發布在雲+社區 月活用戶越高的互聯網產品,被黑產盯上的可能性就越大。在微信的安全生態里,正是有網絡黑產 ...

Thu Jan 25 23:17:00 CST 2018 2 997
塗鴉智能 dubbo-go 流量的實踐與探索

塗鴉智能 dubbo-go 流量的實踐與探索 dubbo 是一個基於 Java 開發的高性能的輕量級 RPC 框架,dubbo 提供了豐富的服務治理功能和優秀的擴展能力。而 dubbo-go 在 java 與 golang 之間提供統一的服務化能力與標准,是塗鴉智能目前最需要解決的主要 ...

Fri Jun 12 06:17:00 CST 2020 0 2330
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM