原文:基於流計算 Oceanus 和 Elasticsearch Service 構建百億級實時監控系統

作者:龍逸塵,騰訊 CSIG 高級工程師 為什么要構建監控系統 在后移動互聯網時代,良好的用戶體驗是增長的基礎,穩定的使用體驗就是用戶體驗的基礎。大型的互聯網公司,特別是面向 C 端客戶的公司,對業務系統穩定性的要求越來越高,因此對線上問題發現和處理的速度要求通常是分鍾級的。比如滴滴等出行公司,打車服務停擺 分鍾都會導致導致乘客 司機大規模投訴,不僅造成經濟損失,而且嚴重平台商譽和用戶口碑。 大型 ...

2021-12-22 01:56 0 135 推薦指數:

查看詳情

百億實時計算系統性能優化–—Elasticsearch

​導語 | 隨着業務的發展,系統日益復雜,功能愈發強大,用戶數量級不斷增多,設備cpu、io、帶寬、成本逐漸增加,當發展到某個量級時,這些因素會導致系統變得臃腫不堪,服務質量難以保障,系統穩定性變差,耗費相當的人力成本和服務器資源。這就要求我們:要有勇氣和自信重構服務,提供更先進更優秀的系統 ...

Tue Dec 01 23:49:00 CST 2020 3 825
AI 預測:基於計算 Oceanus(Flink) 實現病症的實時預測

作者:於樂,騰訊 CSIG 工程師 一、方案描述 1.1 概述 近年來,人工智能的風潮為醫療行業帶來一場全新革命,AI 在輔助診斷、疾病預測、療法選擇等方面發揮着重要作用。機器學習領域的特征選 ...

Sun Nov 14 23:33:00 CST 2021 0 161
百億數據,毫秒返回,如何設計?--淺談實時索引構建之道

本文已整理致我的 github 地址 https://github.com/allentofight/easy-cs,歡迎大家 star 支持一下 前言 近年來公司業務迅猛發展,數據量爆炸式增長,隨之而來的的是海量數據查詢等帶來的挑戰,我們需要數據量在十億,甚至百億級別 ...

Sat Apr 03 16:26:00 CST 2021 3 1029
基於Spark機器學習和實時計算的智能推薦系統

概要: 隨着電子商務的高速發展和普及應用,個性化推薦的推薦系統已成為一個重要研究領域。 個性化推薦算法是推薦系統中最核心的技術,在很大程度上決定了電子商務推薦系統性能的優劣,決定着是否能夠推薦用戶真正感興趣的信息,而面對用戶的不斷提升的需求,推薦系統不僅需要正確的推薦,還要實時地根據用戶 ...

Mon Jun 29 07:26:00 CST 2015 0 5085
百億規模的日志系統架構設計及優化

日志數據是最常見的一種海量數據,以擁有大量用戶群體的電商平台為例,雙 11 大促活動期間,它們可能每小時的日志數量達到百億規模,海量的日志數據暴增,隨之給技術團隊帶來嚴峻的挑戰。 本文將從海量日志系統在優化、部署、監控方向如何更適應業務的需求入手,重點從多種日志系統的架構設計對比 ...

Mon Aug 20 23:01:00 CST 2018 0 2067
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM