原文:基于流计算 Oceanus 和 Elasticsearch Service 构建百亿级实时监控系统

作者:龙逸尘,腾讯 CSIG 高级工程师 为什么要构建监控系统 在后移动互联网时代,良好的用户体验是增长的基础,稳定的使用体验就是用户体验的基础。大型的互联网公司,特别是面向 C 端客户的公司,对业务系统稳定性的要求越来越高,因此对线上问题发现和处理的速度要求通常是分钟级的。比如滴滴等出行公司,打车服务停摆 分钟都会导致导致乘客 司机大规模投诉,不仅造成经济损失,而且严重平台商誉和用户口碑。 大型 ...

2021-12-22 01:56 0 135 推荐指数:

查看详情

百亿实时计算系统性能优化–—Elasticsearch

​导语 | 随着业务的发展,系统日益复杂,功能愈发强大,用户数量级不断增多,设备cpu、io、带宽、成本逐渐增加,当发展到某个量级时,这些因素会导致系统变得臃肿不堪,服务质量难以保障,系统稳定性变差,耗费相当的人力成本和服务器资源。这就要求我们:要有勇气和自信重构服务,提供更先进更优秀的系统 ...

Tue Dec 01 23:49:00 CST 2020 3 825
AI 预测:基于计算 Oceanus(Flink) 实现病症的实时预测

作者:于乐,腾讯 CSIG 工程师 一、方案描述 1.1 概述 近年来,人工智能的风潮为医疗行业带来一场全新革命,AI 在辅助诊断、疾病预测、疗法选择等方面发挥着重要作用。机器学习领域的特征选 ...

Sun Nov 14 23:33:00 CST 2021 0 161
百亿数据,毫秒返回,如何设计?--浅谈实时索引构建之道

本文已整理致我的 github 地址 https://github.com/allentofight/easy-cs,欢迎大家 star 支持一下 前言 近年来公司业务迅猛发展,数据量爆炸式增长,随之而来的的是海量数据查询等带来的挑战,我们需要数据量在十亿,甚至百亿级别 ...

Sat Apr 03 16:26:00 CST 2021 3 1029
基于Spark机器学习和实时计算的智能推荐系统

概要: 随着电子商务的高速发展和普及应用,个性化推荐的推荐系统已成为一个重要研究领域。 个性化推荐算法是推荐系统中最核心的技术,在很大程度上决定了电子商务推荐系统性能的优劣,决定着是否能够推荐用户真正感兴趣的信息,而面对用户的不断提升的需求,推荐系统不仅需要正确的推荐,还要实时地根据用户 ...

Mon Jun 29 07:26:00 CST 2015 0 5085
百亿规模的日志系统架构设计及优化

日志数据是最常见的一种海量数据,以拥有大量用户群体的电商平台为例,双 11 大促活动期间,它们可能每小时的日志数量达到百亿规模,海量的日志数据暴增,随之给技术团队带来严峻的挑战。 本文将从海量日志系统在优化、部署、监控方向如何更适应业务的需求入手,重点从多种日志系统的架构设计对比 ...

Mon Aug 20 23:01:00 CST 2018 0 2067
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM