大数据的近实时分析系统架构
近实时分析的场景 近实时分析 – 对变化中的数据?供快速分析能力 分析现实世界中正在发生的事件的能力，结合历史数据和实时流数据进行汇总分析、预测和明细查询 绝对实时和批量不可调和，"近实时" 的意思是这是人机交互中能感受的尺度（秒级），而不是机器自动处理的实时性量级（ns / us级 ...
原文：微信技术总监讲大数据高并发系统架构
微信 腾讯战略级产品，创造移动互联网增速记录， 个月 万手机用户， 天之内完成用户数从零到一亿的增长过程，千万级用户同时在线，摇一摇每天次数过亿 在技术架构上，微信是如何做到的 日前，在腾讯大讲堂在中山大学校园宣讲活动上，腾讯广研助理总经理 微信技术总监周颢在两小时的演讲中揭开了微信背后的秘密。 周颢， 年毕业于华南理工大学，计算机专业硕士。 年加入腾讯广州研发部，历任QQ邮箱架构师，广研技术总监 ...
2017-02-07 14:21 0 4474 推荐指数：
相关推荐
[转]携程大数据实践：高并发应用架构及推荐系统案例
本文来自携程技术中心基础业务研发部的《应用架构涅槃》系列分享。据基础业务研发部负责人李小林介绍，互联网二次革命的移动互联网时代，如何吸引用户、留住用户并深入挖掘用户价值，在激烈的竞争中脱颖而出，是各大电商的重要课题。通过各类大数据对用户进行研究，以数据驱动产品是解决这个课题的主要手段，携程 ...
高并发秒杀系统架构秒杀
【高并发】高并发秒杀系统架构解密，不是所有的秒杀都是秒杀！ 前言 很多小伙伴反馈说，高并发专题学了那么久，但是，在真正做项目时，仍然不知道如何下手处理高并发业务场景！甚至很多小伙伴仍然停留在只是简单的提供接口（CRUD）阶段，不知道学习的并发知识如何运用 ...
对高并发系统架构的认识(1)
对于一个需要处理高并发的系统而言，可以从多个层面去解决这个问题。 1、数据库系统：数据库系统可以采取集群策略以保证某台数据库服务器的宕机不会影响整个系统，并且通过负载均衡策略来降低每一台数据库服务器的压力（当然用一台服务器应付一般而言没啥问题，找一台当备机放着应付宕机就行，如果一台应付 ...
什么是大数据技术架构
大数据的应用开发过于偏向底层，具有学习难度大，涉及技术面广的问题，这制约了大数据的普及。现在需要一种技术，把大数据开发中一些通用的，重复使用的基础代码、算法封装为类库，降低大数据的学习门槛，降低开发难度，提高大数据项目的开发效率。 大数据在工作中的应用有三种：与业务相关，比如用户画像、风险控制 ...
拆解大数据总线平台DBus的系统架构
Dbus所支持两类数据源的实现原理与架构拆解。 大体来说，Dbus支持两类数据源： RDBMS数据源 日志类数据源 一、RMDBMS类数据源的实现 以mysql为例子. 分为三个部分： 日志抽取模块 增量转换模块 全量拉取模块 1.1 日志抽取模块 ...
“NASA”计划背后_阿里巴巴大数据系统架构概述
DT时代，人们比以往任何时候都收集到更多的数据。据IDC报告，预计到2020年，全球数据总量将超过40ZB(相当于40万亿GB)，这一数据量是2011年的22倍！正在“爆炸式”增长的数据，其潜在巨大价值有待发掘。它作为一种新的能源，正在发生聚变，变革着我们的生产和生活，催生了当下大数据行业 ...