亿级 Web 系统搭建：单机到分布式集群
本文内容 Web 负载均衡 HTTP 重定向 反向代理 IP 负载均衡 DNS 负载均衡 Web 系统缓存机制的建立和优化 MySQL 数据库内部缓存 搭建多台 MySQL 数据库 MySQL ...
原文：spark集群搭建整理之解决亿级人群标签问题
最近在做一个人群标签的项目，也就是根据客户的一些交易行为自动给客户打标签，而这些标签更有利于我们做商品推荐，目前打上标签的数据已达 亿 ， 用户量大概 亿 ，项目需求就是根据各种组合条件寻找标签和人群信息。 举个例子： 集合A： 购买过 牙膏 的人交易金额在 元并且交易次数在 次的客户并且平均订单价在 元 。 集合B： 购买过 牙刷 的人交易金额在 并且交易次数在 次的客户并且平均订单价在 元 ...
2018-05-29 16:32 11 4828 推荐指数：
相关推荐
亿级Web系统搭建——单机到分布式集群
当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段，我们会遇到不同的问题，通过搭建不同的服务和架构来解决 ...
亿级PV的ELK集群实践之路
前言 笔者多年前便维护过ELK，但是由于站点日志流量及服务器数量并不是很多基本都是单机搞定。 然而光Web服务器就400+，Nginx日志大小每天50G+，加上其他业务系统日志，之前单机ELK显然 ...
docker 搭建spark集群
借鉴：https://blog.csdn.net/u013705066/article/details/80030732下面这个例子让我感受到docker的便捷和强大。两行命令搭建spark集群：1.准备一个docker-compose.yml配置文件，描述集群结构及必要参数 ...
Spark集群环境搭建——部署Spark集群
在前面我们已经准备了三台服务器，并做好初始化，配置好jdk与免密登录等。并且已经安装好了hadoop集群。 如果还没有配置好的，参考我前面两篇博客： Spark集群环境搭建——服务器环境初始化：https://www.cnblogs.com/doublexi/p/15623436.html ...
Spark 集群环境搭建
思路： ①先在主机s0上安装Scala和Spark，然后复制到其它两台主机s1、s2 ②分别配置三台主机环境变量，并使用source命令使之立即生效 主机映射信息如下： 搭建目标： s0 : Master s1 ...
spark教程(一)-集群搭建
spark 简介 建议先阅读我的博客 大数据基础架构 spark 一个通用的计算引擎，专门为大规模数据处理而设计，与 mapreduce 类似，不同的是，mapreduce 把中间结果 写入 hdfs，而 spark 直接写入 内存，这使得它能够实现实时计算。 spark 由 scala ...
超实用的mysql分库分表策略，轻松解决亿级数据问题
一、分库分表的背景 在数据爆炸的年代，单表数据达到千万级别，甚至过亿的量，都是很常见的情景。这时候再对数据库进行操作就是非常吃力的事情了，select个半天都出不来数据，这时候业务已经难以维系。不得已，分库分表提上日程，我们的目的很简单，减小数据库的压力，缩短表的操作时间 ...