大数据时代，海量数据分析就像吃饭一样，成为了我们每天的工作。为了更好的为公司提供运营决策，各种抖机灵甚至异想天开的想法都会紧跟着接踵而来！业务多变，决定了必须每天修改系统，重新跑数据，这就要求极高的海量数据读取和存储速度！ 公司每天增加几亿行的业务日志数据，我们需要从中分析出各种维度的业务画像 ...

数据存储和成本管理： 有效的降低存储资源的消耗，节省存储成本，是存储管理孜孜追求的目标； 一般从 4 个方面优化存储：数据压缩、数据重分布、存储治理项优化、生命周期管理； 一、数据压缩 实际中的数据存储情况：在其它分布式计算系统中，为了提高 ...

技术特点 数字化和信息化 IT基础设施 大数据平台 大数据面对的场景 大数据技术栈 大数据平台技术选型 AI平台： AI面对的问题 准则： 关于未来趋势 广连接、快反应 云计算 1.云计算技术栈 2.多云架构 ...

摘要：用户的多场景融合分析的诉求不允许将集群进行拆分，不允许将数据分析业务割裂而导致业务模块之间失去关联，故华为开启了单集群2万节点规模探索。 7月9日，中国通信院在大数据产业峰会·成果发布会上为通过大数据产品能力评测的产品颁发证书，华为云FusionInsight MRS以测试项全部满分 ...

说到处理大数据的工具，普通的开源解决方案（尤其是Apache Hadoop）堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测，在接下来几年，“100%的大公司”会采用Hadoop。Market Research的一份报告预测，到2011年，Hadoop市场会以58%的年 ...

随着网络性能提升，云端计算架构逐步向存算分离转变，AWS Aurora 率先在数据库领域实现了这个转变，大数据计算领域也迅速朝此方向演化。 存算分离在云端有明显优势，不但可以充分发挥弹性计算的灵活，同时集中的托管存储可以提供更大的容量和更低的成本，避免了云端大量自建存储集群的维护代价 ...

这是一个商业对话中言必称大数据和AI的时代，用数据爆炸来形容这个时代毫不过分。但面对这么多和杂的数据很多传统品牌企业失去了方向，束手无策，传统品牌时代那种高举高打，有钱就可以任性的时代已经结束，取代的是精准营销，商业智能等多种形式。 现实很美 ...

线上服务的有效监控和数据收集，一直是后端服务离不开的话题。直播作为一种经典的分布式系统，监控以及数据收集更是必不可少的工作。如何对海量的服务集群有效的监控和保活，又如何抓取集群中的碎片数据中来优化服务？网易云信音视频研发工程师将和大家共同探讨。 推荐阅读 视频私有云实战：基于Docker ...