Spring Batch在大型企业中的最佳实践
在大型企业中，由于业务复杂、数据量大、数据格式不同、数据交互格式繁杂，并非所有的操作都能通过交互界面进行处理。而有一些操作需要定期读取大批量的数据，然后进行一系列的后续处理。这样的过程就是“批处理”。 批处理应用通常有以下特点： 数据量 ...
原文：Kafka在大型应用中的 20 项最佳实践
原标题：Kafka如何做到 秒处理 万条消息 Apache Kafka 是一款流行的分布式数据流平台，它已经广泛地被诸如 New Relic 数据智能平台 Uber Square 移动支付公司 等大型公司用来构建可扩展的 高吞吐量的 且高可靠的实时数据流系统。 例如，在 New Relic 的生产环境中，Kafka 群集每秒能够处理超过 万条消息，而且其数据聚合率接近 Tbps。 可见，Kafka ...
2018-10-10 20:23 0 1352 推荐指数：
相关推荐
Kafka最佳实践
一、硬件考量 1.1、内存 不建议为kafka分配超过5g的heap，因为会消耗28-30g的文件系统缓存，而是考虑为kafka的读写预留充足的buffer。Buffer大小的快速计算方法是平均磁盘写入数量的30倍。推荐使用64GB及以上内存的服务器，低于32GB内存的机器可能会适得其反 ...
KAFKA的最佳实践
背景 一个Python项目中要使用kafka去deliver log，1个producer，5个consumer。单条消息的大小是100KB ～ 500KB，producer要在1秒钟之内能够发送30个这样的message。然后每个consumer也要在1秒钟之内消费30个这样的message ...
20 个 OpenSSH 最佳安全实践
来源：https://linux.cn/article-9394-1.html OpenSSH 是 SSH 协议的一个实现。一般通过 scp 或 sftp 用于远程登录、备份、远程文件传输等功能。S ...
基于消息队列 RocketMQ 的大型分布式应用上云最佳实践
作者｜绍舒 审核&校对：岁月、佳佳 编辑&排版：雯燕 前言 消息队列是分布式互联网架构的重要基础设施，在以下场景都有着重要的应用： 应用解耦 削峰填谷 异步通知 分布式事务 大数据处理 并涉及互动直播、移动互联网&物联网，IM 实时通信 ...
window下Kafka最佳实践
Kafka的介绍和入门请看这里kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转） 当前文章从实践的角度为大家规避window下使用的坑。 1.要求： java 6+ 2.下载kafka【注意，只用下载kafka】 http://mirrors.cnnic.cn ...
【译】Kafka最佳实践 / Kafka Best Practices
本文来自于DataWorks Summit/Hadoop Summit上的《Apache Kafka最佳实践》分享，里面给出了很多关于Kafka的使用心得，非常值得一看，今推荐给大家。 硬件配置 JBOD: Just bunch of disks，就是普通的一堆磁盘组成的集群 OS ...
kafka最佳实践：Kafka Best Practices
Kafka Broker: Java Version We recommend latest java 1.8 with G1 collector ( which is default in new version). If you are using Java 1.7 and G1 ...