Spring Batch在大型企業中的最佳實踐
在大型企業中，由於業務復雜、數據量大、數據格式不同、數據交互格式繁雜，並非所有的操作都能通過交互界面進行處理。而有一些操作需要定期讀取大批量的數據，然后進行一系列的后續處理。這樣的過程就是“批處理”。 批處理應用通常有以下特點： 數據量 ...
原文：Kafka在大型應用中的 20 項最佳實踐
原標題：Kafka如何做到 秒處理 萬條消息 Apache Kafka 是一款流行的分布式數據流平台，它已經廣泛地被諸如 New Relic 數據智能平台 Uber Square 移動支付公司 等大型公司用來構建可擴展的 高吞吐量的 且高可靠的實時數據流系統。 例如，在 New Relic 的生產環境中，Kafka 群集每秒能夠處理超過 萬條消息，而且其數據聚合率接近 Tbps。 可見，Kafka ...
2018-10-10 20:23 0 1352 推薦指數：
相關推薦
Kafka最佳實踐
一、硬件考量 1.1、內存 不建議為kafka分配超過5g的heap，因為會消耗28-30g的文件系統緩存，而是考慮為kafka的讀寫預留充足的buffer。Buffer大小的快速計算方法是平均磁盤寫入數量的30倍。推薦使用64GB及以上內存的服務器，低於32GB內存的機器可能會適得其反 ...
KAFKA的最佳實踐
背景 一個Python項目中要使用kafka去deliver log，1個producer，5個consumer。單條消息的大小是100KB ～ 500KB，producer要在1秒鍾之內能夠發送30個這樣的message。然后每個consumer也要在1秒鍾之內消費30個這樣的message ...
20 個 OpenSSH 最佳安全實踐
來源：https://linux.cn/article-9394-1.html OpenSSH 是 SSH 協議的一個實現。一般通過 scp 或 sftp 用於遠程登錄、備份、遠程文件傳輸等功能。S ...
基於消息隊列 RocketMQ 的大型分布式應用上雲最佳實踐
作者｜紹舒 審核&校對：歲月、佳佳 編輯&排版：雯燕 前言 消息隊列是分布式互聯網架構的重要基礎設施，在以下場景都有着重要的應用： 應用解耦 削峰填谷 異步通知 分布式事務 大數據處理 並涉及互動直播、移動互聯網&物聯網，IM 實時通信 ...
window下Kafka最佳實踐
Kafka的介紹和入門請看這里kafka入門：簡介、使用場景、設計原理、主要配置及集群搭建（轉） 當前文章從實踐的角度為大家規避window下使用的坑。 1.要求： java 6+ 2.下載kafka【注意，只用下載kafka】 http://mirrors.cnnic.cn ...
【譯】Kafka最佳實踐 / Kafka Best Practices
本文來自於DataWorks Summit/Hadoop Summit上的《Apache Kafka最佳實踐》分享，里面給出了很多關於Kafka的使用心得，非常值得一看，今推薦給大家。 硬件配置 JBOD: Just bunch of disks，就是普通的一堆磁盤組成的集群 OS ...
kafka最佳實踐：Kafka Best Practices
Kafka Broker: Java Version We recommend latest java 1.8 with G1 collector ( which is default in new version). If you are using Java 1.7 and G1 ...