kafka存储数据量过大，导致磁盘爆满
问题： 注意到自己负责kafka的某个topic最小的偏移量为0，而最大的偏移量都7亿多了，说明存储在kafka里面的数据没有定时删除，通过登陆到kafka服务器，查看配置文件services.properties，发现log.retention.hours=876000（100年），我猜想配置 ...
原文：memcache 存储单个KEY，数据量过大的时候性能慢！以及简单的memcache不适合用到的场景。
今天有人问到我：memcache存储大数据量， K， K， M的时候，效果怎么样 我回答：不好，效果非常慢。对方问：为什么啊 我回答不上来。。。于是就找了点资料。 memcached使用需要注意的知识： memcached的基本设置 启动Memcache的服务器端 usr local bin memcached d m u root l . . . p c P tmp memcached.pid ...
2016-08-15 09:31 1 5204 推荐指数：
相关推荐
zookeeper不适合用作注册中心的简单总结
引用：http://jm.taobao.org/2018/06/13/%E5%81%9A%E6%9C%8D%E5%8A%A1%E5%8F%91%E7%8E%B0%EF%BC%9F/ 当注册中心 ...
当一个表的数据量过大，引起存储不够或者查询较慢问题时，应该怎么办？
纵向切分表 将一个表按照字段切分成两个或者多个表，将常用的字段切分到一张表中，分布式存储 横向切分 有两种方式，一是按照特定的数据量，将表切分成不同的表（表结构一致）来存储，新数据插入到新表中，新表的数据量达到约定拆分的数据量时，再建立新表存储；二是按照某种特定的规则来切分表，然后分布式存储 ...
为什么redis不适合存储大数据量数据和存储敏感数据？
看法： 1.redis是基于内存存储的，如果数据量很大都存储到内存中会增加成本，而且一般redis都会开启持久化，如果数据量较大，那么持久化的就会变得很多，增加了redis 的压力，同时会降低redis的性能，因为很大一部分资源都用于持久化数据了 2.对于敏感数据的存储，像订单、用户表 ...
什么样的数据集不适合用深度学习?
github博客传送门 csdn博客传送门 什么样的数据集不适合用深度学习？ 数据集太小,数据样本不足时,深度学习相对其它机器学习算法,没有明显优势。 数据集没有局部相关特性,目前深度学习表现比较好的领域主要是图像／语音／自然语言处理等领域,这些领域的一个共性是局部相关性。图像中像素 ...
poi导出excel数据量过大
问题：使用poi导出excel，数据量过大导致内存溢出 解决思路：1、多sheet导出 2、生成多个excel打包下载 3、生成csv下载 本文使用的是第二个思路,代码如下： poiUtil工具类 fileUtil工具类 测试方法 ...
PHPExcel导出数据量过大处理
在处理中，如果不是一直刷新后报错下载不了，数据量小200条都可以导出，但到2000 导出不了，而且立马报错，可能是引入但phpExcel版本低但问题！ 不一定都是php-fpm nginx 底层配置的问题，也可能是代码的问题！ ...
Mysql 单表数据量过大移除数据
由于单表量太大，导致性能问题 待处理记录 每次处理100W条 ...