用hive来做数仓类操作，或者大数据的运算，是没有疑问的，至少在你没有更多选择之前。 　　当我们要hive来做类似于大批量数据的select时，也许问题就会发生了变化。 1. 通用解决方案:分页拉取 　　首先，我们要基于一个事实，就是没有哪个数据库可以无限制的提供我们select ...

es一次请求默认返回的数据条数是10条，可以通过设置size参数来控制返回数据的条数： 如果要返回很多数据，可以把size设置的很大，不过elastic search默认size最大不能超过1万。 那么如果数据量很大，超过1万，而又想要把所有数据都拉出来怎么办 ...

es一次请求默认返回的数据条数是10条，可以通过设置size参数来控制返回数据的条数： 如果要返回很多数据，可以把size设置的很大，不过elastic search默认size最大不能超过1万。 那么如果数据量很大，超过1万，而又想要把所有数据都拉出来怎么办呢？ 有三种方法：聚合 ...

最近遇到一例，HBase 指定大量列集合的场景下，并发拉取数据，应用卡住不响应的情形。记录一下。 问题背景### 退款导出中，为了获取商品规格编码，需要从 HBase 表 T 里拉取对应的数据。 T 对商品数据的存储采用了 表名:字段名:id 的列存储方式。由于这个表很大，且为详情公用 ...

快速拉取镜像的地址 vim /etc/docker/daemon.json 修改文件为以下内容 重启使生效： systemctl daemon-reloadsystemctl restart docker ...

最近使用jdbc方式查询数据，保存为csv文件中。当然你可以在pl/sql中直接查出来，copy to excel就好了。但我想通过程序实现 先读取所有编号形成List，后遍历这个List，先查出id再查详细数据。这样的数据csv文件中大约8万多条 一条条的来肯定慢 ...

...

千万级数据量 方案1、 直接使用delete 因delete执行速度与索引量成正比，若表中索引量较多，使用delete会耗费数小时甚至数天的时间 方案2、 （1）创建临时表，表结构与原表结构相同 （2）将需要保留的数据插入至临时表中 ...