转自https://blog.csdn.net/q6834850/article/details/73726707?tdsourcetag=s_pctim_aiomsg 采用JDBC批处理（开启 ...

1.问题背景 　　设计到几十张数据库表，每张表有几万到十几万数据不等，现在需要尽可能快的导出excel数据。 2.遇到的问题及解决思路 　　2.1 数据量大，生成速度慢。下载的文件太大。 　　　　　使用多线程下载，一个表的数据分配一条线程，全部下载完成压缩成一个zip文件 ...

描述，说吧数据也不算大，几十万，只可惜服务器和数据库以及项目优化不够，延迟贼高，所以搞个分批入库，解决下速度。直接开始撸。 ...

　　最近在公司备份数据库数据，简单的看了一下。当然我用的是简单的手动备份。 　　第一：其实最好的方法是直接用： 　　mysqldump -u用户名 -p密码 数据库名 < 数据库名.sql 在linux在操作的，测试过一个一万多行的导入数据，共121m。在linux下，几秒 ...

bloom-filter 算法 场景：我说的大数据量处理是指同时需要对数据进行检索查询，同时有高并发的增删改操作； 记得以前在XX做电力时，几百万条数据，那时一个检索查询可以让你等你分钟； 现在我是想探讨下对大数据量的处理，那时我就在想例如腾讯，盛大，动辄数以亿计的帐号,怎么能 ...

近几天做了一个项目，需要解析大量的json数据，有一万多条，以前我用的都是Gson包去自动解析，但是速度真是不敢恭维，于是我又去查了其它的方法，发现fastjson的解析，发现速度直的是很快，在此我不得不佩服，这个包的作者，直是很厉害，能写出这样一个工具，我在网上看了，这个工具还有很多问题，但也 ...

从总体上来看，对于大型网站，比如门户网站，在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：1.首先需要解决网络带宽和Web请求的高并发，需要合理的加大服务器和带宽的投入，并且需要 ...

前言 不进行优化的代码就是耍流氓。 总体来说大数据优化主要分为三点，一是充分利用CPU，二是节省内存，三是减少网络传输。 一、Hive/MapReduce调优 1.1 本地模式 Hive默认采用集群模式进行计算，如果对于小数据量，可以设置为单台机器进行计算，这样可以大大缩减 ...