使用POI导出百万级数据到excel的解决方案
1.HSSFWorkbook 和SXSSFWorkbook区别 HSSFWorkbook:是操作Excel2003以前（包括2003）的版本，扩展名是.xls，一张表最大支持65536行数据，256列，也就是说一个sheet页，最多导出6w多条数据 XSSFWorkbook:是操作 ...
原文：UDP接收百万级数据的解决方案
任务：有个发送方,会通过udp发送一些信息，然后服务接收到信息后保存到数据库的一张表A，保存的这些数据在经过一系列处理，处理完成后累积到另一张表B,然后清空处理的表A的数据。目前发送方比较少，不久就要增加到 个。 我采用netty 来进行udp的网络通讯，将接收到的数据保存到BlockingQueue中，然后读取BlockingQueue中的数据，取到 条就存到hbase数据库中。 初始化nett ...
2017-09-21 17:23 0 1502 推荐指数：
相关推荐
Kettle大量数据快速导出的解决方案（利用SQL导出百万级数据，挺快的）
量，使用2007版本的支持百万行。但是呢，当数据量大了之后这种方式却非常耗内存和时间。 接触了et ...
百万级数据量导出EXCEL解决方案分析
百万级数据量导出EXCEL解决方案分析 1. 问题概述在web页面上显示的报表导出到excel文件里是一种很常见的需求, 报表的类excel模型,支持excel文件数据无失真的导入导出, 然而,当数据量较大的情况下,就会遇到一些问题：1. 2003Excel本身的支持最多65535行数据 ...
百万级数据迁移方案测评小记
前言 最近公司在使用 ABP 重构之前的老项目，数据库也由 SQL SERVER 切换到了 MySql。吐槽一下，之前的产品使用的是 Windows Server 2008 , SqlServer 2008R2, .Net Framework 4.5，现在开始拥抱 .net core。回到正题 ...
百万级数据库优化方案
一、百万级数据库优化方案 1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t ...
Hive千亿级数据倾斜解决方案
数据倾斜问题剖析 数据倾斜是分布式系统不可避免的问题，任何分布式系统都有几率发生数据倾斜，但有些小伙伴在平时工作中感知不是很明显，这里要注意本篇文章的标题—“千亿级数据”，为什么说千亿级，因为如果一个任务的数据量只有几百万，它即使发生了数据倾斜，所有数据都跑到一台机器去执行，对于几百万的数据 ...
mysql sql 百万级数据库优化方案
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where ...
百万甚至千万级数据下载
(#)直奔主题，这次要说的是针对百万千万数据的下载，使用的是poi excel的下载，这个如果大家不熟悉的话，可以去看看这个基础博客，写的不错 http://www.jerehedu.com/fenxiang/160218_for_detail.htm (#)然而问题来了 ...