记一次大数据量后台服务的性能优化
背景 最近被分配到的一个需求，数据量每周新增上千万，预计两个月就会破亿，这里记录一下对这个服务的性能优化的过程。 正文 需求介绍 首先大致介绍一下这个需求的内容。这个需求是一个周报服务，每周日向用户推送他本周使用服务的时常，最晚使用时间等统计数据，这应该是很多应用都有实现的功能 ...
原文：c#SignalR一次发送最大数据量
c SignalrMessageSize默认是 K大小,设为NULL即禁用这个限制,自己也可以按需求改为自己需要的大小 默认数据缓冲区大小设置 GlobalHost.Configuration.DefaultMessageBufferSize ...
2020-03-21 11:43 0 798 推荐指数：
相关推荐
记录一次使用OpenCsv导入大数据量报错的问题
导入100W的Csv数据，使用OpenCsv解析工具解析Csv，发现报错 报错内容 解析代码 报错位置发生在英文逗号处，一开始怀疑是英文逗号解析问题 Csv 文本报错位置 去掉当前位置英文逗号导入仍旧失败 后来查看源码发现默认的 CSVParser 会对反斜杠""进行处理 ...
一次大数据量导出优化--借助xml导出xls、xlsx文件
最近遇到一个问题，线上生产环境某个功能导出数据到excel文件非常缓慢，几万数据导十多分钟都导不出来，导出慢的原因一是主表A数据量太大，接近2亿，另外里面部分数据来自于另外一张表B，B表也是几千万的数据量，数据库层面能做的优化已经做了，视图、索引这些工具都上了（没有分表是一开始项目设计阶段就没考虑 ...
C#关于Access大数据量的导入
C#造福大家 不管什么数据，只要沾上大数据，效率，快速，批量 都是一件很让人头疼的事情。 尤其是遇到了Access这种数据库。 这个没有什么好的办法，只好一条一条的写SQL插入了。 在这提供2种思路。第一种是写事物去处理。这点大家都懂的。第二种 ...
MySQL大数据量的导入
最近在公司备份数据库数据，简单的看了一下。当然我用的是简单的手动备份。 第一：其实最好的方法是直接用： mysqldump -u用户名 -p密码 数据库名 < 数据库名.sql 在linux在操作的，测试过一个一万多行的导入数据，共121m。在linux下，几秒 ...
设置elasticsearch一次最大数量查询
PUT my_index/_settings?preserve_existing=true{"max_result_window":"2000000000"} ...
设置elasticsearch一次最大数量查询
PUT my_index/_settings?preserve_existing=true{ "max_result_window": "2000000000"} ...
探讨大数据量处理
bloom-filter 算法 场景：我说的大数据量处理是指同时需要对数据进行检索查询，同时有高并发的增删改操作； 记得以前在XX做电力时，几百万条数据，那时一个检索查询可以让你等你分钟； 现在我是想探讨下对大数据量的处理，那时我就在想例如腾讯，盛大，动辄数以亿计的帐号,怎么能 ...