之前做项目的时候，做出来的系统的性能不太好，在框架中使用了EntityFramework，于是就在网上查资料，研究如何提高EF的性能。 在这分享一篇博客 批量操作提升EntityFramework的性能 里面提供了一个扩展库Entity Framework扩展库，在这里面找到了一些比较好的方法 ...

spring在管理hibernate上有独到的地方可以顺手拿来用,我也是想在能不抛弃hibernate的基础上尽可能多挖掘一下它的一些性能提升上的做法,总结大家的看法,基本得出一致结论:复杂查询依靠j ...

这些扩展方法在哪里找 批量加入和EF本身自带的加入性能提高了多少 为什么扩展方法用的时间这么少 之前做项目的时候。做出来的系统的性能不太好，在框架中使 ...

1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 s 遍历文件a，对每个url求取 ...

页面静态化 （页面层面的缓存） 缓存 (memcached、redis等，数据缓存、避免多次请求) 集群负载均衡(单机处理能力不足) 分库分表(大量数据的处理、原则分、分、分) 读写分离 队列、MQ、数据库增加加锁(防止并发) 存储（IO最耗性能） 小型机(提交硬件性能，呵呵 ...

1.问题背景 　　设计到几十张数据库表，每张表有几万到十几万数据不等，现在需要尽可能快的导出excel数据。 2.遇到的问题及解决思路 　　2.1 数据量大，生成速度慢。下载的文件太大。 　　　　　使用多线程下载，一个表的数据分配一条线程，全部下载完成压缩成一个zip文件 ...

起因 Python处理一下数据，大概有六七个G，然后再存到另外一个文件中，单线程跑起来发现太慢了，数据总量大概是千万行的级别，然后每秒钟只能处理不到20行……遂想怎么提高一下速度 尝试1-multiprocessing 代码如下： 这里参考了这篇文章，然后尝试了一下，发现速度 ...

Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？ 针对这个问题，有以下几个建议 ...