之前做项目的时候，做出来的系统的性能不太好，在框架中使用了EntityFramework，于是就在网上查资料，研究如何提高EF的性能。 在这分享一篇博客 批量操作提升EntityFramework的性能 里面提供了一个扩展库Entity Framework扩展库，在这里面找到了一些比较好的方法 ...

spring在管理hibernate上有独到的地方可以顺手拿来用,我也是想在能不抛弃hibernate的基础上尽可能多挖掘一下它的一些性能提升上的做法,总结大家的看法,基本得出一致结论:复杂查询依靠j ...

前几天做一个批量发消息的功能，因为要向消息表中批量写入数据，用的EF框架的插入方法；不用不知道，一用吓一跳；就10000条数据就耗时好几分钟，对应追求用户体验的我来说这是极不能容忍的，后来改为拼接SQL，性能提高了好几倍；现在来分享一下经验： 原始的方法类似这种： 来看看 ...

昨天在园子里发了一篇如题的文章EF大数据批量添加性能问题，就引来一大堆的吐槽，我认为知识就应该这样分享出来，不然总以为自己很了不起；再说说昨天那篇文章，很多自认为很牛逼的人都评论说把SaveChanges()放在for循环外面，我不知道他们有没有亲自去尝试过，反正我尝试了，然而并没什么卵 ...

回到目录 最近总遇到大数据的问题，一次性处理几千万数据不实际，所以，我们需要对大数据进行分块处理，或者叫分页处理，我在EF架构里曾经写过类似的，那是在进行BulkInsert时，对大数据批量插入时候用到的，现在我把它拿出来，放在IQueryableExtensions类中，即它将 ...

1. 各批量方式对比 Mybatis与JDBC批量插入MySQL数据库性能测试及解决方案 2. 原理解析 1）MySql PreparedStatement executeBatch过慢问题 3. 工程优雅 1） 给spring jdbctemplate加上一层“华丽外衣”－动态 ...

起因 Python处理一下数据，大概有六七个G，然后再存到另外一个文件中，单线程跑起来发现太慢了，数据总量大概是千万行的级别，然后每秒钟只能处理不到20行……遂想怎么提高一下速度 尝试1-multiprocessing 代码如下： 这里参考了这篇文章，然后尝试了一下，发现速度 ...

Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？ 针对这个问题，有以下几个建议 ...