概述 最近公司一.NET项目需要对其日志Log入数据库统计，写这个脚本导入的任务便落到我身上了。采用了熟练的Java,这个日志也不是很大，一个文件大概几兆，有上万条数据，一天大概有7,8个文件需要这样的导入处理。由于之前写Web没有这么去批处理这么多数据，所以没有太注意性能，第一个 ...

记住以下思路，参考最有效的文章，都是博客里的网上，总结整理（个人），以备下次做优化的时候可以快速，如有更好的优化建议 希望能留言一下。 （1）、根据服务层面：配置mysql性能优化参数； 　　　　参考这哥们—愤怒的小鸟（写的很详细可以参考，MySQL性能优化之参数配置） （2）、从系统层面 ...

SQL执行过程： 1、执行SQL时，sql解析引擎会被启动 2、数据类型和数据库表定义的数据类型不一致,数据库引擎会自动转化 3、数据库表定义了多个索引，sql引擎会帮你选择最优的一个 4、数据库引擎会拿着优化好的sql命令语义去硬盘中查找数据，然后将查找到的数据返回(如果此时返回的结果集 ...

一、数据库设计优化 1、不要使用游标。 使用游标不仅占用内存，而且还用不可思议的方式锁定表，它们可以使DBA所能做的一切性能优化等于没做。游标里每执行一次fetch就等于执行一次select。 2、创建适当的索引 每当为一个表添加一个索引，select会更快，可insert和delete却 ...

数据库优化 一、数据库硬件优化（选型） 1.一般数据库选择 2.数据库类型 3.硬件选型 1）CPU选型 2）内存选择 3）磁盘选择 4）存储选择（一般大型企业） 5）网络选择 4.操作系统优化 1）Swap调整 2）IO调度策略 5.应用 ...

mysql数据库表上百万记录优化思路杂谈 我的mysql数据库表上百万记录，插入数据的时候超慢，插入一笔都差不多将近1秒钟了 有没有做索引？数据量大了一般要做分区分表处理的，实时性要求高的一般要做缓存或者数据总线分层处理的 有分10个库，每个库100个表 是不是上面索引太多了，插入 ...

转自：https://www.cnblogs.com/butterfly100/p/9034281.html 一. 数据切分 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化 ...

一. 数据切分 关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。 数据库 ...