使用JDBC操作数据库时,如何提升读取数据的性能?如何提升更新数据的性能?


1. 进行SQL查询,当预期的结果集较大的时候,使用PreparedStatement.setFetchSize(FETCH_SIZE)或者Statement.setFetchSize(FETCH_SIZE),可以成百倍地增加性能,我自己设置的值是525

2. 当ResultSet很大的时候,而我们需要读取保存ResultSet里面的数据的时候,起初将所有的数据保存在List或者HashMap里,在进行多线程运行的时候,导致了Java heap space out of memory. 最终将数据逐行写入到CSV文件中,避免了性能问题

3. 在进行大量数据插入数据库的操作时,应该使用批量加入,一次执行的策略

有多种方法可以提高更新的效率. 简单说来:

1、暂停索引,更新后恢复.避免在更新的过程中涉及到索引的重建.

2、批量更新,每更新一些记录后及时进行提交动作.避免大量占用回滚段和或临时表空间.

3、创建一临时的大的表空间用来应对这些更新动作. =========================================================================不同看法

如果UPDATE的是索引字段,就会涉及到索引的重建,暂停索引不会提高多少的速度,反而有可能降低UPDATE速度, 因为在更新是索引可以提高数据的查询速度,重建索引引起的速度降低影响不大。

ORACLE优化修改参数最多也只能把性能提高15%,大部分都是SQL语句的优化!

=========================================================================不同位置

update总体来说比insert要慢   几点建议:    

1、如果更新的数据量接近整个表,就不应该使用index而应该采用全表扫描    

2、减少不必要的index,因为update表通常需要update index  

3、如果你的服务器有多个cpu,采用parellel hint,可以大幅度的提高效率        

=========================================================================不同位置

如果有足夠CPU以及I/O 的話.... ALTER SESSION ENABLE PARALLEL DML;

INSERT /*+ PARALLEL(tableA, 2) */ INTO tableA NOLOGGING SELECT * FROM tableB;

當中的 2 是多少個進程同時執行. 可應不同情況加減. 

=========================================================================不同位置

2比较可行的方法 方法一:使用oracle中包含在注释中的提示信息 insert /*+append*/ into ...nologing select * from ...

方法二:使用批量拷贝方法 set arraysize 20 set copycommit 5000 copy fromusername/password@oracle_nameappend table_name1 using select * from table_name2;

实际效果,方法一要比方法二速度还要快些

/*+append */ nologging 的方法不错. bulk insert好像需要内容足够大才可以.

=========================================================================不同位置

set autocommit 100;----------每一百条记录提交一次 set transaction use rollback segment RBS1;       INSERT INTO table1 NOLOGGING          SELECT * FROM table2;      commit;

改变表的存储策略: ALTER TABLE aaaa1     PCTFREE 30     PCTUSED 60; ---------这两个值相加要小于100,把PCTFREE搞大,PCTUSED搞小,可能会快一点

=========================================================================不同位置

再提供一种方法, alter session set sort_area_size=100000000; insert into tableb select * from tablea; commit;

=========================================================================总结

提高更新速度总结:

1、暂停索引,更新后恢复.避免在更新的过程中涉及到索引的重建.   

  缺点:         如果UPDATE的是索引字段,就会涉及到索引的重建,暂停索引不会提高多少的速度,反而有可能降低UPDATE速度。         如果表比较庞大,停索引后重键需要花比较长的时间    

优点:         如果更新的数据量接近整个表,此方法比较好。        

2、批量更新,每更新一些记录后及时进行提交动作.避免大量占用回滚段和或临时表空间.

3、创建一临时的大的表空间用来应对这些更新动作.

4、如果你的服务器有多个cpu,采用parellel hint,可以大幅度的提高效率     ALTER SESSION ENABLE PARALLEL DML;

    INSERT /*+ PARALLEL(tableA, 2) */INTO tableA NOLOGGING        SELECT * FROM tableB;     當中的 2 是多少個進程同時執行. 可應不同情況加減. 

5、建表的参数非常重要,对于更新非常频繁的表,建议加大PCTFREE的值,以保证数据块中有足够的空间用于UPDATE,从而降低CHAINED_ROWS     ALTER TABLE aaaa1        PCTFREE 30        PCTUSED 60;     ---------这两个值相加要小于100,把PCTFREE搞大,PCTUSED搞小,可能会快一点

6、oracle提示及批量拷贝     方法一:使用oracle中包含在注释中的提示信息         insert /*+append*/ into ...nologing            select * from ...

    方法二:使用批量拷贝方法         set arraysize 20         set copycommit 5000         copy fromusername/password@oracle_nameappend table_name1         using select * from table_name2;

    实际效果,方法一要比方法二速度还要快些

7、加大排序缓冲区     alter session set sort_area_size=100000000;     insert into tableb select * from tablea;     commit;

原文地http://dolphin-ygj.iteye.com/blog/440263

原文地址http://lijingshou.iteye.com/blog/2076882


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM