程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 數據庫知識 >> Oracle數據庫 >> Oracle數據庫基礎 >> Oracle千萬級記錄插入和查詢技巧總結

Oracle千萬級記錄插入和查詢技巧總結

編輯:Oracle數據庫基礎

Oracle千萬級記錄進行處理並不簡單,下面就為您總結了Oracle千萬級記錄插入和查詢的技巧,希望對您能夠有所啟迪。

最近做了個項目,實現對存在Oracle千萬級記錄的庫表執行插入、查詢操作。原以為對數據庫的插入、查詢是件很容易的事,可不知當數據達到百萬甚至千萬條級別的時候,這一切似乎變得相當困難。幾經折騰,總算完成了任務。

1、防止運用 Hibernate框架

Hibernate用起來雖然方便,但對於海量數據的操作顯得力不從心。

關於Oracle千萬級記錄插入:

試過用Hibernate一次性執行 5萬條左右數據的插入,若ID運用 sequence方式生成,Hibernate將分5萬次從數據庫取得5萬個sequence,構造成相應對象後,再分五萬次將數據保存到數據庫。花了我十分鐘時間。主要的時間不是花在插入上,而是花在5萬次從數據庫取sequence上,弄得我相當郁悶。雖然後來把ID生成方式改成increase處理了疑問,但還是對那十分鐘的等待心有余悸。

關於Oracle千萬級記錄查詢:

Hibernate對數據庫查詢的主要思想還是面向對象的,這將使許多我們不須要查詢的數據占用了大量的系統資源(包括數據庫資源和本地資源)。由於對Hibernate的偏愛,本著不拋棄、不放棄的作風,做了包括配SQL,改良 SQL等等的相當多的嘗試,可都以失敗告終,不得不忍痛割愛了。

2、寫查詢語句時,要把查詢的字段一一列出

查詢時不要運用類似select * from x_table的語句,要盡量運用 select id,name from x_table,以防止查詢出不須要的數據浪費資源。對於海量數據而言,一個字段所占用的資源和查詢時間是相當可觀的。

3、減少不必要的查詢條件

當我們在做查詢時,常常是前台提交一個查詢表單到後台,後台分析這個表單,而後執行查詢操作。在我們分析表單時,為了方便起見,常常喜歡將一些不須要查詢的條件用永真的條件來代替(如:select count(id) from x_table where name like ‘%’),其實這樣的SQL對資源的浪費是相當可怕的。

我試過對於同樣的近一千萬條記錄的查詢來說,運用 select count(id) from x_table 執行 表查詢須要 11秒,而運用 select count(id) from x_table where name like ‘%’卻花了33秒。

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved