【SqlServer】管理全文索引(FULL TEXT INDEX)


Sql Server中的全文索引(下面統一使用FULLTEXT INDEX來表示全文索引),是一種特定語言搜索索引功能。它和LIKE不一樣,LIKE主要是根據搜索模板搜索數據,它的效率比FULLTEXT INDEX要低。在幾百萬的字符串中,LIKE需要花幾分鍾才能返回的結果,FULLTEXT INDEX可能只需要幾秒鍾。

FULLTEXT INDEX功能是Sql Server的可選項。你可以通過 SELECT FULLTEXTSERVICEPROPERTY('IsFullTextInstalled') 命令,來檢查你是否安裝了FULLTEXT INDEX。

 在開始介紹FULLTEXT INDEX之前,還需要介紹幾個重要的相關概念。它們分別是catalog, fulltext index fragment,  

 

Catalog: 在創建FULLTEXT INDEX之前,都需要先創建一個CATALOG, CATALOG是一個虛擬容器對象,它就是用來存儲FULLTEXT Index的,一個CATALOG可以關聯多個FULLTEXT Index索引。CATALOG不屬於任何文件組。

FULLTEXT Index Fragments:  通常一個FULLTEXT索引都是由多個內部表組成的,這些內部表就被稱為Fragments。當用戶更新表中的數據后,數據庫會對改變的部分自動創建一個Fragment對象(前提是在這個表上建立了FULLTEXT INDEX,並且設置了自動跟蹤改變)。

你可通過sys.fulltext_index_fragments表來查詢所有fragments記錄:

SELECT * FROM sys.fulltext_index_fragments;

輸出:

通過上面的輸出結果,可以看出一個表有了兩個fragment對象。如果像這樣的fragment對象越來越多的話,是會影響FULTEXT INDEX的查詢效率的。為了減少Fragment的數量,可以使用ALTER命令將所有的Fragment整合到一起。

ALTER FULLTEXT CATALOG [your-catalog-name] REORGANIZE;

 

1. 創建和刪除全文索引

創建測試表:

create table Text_Test_Table(
    id int not null IDENTITY(1,1) PRIMARY KEY,
    txt nvarchar(1000) null
);

創建CATALOG:

CREATE FULLTEXT CATALOG my_catalog;

創建全文索引:

CREATE FULLTEXT INDEX ON Text_Test_Table
(  
    txt                         --Full-text index column name     
    Language 2057               --2057 is the LCID for British English  
)  
KEY INDEX PK__Text_Tes__3213E83F0F8DA0F2 ON my_catalog   --Unique index  
WITH CHANGE_TRACKING AUTO                                --Population type;  
GO  

上面的表中指定了全文索引的字段為txt,同時也指定了它的語言為英式英語。你也可以指定為其它語言,在SQL SERVER中用 select * from sys.fulltext_languages; 可以查詢所有支持的語言編號。為字段指定正確的語言編號是必需的,因為不同的語言編號會使用不同的單詞分割器,不同的單詞分割器會分割出不同的關鍵詞列表,當查詢的時候就需要匹配關鍵詞列表中的數據。

創建全文索引,需要當前表至少包含一個唯一索引(unique index)。上面案例中, PK__Text_Tes__3213E83F0F8DA0F2  是主鍵,滿足唯一性的要求,因此可以用來創建全文索引。

CHANGE_TRACKING AUTO:是指當表中數據有變化時,會自動更新全文索引中的記錄。(除了AUTO,還可以為MANUAL值,表示需要手動去更新全文索引的記錄)。

 

在創建創建全文索引時,為什么需要指定一個 Unique 索引?

其實這個比較好理解,可以把全文索引理解為一張 關鍵詞與數據表的關系對照表。只有數據表上有一個Unique索引時,全文索引才可以唯一地關聯關鍵詞與數據表之間的關系。

有點繞?直接上代碼!

--插入測試數據
insert into Text_Test_Table values('She''s great fun, but she''s a few sandwiches short of a picnic.');
insert into Text_Test_Table values('She''s funny, but she only eat a few sandwiches.');

--查詢數據表
select * from Text_Test_Table;

--查詢全文索引關鍵詞對照關系,
--數據庫為Test,數據表為Text_Test_Table
SELECT * FROM sys.dm_fts_index_keywords_by_document(db_id('Test'), object_id('dbo.Text_Test_Table'))

效果對照圖:

索引表中的document_id對應的是Text_Test_Table表中的id字段。display_term是關鍵詞。occurence_count是關鍵詞的出現次數。document_id就是對應了數據表中唯一約束數據的編號,當唯一約束作用在數字字段上時,約束字段的值就會和document_id一樣。如果唯一約束作用在字符字段上的話,那么document_id將會是對應數據的編號。 

2. 使用全文索引查詢數據

 

2.1 匹配查詢含有所有關鍵詞的語句(必需包含所有關鍵詞)

 如果要完全匹配查詢的關鍵字,那么可以用contains函數。

語法:

CONTAINS(字段,關鍵詞)

關鍵詞需要用冒號""括起來,多個關鍵詞用空格隔開。格式:"關鍵詞1 關鍵詞2 關鍵詞3..."。contains中的關鍵詞就相當於AND關鍵詞,這些關鍵詞並不需要連在一起,但是需要所有的關鍵詞都存在。

案例:

-- 查詢Text_Test_Table表中txt字段包含 a 和 few 和 sandwiches 的關鍵詞的所有數據
declare @terms nvarchar(1000) = '"a few sandwiches"';
select * from Text_Test_Table where contains(txt, @terms);

-- 可以查詢出:
-- she has a few sandwiches
-- a few lemon and sandwiches
-- a man and few person both have sandwiches

2.2 匹配查詢含有關鍵詞的語句(只要含有一個關鍵詞就行了)

 如果要包含所有的關鍵詞,那么應使用FREETEXT函數。

語法:

FREETEXT(字段, 關鍵詞)

關鍵詞需要用冒號""括起來,多個關鍵詞用空格隔開。格式:"關鍵詞1 關鍵詞2 關鍵詞3..."。freetext中的關鍵詞就相當於OR關聯詞,這些關鍵詞並不需要連在一起,只要有一個關鍵詞存在數據就會被選取。

-- 查詢Text_Test_Table表中txt字段包含 a 或 few 或 sandwiches 的關鍵詞的所有數據
declare @terms nvarchar(1000) = '"a few sandwiches"';
select * from Text_Test_Table where freetext(txt, @terms);

-- 可以查詢出:
-- she has a few sandwiches
-- sandwiches is good
-- There are few apples

 

注意:

Freetext函數還可以匹配關鍵詞的變體,比如通過關鍵詞catch匹配相應的變體caught, catching, 和 catches 等。但Contains函數想要查詢變體,就必需使用FORMSOF語句。請移步FORMSOF Predicate獲取更詳細的信息。

 

2.3 案例:查詢有不同匹配精確度的多個字段

有一張products表,其中有id,name和description字段, id是主鍵。name 和 description是nvarchar字段類型。現在要查詢Products中的數據,name必須要包含所有的查詢關鍵字,description至少需要匹配一個提供的關鍵詞。

create table Products(
    id int not null IDENTITY(1,1) PRIMARY KEY,
    [name] nvarchar(1000) null,
    [description] nvarchar(1000) null
);

CREATE FULLTEXT INDEX ON Products
(  
    [name]  Language 2057,
    [description] Language 2057
)  
KEY INDEX PK__Products__3213E83F67020225 ON my_catalog   --Unique index  
WITH CHANGE_TRACKING AUTO                                --Population type;  
GO  

insert into Products values('Mouse Anti-Cattle FOXP3','This is Mouse Anti-Cattle FOXP3 introduction');
insert into Products values('Rabbit Anti-Mouse KRT13','This is Rabbit Anti-Mouse KRT13 introduction');
insert into Products values('Mouse Anti-C elegans FOXP3','This is Mouse Anti-C elegans FOXP3 introduction');

案例查詢SQL語句:

declare @terms nvarchar(255) = 'Mouse Anti';
declare @termsQuote nvarchar(255) = '"'+@terms+'"';
select * from Products  p
JOIN (
SELECT tp.[id],
   (case 
   when name like @terms+'%' then 4
   when name like '%'+@terms then 3
   when contains(name,@termsQuote) then 2
   else 1
   end) as 'sort'
  FROM [Products] tp
  where FREETEXT(description,@termsQuote) or Contains(name,@termsQuote)
  ) tp
ON p.id = tp.id 
order by tp.sort desc;

上面的查詢比使用傳統的LIKE查詢功能要增強不少。其實Contains和Freetext還有許多其它的用法,上面只是展示了一下基本用法。上面的查詢語句僅僅是做了關鍵詞匹配,但還是存在如下的一些缺陷。

  • 1. 全文索引不能查詢同音詞。比如:不同通過rabbet查rabbit。
  • 2. 全文索引不能查詢同義詞。比如:不能通過rat查mouse。
  • 3. 全文索引缺乏糾錯機制,雖然可以通過freetext函數查詢關鍵詞的變體,但是不能糾正輸入錯誤的單詞。比如:可以通過catch查出相應的變體caught, catching, catches等,但如果我輸入的是catsh就匹配不到catch單詞。
  • 4. 全文索引缺少搜索提示模塊,全文索引僅僅是完成搜索部分,關於搜索提示卻需要開發者自己去架構實現相應的功能,這增加了開發者的工作量。 

上面的四點問題中,在討論完下一節《4. 如何查看自己的數據都被分解成了那些關鍵字》后,筆者會解決上面的局限性問題,以及提供一些合理的建議。

 

3. 如何查看自己的數據都被分解成了那些關鍵詞

當我們建立全文索引時,首先需要給全文索引指定一個語言編號,然后全文索引會根據不同的語言編號使用不同的語言分割器,不同的分割器會分割出不同的關鍵詞列表。當使用全文索引查詢數據時,就會匹配分割得到的關鍵詞列表。

 查看所有注冊了的詞語分割器列表

EXEC sp_help_fulltext_system_components 'wordbreaker';  

查看所有支持的語言列表

select * from sys.fulltext_languages

使用dm_fts_parser分解語句獲得關鍵詞列表

-- 分解語句:She catches a cat
SELECT * FROM sys.dm_fts_parser (
'"She catches a cat"',  --待分解的語句
1033,  --語言編號, 1033代表English,語言編號信息可以通過查看sys.fulltext_languages表獲取
0,  -- stoplist: 0表示使用默認的,NULL表示不使用。
0  -- accent_sensitivity,0表示insensitivity,1表示sensitivity
);

--查看一個表被分解成的所有關鍵詞列表
SELECT * FROM sys.dm_fts_index_keywords_by_document(
db_id('Test'),  -- 數據庫對象ID
object_id('dbo.Text_Test_Table') -- 表對象ID
)

到這里,我們已經知道如何分解語句獲取關鍵詞列表。接下來我們將繼續優化上面的查詢案例,第一點是如何結合SOUNDEX和全文索引建立關鍵詞搜索糾錯機制,第二點是如何建立一個搜索提示功能。

當用戶搜索某關鍵詞語句時,如果有其它的關鍵詞和用戶搜索的關鍵詞發音是一樣的,那么就需要提示給用戶。就類似Google搜索這樣的提供功能。

當在Google搜索 she catsh a cat的時候,Google會提示是否是指 she catch a cat.  類似這樣的糾錯提示,我們可以通過下面這個T-SQL實現一個簡單的版本。

declare @searchTerms nvarchar(1000) = N'"she catsh a cat"';
select * from (
select display_term,SOUNDEX(display_term) as st_soundindex from sys.dm_fts_parser(
    @searchTerms,
    (select lcid from sys.fulltext_languages where [name] = 'British English'),--語言需要和Products表使用的語言保持一致
    NULL,
    0
)) st
join (SELECT display_term,SOUNDEX(display_term) o_soundindex
FROM sys.dm_fts_index_keywords_by_document(db_id('Test'), object_id('dbo.Products'))) ot
on st.display_term != ot.display_term and st.st_soundindex = ot.o_soundindex;

效果圖:

 通過上面的腳本對比,我們就可以查詢出catsh和catch是同音的,然后程序就可以拿到這個結果給用戶做糾錯提示了。

 

關於搜索提示這部分,非常遺憾,全文索引並未提供相關的功能。這部分需要程序開發自己來實現,這里筆者談一談自己的實現思路:

  1. 建立一張表單獨維護搜索提示詞(search_terms)
  2. 給search_terms表中插入一些預定義的搜索提示詞
  3. 用戶自己搜索的詞,也可以插入到search_terms表中。但是最終需要運維審核后,才可以顯示給前端的用戶搜索。
  4. 當用戶在搜索框輸入的時,動態加載search_terms表中的審核數據顯示到前端頁面。完成搜索提示功能。

到這里的,全文索引的主體知識點自己都講到了。全文索引就是一個特定語言的搜索功能(Language-Specific Search),所以給自己的數據指定語言類型是非常重要的。全文索引的功能較LIKE的功能有所提升,但全文索引也不是萬能的(我們也不能期望全文索引把所有功能都完成),比如:

  • 同義詞搜索,比如搜rat, 可以顯示mouse 或 rodent.
  • 同義句的搜索,比如搜索rat is big, 可以顯示giant mouse monstor之類的。
  • 搜索提示功能
  • ...

4. 參考文獻

1. sys.dm_fts_index_keywords_by_document (Transact-SQL)

2. Full-Text Search

3. Hands on Full-Text Search in SQL Server


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM