tgt是用戶態實現的iscsi target，而iet（iscsi enterprise target）是在內核態實現的target，tgt相比於iet來說，因為其用戶態實現，方便調試，新加入一些功能等，不過性能相比iet來說要稍差一點。下面就介紹一下tgt的程序框架（略過iscsi協議解析處理部分），以便於整體把握tgt的代碼，方便后續的一些修改。
1.整體框架
這里借用tgt官網給出的一張圖。
tgt中命令的操作，與initiator端的通信都是通過epoll來實現的，下面分別對這兩部分進行說明。
1.1 tgtadm與tgtd的交互
在啟動tgtd進程的時候，就會初始化一個unix socket，將該fd加到epoll中，監聽EPOLLIN事件，后續每執行一條tgtadm命令，就會使用這個unix socket來和tgtd通信。
如圖所示，當在命令行里敲一條tgtadm命令時，通過unix socket發起請求，就會觸發epoll 的EPOLLIN事件，tgtd端accept，將連接fd加到epoll中，並注冊回調函數mtask_recv_send_handler，返回連接建立的響應給tgtadm端，然后tgtadm命令觸發EPOLLIN事件，tgtd端調用mtask_recv_send_handler，根據不同的mode調用不同的處理函數進行處理（這里有sys_mgmt/target_mgmt/portal_mgmt等），處理完后，將事件改為EPOLLIN|EPOLLOUT，然后發送響應給tgtadm端。
1.2 initiator與tgtd的交互
tgtd進程在啟動的時候就會創建一個socket，用於監聽initiator的請求（具體是iscsi_tcp_init_portal函數中的處理），將該socket加到epoll中，注冊回調函數accept_connection。 initiator端的請求到來時，將新連接的fd加到epoll中，並注冊回調函數iscsi_tcp_event_handler，然后當收到EPOLLIN事件時，會調用iscsi_rx_handler進行iscsi請求的一些解析處理操作，並調用backing store的接口進行io的操作，操作完成后，修改事件為EPOLLLOUT，就會觸發調用到iscsi_tx_handler來發送響應給initiator。
1.3 函數調用棧
下面給出了iscsi_rx_handler的一些函數調用棧關系，其中涉及到與backing store中io處理接口的調用關系。給出下圖作為參考。
2. backing store
tgt支持多種后端存儲，比如rdwr，aio，sg，rbd，sheepdog等，默認的是rdwr，可以指定flag（O_SYNC|O_DIRECT）。了解清楚tgt的后端存儲的處理模式，就可以添加新的后端存儲用於支持自定義的功能。
其中主要的接口就是bs_open,bs_init,bs_cmd_submit,bs_close,bs_exit。 bs_open和bs_init就是做創建lun時的一些初始化操作，比如打開設備文件，創建處理現線程，注冊處理回調函數等。 bs_cmd_submit：io請求到來時就會調用該函數進行處理。 bs_close和bs_exit就是刪除lun的時候做一些銷毀操作。 BS中支持同步和異步io兩種模式（rdwr就是同步的，aio就是異步的），下面分別介紹這兩種模式。
2.1 同步io
在同步io中，每個lun都會對應一個請求隊列（pending_list），在bs_init時就會創建多個線程（目前新版本一個lun默認16個線程）。新請求到來時，調用bs_cmd_submit將請求添加到pending_list中，多個線程共享這個pending_list，分別從pending_list中取請求來進行處理。當沒有請求時，這些線程就會等待在pending_list上，有新請求加入到pending_lsit后，就會喚醒等待的線程來進行處理。
2.2 異步io（aio）
tgt使用的是linux native aio來實現的，使用eventfd創建的fd將aio上下文和epoll聯系起來。（具體可以參考aio與epoll結合起來如何使用的一些資料）。下面是一些具體的處理邏輯。
1）bs_aio_open：io_setup建立異步io上下文，然后afd=eventfd() ，將afd加到epoll中(回調函數bs_aio_get_completions) ，並且afd與aio的上下文關聯。
2）bs_aio_cmd_submit：IO到來時調用，先把請求加到cmd_wait_list中，然后遍歷list，確定此次能提交的io數並初始化iocb（因為限制了aio的最大處理個數為128，有些io還在處理中，當前提交的aio個數就有限），然后使用io_submit提交一批異步io。
3）IO處理完后，會通過afd觸發EPOLLIN事件，調用回調函數bs_aio_get_completions進行處理，先read出當前完成的io數，然后調用io_getevents()獲取出已完成io的信息，然后對每個完成的io調用bs_aio_comlete_one做一些結束的處理（修改處理狀態），在這個函數中調用target_cmd_io_done，在target_cmd_io_done中會修改epoll的事件為EPOLLIN|EPOLLOUT，這樣就會觸發了EPOLLOUT事件，調用iscsi_tcp_event_handler，在這個函數里判斷如果是EPOLLOUT，就會調用iscsi_tx_handler來發送響應。
3. 參考資料
http://stgt.sourceforge.net/
http://www.lenky.info/archives/2013/01/2183
轉載：
http://www.sysnote.org/?p=170