碼上歡樂
相關內容    簡體    繁體

BI之SSIS入門、最新版Visual Studio調試技巧以及部分技術棧

本文轉載自   查看原文   2018-04-25 14:10   1696    SSIS

簡介

最近公司業務需要用到BI SSIS來處理商業智能和大數據，網上大多數是以前版本介紹，沒有最新版，響應公司需要，現現學現賣總結一下入門及調試技巧，隨便附加常用技術棧。SSIS是什么？“SSIS是Microsoft SQL Server Integration Services的簡稱，是生成高性能數據集成解決方案（包括數據倉庫的提取、轉換和加載 (ETL) 包）的平台。
”SQL Server Integration Services (SSIS) 提供一系列支持業務應用程序開發的內置任務、容器、轉換和數據適配器。您無需編寫一行代碼，就可以創建 SSIS 解決方案來使用 ETL 和商業智能解決復雜的業務問題，管理 SQL Server 數據庫以及在 SQL Server 實例之間復制 SQL Server 對象。

1.1 入門

新建，微軟Visual Studio 最近版本新建就不用多說了,如圖;
image.png

2 ,SSIS控件

2.1，Variables

（1） 參數設置，在Package設計頁面空白處“右鍵”選擇Variables，點擊image.png添加參數

image.png

（2）Expression設置，點擊image.png

配置帶函數的參數，選擇所需要的參數直接拖動即可

image.png

2.2，設置數據連接

（1）在Connection Managers窗口中“右鍵”創建各種Connection
image.png

（2）配置帶參數的數據連接，選中創建的Connection后選擇Properties窗口中

Expressions配置連接參數，參數配置同上

image.png

2.3，Sequence Container

容器控件，用來將相似的tasks分組，一般用來將所有維度表和事實表處理分開

image.png

2.4，Execute SQL Task

image.png

執行SQL任務

image.png

（1）選中控件，選擇Edit

image.png

SQL Statement欄中配置ConnectionType（數據庫類型），Connection（數據庫），SQLSourceType

SQLSourceType有三種類型：

  • Direct input  ，直接在SQLStatement中輸入SQL語句，若需要參數請用“？”代替

  • File connection，File類型連接

  • Variable，從我們配置的Variables中選擇

（2）配置SQL語句中需要的參數“？”，選中Parameter Mapping

image.png

2.5，Script Task

image.png

執行C#代碼腳本任務，並返回成功或失敗，

（1）選中，右鍵Edit
image.png

選擇ReadOnlyVariables，配置需要傳入C#代碼的參數

image.png

（2）編輯C#代碼，image.png進入代碼編輯界面

2.6，Data Flow Task

image.png

數據流任務控件，在其編輯中可放入對數據操作的SSIS控件，

2.7，Excel Source Plus

image.png

將Excel數據源導入數據庫，在其Edit界面編輯需要導入的Excel數據源，點擊[圖片上傳失敗...(image-2c445-1524627024788)]

添加新的數據源
image.png

2.8，Conditional Split

image.png

可以根據設置的條件函數處理數據，如對數據進行過濾、合並。在其Edit界面，

  • Order條件執行順序，可上下調節

  • Output Name 輸出名

  • Condition配置數據處理條件

image.png

2.9，OLE DB Source

image.png

OLEDB類型數據源，在其Edit界面配置數據源

image.png

New添加新數據庫，Data access mode選擇數據源獲取方式，直接選取或者從Variables參數中選取，或者通過SQL語句獲取，若SQL語句需要參數點擊image.png

配置
image.png

2.10，Derived Column

image.png

向要導入的數據庫表中派生列，其Edit界面

image.png

  • Derived Column Name 派生新列的字段名

  • Derived Column 派生列的方式

  • Expression  新列字段值的表達式

2.11，Lookup Plus

image.png

將其他數據庫表中的字段值插入數據中，其Edit界面

image.png

Input Column 數據中要插入數據的字段名

Reference 需要引用的數據，雙擊后進入其Edit界面

image.png

首先編輯其需要引用數據的數據庫，選擇數據庫Table/View作為數據源或者通過SQL語句查詢數據，Key Column為兩表關聯字段，Value Column為要插入的數據字段

2.12，Data Conversion

image.png

數據轉換，將數據類型轉換為MSSQL的數據類型，在其Edit界面選擇需要轉換的字段即可

image.png

2.13，Row Count – Source

image.png

數據統計，統計處理的數據量，需要在Variables中定義Int32數據類型的參數來接受統計值

image.png

2.14，OLE DB Destination

image.png

OLE DB目標，數據導入的目標，其Edit界面

image.png

配置好需要導入數據的數據庫與數據表，若出現image.png

錯誤，請點擊Mapping仔細檢查數據字段匹配是否正確

image.png

3.0調試

3.1 第一種調試方法

image.png
如圖，再箭頭上直接右鍵 選中Enable Data Viewer,這樣運行到這里會停止，並且能看到詳細數據情況如下圖，點擊繼續往下走。
image.png

3.2 第二種調試方法

image.png
如圖，在package執行時，會出現一個progress顯示執行的進度

3.3第三種調試方法

image.png

image.png
選中Execute SQL Task，點擊右鍵，選中Edit Breakpoint來設置斷點，進行調試。運行到這里會斷點

3.4第四種調試方法

image.png

package 事件調試，可以在事件選中指定事件，當錯誤出現時，發送runtime的錯誤信息或將錯誤信息寫入文檔，方便捉錯誤信息。

4.0 其他

注意，下面部分來自網上

Control Flow 控制流程

Containers 容器

Core Task 核心任務

Other Task 其他任務

Data Flow 數據流程

Transforms 傳輸

Sources 數據源

Destination 目標

SSIS 錯誤和消息參考

SSIS 錯誤和消息參考：https://msdn.microsoft.com/library/ms345164(v=sql.105)


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 Visual Studio 調試技巧 Visual Studio 調試技巧 Visual Studio的調試技巧 在 Visual Studio 2012 開發 SSIS,SSAS,SSRS BI 項目 VS2011最新版本 新功能 新增特性 簡介Visual Studio 2011 Visual Studio 2017 RC 下載 最新版本的發行說明 Microsoft Visual Studio 2017 編譯最新版 libuv 1.x 最新版Android Studio漢化方法 Visual Studio 使用調試技巧 Visual Studio調試效率技巧
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM