SQLServer BI 學習筆記


MSBI 學習庫: https://ask.hellobi.com/blog/biwork

SSAS庫部署的幾種方式 http://www.cnblogs.com/aspnetx/archive/2010/09/02/1815982.html

如果說商業智能分為三個層次:告訴你發生了什么,為什么會發生,將來會發生什么。那么,數據挖掘絕對算是商業智能中最高的一個層次,告訴你將來會發生什么,也就是預測。而預測的基礎就是根據海量的歷史數據,結合一定的算法,以概率為基礎,告訴你一條新數據某條屬性的趨勢。

BI的過程可以看成是數據的昨天,今天和明天,數據的昨天,通過報表告訴你的業務之前發生了什么,數據的今天,通過多維分析等工具告訴你這些為什么會發生,那么數據的明天,就是通過數據挖掘算法,對已有的海量歷史數據進行挖掘,從而讓你知道你的業務未來會是什么樣。

SQL:來為多維數據集建立分區,或者在數據挖掘中指定訓練數據或者預測數據

MDX:查多維數據集用的

DMX:查挖掘模型用的,它主要面向分析服務中的數據挖掘部分,通過它可以建立挖掘結構和挖掘模型,以及訓練數據和做預測查詢

ADOMD.NET:就是專門用來訪問分析服務用的

事例表:左面的表是在數據倉庫經過整合的一批數據,用來訓練和驗證模型。右面的表是待預測的表,將在模型生成完畢后對這個表里的數據進行預測。

元數據:是描述數據倉庫內數據的結構和建立方法的數據。可將其按用途的不同分為兩類,技術元數據和商業元數據。

技術元數據是數據倉庫的設計和管理人員用於開發和日常管理數據倉庫使用的數據。包括:數據源信息;數據轉換的描述;數據倉庫內對象和數據結構的定義; 數據清理數據更新時用的規則;源數據到目的數據的映射;用戶訪問權限,數據備份歷史記錄,數據導入歷史記錄,信息發布歷史記錄等。
商業元數據從商業業務的角度描述了數據倉庫中的數據。包括:業務主題的描述,包含的數據、查詢、報表;
元數據為訪問數據倉庫提供了一個信息目錄(informationdirectory),這個目錄全面描述了數據倉庫中都有什么數據、這些數據怎么得到的、和怎么訪問這些數據。是數據倉庫運行和維護的中心,數據倉庫服務器利用他來存貯和更新數據,用戶通過他來了解和訪問數據。
 

Business Intelligence(BI) = Data Warehouse(DW) + OLAP + Data Mining(DM)
商業智能=數據倉庫+聯機分析+數據挖掘

OLAP和數據挖掘:OLAP使用技術比數據挖掘簡單,前者也就是涉及到維度、度量、層次、cube等一些概念,技術上真的有些傻瓜。而后者好像真的高深很多,一堆算法,什么關聯算法、決策樹、神經元等等,怪能嚇唬人的。OLAP和數據挖掘都是為決策提供支持,只是側重點不同,前者提供描述型的模型,告訴你什么樣的產品在什么地區的銷售額和去年的對比。后者提供探索型的模型,告訴你啤酒和尿布的規律。最后的決策都是人來做。幾年的大型BI項目幾乎都是這種思路,先建數據倉庫,上OLAP和報表應用,數據挖掘在二期考慮。

多維分析:多維分析報表結合商業智能的核心技術——OLAP,可以幫助用戶進行多角度、靈活動態的分析。多維分析報表由“維”(影響因素)和 “指標”(衡量因素)組成,能夠真正為用戶所理解、並真實的反映企業特性信息。多維分析是分析企業數據最有效的方法,是OLAP的靈魂

OLAP的多維分析視圖就是沖破了物理的三維概念,采用了旋轉、嵌套、切片、鑽取和高維可視化技術,在屏幕上展示多維視圖的結構,使用戶直觀地理解、分析數據,進行決策支持。

ROLAP、MOLAP、HOLAP: OLAP系統按照其存儲器的數據存儲格式可以分為關系OLAP(RelationalOLAP,簡稱ROLAP)、多維OLAP(MultidimensionalOLAP,簡稱MOLAP)和混合型OLAP(HybridOLAP,簡稱HOLAP)三種類型。

ODS(Operational Data Store)是數據倉庫體系結構中的一個可選部分,ODS具備數據倉庫的部分特征和OLTP系統的部分特征,它是“面向主題的、集成的、當前或接近當前的、不斷變化的”數據。

物化視圖是包括一個查詢結果的數據庫對象,它是遠程數據的的本地副本,或者用來生成基於數據表求和的匯總表。

大數據、雲計算、商業智能:三者之間的關系,個人理解:離用雲計算來處理大數據,解決性能問題,然后在大數據的基礎上進行數據分析、數據挖掘。

4V:大數據的4V特性,即類型復雜,海量,快速和價值

Hadoop:一個分布式系統基礎架構,用戶可以在不了解分布式底層細節的情況下,開發分布式程序。充分利用集群的威力高速運算和存儲。只在你的數據量可能會擴充到TB或甚至PB這樣的水平時,才探索像Hadoop這樣的大數據方法。

微軟官方表示,微軟已經放棄了微軟與Hortonworks開發實施Windows Server(也就是HDInsight Server for Windows)的計划。相反,微軟將會建議那些希望在Windows Server上部署Hadoop的客戶選擇Hortonworks Data Platform (HDP) for Windows。

去年發布的SQL Server 2012針對大數據做了很多改進,其中最重要的就是全面支持Hadoop。

SQL Server並行數據倉庫:並行數據倉庫(Parallel Data Warehouse Appliance,簡稱PDW)是在SQL Server 2008 R2中推出的新產品,目前已經成為微軟主要的數據倉庫產品,並將於今年發布基於SQL Server 2012的新款並行數據倉庫一體機。SQL Server並行數據倉庫采取的是大規模並行處理(MPP)架構,與傳統的單機版SQL Server存在着根本上的不同,它將多種先進的數據存儲與處理技術結合為一體,是微軟大數據戰略的重要組成部分。

 

雲計算包含如下:

IaaS:基礎設施即服務

PaaS:平台即服務

SaaS:軟件即服務

Informatica:最富盛名的是數據集成平台,“所謂數據集成平台,其前身是ETL(Extraction Transformation Loading,數據提取、轉換和加載),是伴隨着BI、數據倉庫的需求出現的,其主要功能對各種業務平台數據進行抽取和相關轉化,以此來滿足BI、數據倉庫對數據格式和內容挖掘的要求。”但彬說。“不僅BI、數據倉庫對數據格式/內容有需求,企業不同應用系統之間也不斷交換數據,為此,企業數據集成概念脫穎而出。”

 

BI經典實例全過程,多讀幾遍:使用SQL Server Analysis Services數據挖掘的關聯規則實現商品推薦功能 http://www.cnblogs.com/aspnetx/archive/2013/02/25/2931603.html

使用SQL Server分析服務定位目標用戶 http://www.cnblogs.com/aspnetx/archive/2013/04/05/3000448.html

數據挖掘擴展插件語言:DMX  http://winsystem.ctocio.com.cn/443/9390443.shtml  http://www.doc88.com/p-094200441111.html

數據挖掘算法全解釋:http://technet.microsoft.com/zh-cn/library/ms175595(v=sql.100).aspx 

博客園SSAS學習資源庫:http://zzk.cnblogs.com/s?w=SSAS&amp%3Bt=&amp%3Bsort=Votes 

微軟SQLServer官方示例項目部署-數據引擎和分析服務部分 http://www.cnblogs.com/aspnetx/archive/2013/01/30/2883831.html

一起玩轉SQL Server 2012 下的分析服務(帶圖) :http://www.cnblogs.com/aspnetx/archive/2013/03/24/2978347.html

 多維分析之概念准備篇: http://www.cnblogs.com/jinspire/archive/2011/11/23/2259718.html

OLAP的多維數據分析:http://www.51cto.com/art/200511/11337.htm

多維聯機分析處理:http://wiki.mbalib.com/wiki/%E5%A4%9A%E7%BB%B4%E8%81%94%E6%9C%BA%E5%88%86%E6%9E%90%E5%A4%84%E7%90%86

SSIS包的部署、配置、定期執行:http://wenku.baidu.com/view/668d6ceeaeaad1f346933f5b.html

一步一步學習sqlserver BI:http://www.kuqin.com/datawarehouse/20080421/7163.html

專注BI博客:http://www.cnblogs.com/aspnetx/category/67838.html 

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM