可視化mark

待嘗試研究的可視化組件及產品：

• 開源組件
• 商業組件

開源組件

---

• zeppelin
• Caravel
• D3.js
• Flare
• talend(ETL)
• pentaho
• spagoBI
• NanoCubs
• Dygraphs
• Saiku
• airpal
• Chart.js
• chartist.js
• ECharts
• FnordMetric
• redash
• zingchart

zeppelin

---

• 主頁：
• apache 開源產品
• 在編寫 Flink，Spark，Hive 等相關作業時，要是能快速的將我們所編寫的作業能可視化在我們面前的工具
• http://www.pointtec.de/zeppelin/

Caravel

---

• Caravel 是 Airbnb （知名在線房屋短租公司）開源的數據探查與可視化平台（曾用名Panoramix），該工具在可視化、易用性和交互性上非常有特色，用戶可以輕松對數據進行可視化分析
• 快速創建數據可視化互動儀表盤
• 豐富的可視化圖表模板，靈活可擴展
• 細粒度高可擴展性的安全訪問模型，支持主要的認證供應商（數據庫、OpenID、LDAP、OAuth 等）
• 簡潔的語義層，可以控制數據資源在 UI 的展現方式
• 與 Druid 深度集成，可以快速解析大規模數據集
• https://github.com/airbnb/superset
• https://segmentfault.com/a/1190000005083953

D3.js

---

• 一個強調網頁標准的用來創建數據可視化JavaScript庫。使用HTML、SVG和CSS，可以讓使用者以數據驅動的方式去操作DOM，能夠滿足現在瀏覽器的兼容性並且不受專用框架的限制。
• 示例地址：https://github.com/d3/d3/wiki/Gallery

Flare

---

• 處理復雜、交互式圖表、支持數據管理、視覺編碼、動畫和交互作用，各種可視化表格從時間線到多層圖表來說明關系
• 演示地址：http://flare.prefuse.org/demo
• 關注演示部分：

1. 1. layout -> intent

talend

---

• 網址：https://www.talend.com/download/talend-open-studio/
• 即提供免費版本，也提供收費版本

• Pentaho Data Integration (Kettle)是Pentaho生態系統中默認的ETL工具。通過非常直觀的圖形化編輯器（Spoon），您可以定義以XML格式儲存的流程。在Kettle運行過程中，這些流程會以不同的方法編譯。用到的工具包括命令行工具(Pan),小型服務器(Carte)，數據庫存儲庫（repository）(Kitchen)或者直接使用IDE(Spoon)。

• Talend Open Studio是 Talend 開發的ETL工具——Talend 是一家主營數據集成和數據管理解決方案的企業。Talend 采用用戶友好型，綜合性很強的IDE（類似於Pentaho Kettle 的 Spoon）來設計不同的流程。這些流程可以在IDE內部測試並編譯成Java 代碼。您可以隨時查看並編輯生成的Java代碼，同時實現強大的控制力和靈活性。 兩者都非常優秀，都屬於用戶友好型的交叉平台（基於Java的）工具。它們的主要差異在於Kettle 將 ELT 流程編譯為 XML 格式，然而Talend Open Studio 則生成 Java 代碼

• 易用性：

  1. Talend：有 GUI 圖形界面但是以 Eclipse 的插件方式提供
  2. Kettle：有非常容易使用的 GUI，出現問題可以到社區咨詢。
• 技術支持：

1. 1. Talend：主要在美國
   2. Kettle：在美國，歐洲（比利時，德國，法國，英國），亞洲（中國，日本，韓國）都可以找到相關技術支持人員

• 部署：

1. 1. Talend：創建 java 或perl 文件，並通過操作系統調度工具來運行
   2. Kettle：可以使用 job 作業方式或操作系統調度，來執行一個轉換文件或作業文件，也可以通過集群的方式在多台機器上部署

• 速度

1. 1. Talend：需要手工調整，對特定數據源有優化知識
   2. Kettle：比 Talend 快，不過也需要手工調整，對 Oracle 和 PostGre 等數據源做了優化，同時也取決於轉換任務的設計

• 數據質量：

1. 1. Talend：在 GUI 里有數據質量特性，可以手工寫 SQL 語句。
   2. Kettle：在 GUI 里有數據質量特性，可以手工寫 SQL 語句、java腳本、正則表達式來完成數據清洗。

pentaho

---

• 網址：http://www.pentaho.com/product/big-data-analytics
• pentaho自稱為“全面的數據集成和商業智能平台”，該公司主要大力推銷它的商業軟件，該軟件基於開源社區。
• Pentaho是一個以工作 流為核心的、強調面向解決方案而非工具組件的BI套件，整合了多個開源項目，目標是和商業BI相抗衡。它偏向於與業務流程相結合的BI解決方案
• 功能和特點
  ◆ 工作流引擎：Shark and JaWE
  ◆ 數據庫：Firebird RDBMS
  ◆ 集成管理和開發環境：Eclipse
  ◆ 報表工具：Eclipse BIRT
  ◆ ETL工具：Enhydra/Kettle
  ◆ OLAP Server：Mondrian
  ◆ OLAP展示：JPivot
  ◆ 數據挖掘組件：Weka
  ◆ 應用服務器和Portal服務器：JBoss
  ◆ 單點登陸服務及LDap認證：JOSSO
  ◆ 自定義腳本支持：Mozilla Rhino Javascript腳本處理器

spagoBI

---

• 相比Pentaho，spagoBI完全免費
• 包括用於報表、olap、圖表、位置情報、數據挖掘、ETL和更多其它方面的工具，還實現與流行的內存處理引擎整合，能夠實現實時處理
• 網址：http://www.spagobi.org/homepage/product/real-time/
• 參照學習筆記 ：http://blog.csdn.net/zry3942522/article/category/1122641

NanoCubs

---

•  在日常電腦上可提供對億級時空數據的快速展示和多級實時鑽取探索分析
• 網址：http://nanocubes.net/
• 關注： http://nanocubes.net/view.html#flights   (分時段熱力圖？）

Dygraphs

---

• Dygraphs是一個開源的JS庫；用於生成可與用戶交互的、可縮放的時間圖表。主要用於顯示密集的數據集合，用戶能夠很好的瀏覽和查看數據
• demo地址： http://dygraphs.com/
• 參考學習筆記：http://blog.csdn.net/yangqingqo/article/details/8456325

Saiku

---

• Saiku是一個模塊化的開源分析套件，它提供輕量級的OLAP（聯機分析處理），並且可嵌入、可擴展、可配置
• Saiku通過REST API連接OLAP系統，利用其友好的界面為用戶提供直觀的分析數據的方式，它是基於jQuery做的前端界面
• 網址：http://www.analytical-labs.com/
• 源碼：https://github.com/OSBI/saiku
• 學習參考筆記：http://www.cnblogs.com/Jason-Xiang/category/747640.html

airpal

---

• Airpal 是一個基於 Web 的查詢執行工具，利用 Facebook 的 PrestoDB 進行查詢和獲取結果。提供了查找表、元數據、瀏覽數據行，編寫和執行查詢的功能，這些功能全部通過瀏覽器完成。一旦查詢開始執行，用戶可跟蹤查詢進度獲取並下載結果。查詢的結果可生成新的 Hive 表用於進一步的分析
• 源碼地址：https://github.com/airbnb/airpal
• 項目特性：
  •可選的用戶訪問控制
  •SQL語法高亮
  •查詢結果導出到CSV文件，或者存到Hive表中
  •可查看SQL查詢的歷史記錄
  •可保存查詢
  •根據表名搜索對應的表
  •可查看表結構，並預覽前1000行數據

Chart.js

---

• chart.js 是一個簡單、面向對象、為設計者和開發者准備的圖表繪制工具庫
• ChartJS 使用HTML5 Canvas元素的Javascript圖形庫,支持6種統計圖形,不依賴其他庫
• 網址：http://www.bootcss.com/p/chart.js/

chartist.js

---

• hartist.js 是簡單的響應式圖表，可以作為前端圖表生成器
• 網址：http://gionkunz.github.io/chartist-js/

ECharts

---

•  百度企業場景圖表
• http://echarts.baidu.com/

FnordMetric

---

• FnordMetric是一個使用SQL語句來實現數據收集和可視化的框架，它使用chartsql擴展了標准的sql，允許你編寫查詢語句來返回圖表而不是返回表，查詢結果作為SVG向量圖或者images來呈現出來。這些圖表可以很容易嵌入一個web站點中，這樣你就可以在短短幾分鍾內繪制漂亮的圖表
• 網址： http://fnordmetric.io/
• 參考：http://blog.csdn.net/itas109/article/details/52311390

redash

---

• re:dash 是一款開源的BI工具，提供了基於web的數據庫查詢和數據可視化功能
• 訪問地址： https://redash.io/

zingchart

---

• https://www.zingchart.com/about-us/
• 網址：https://github.com/zingchart
• 參考：http://bbs.pinggu.org/thread-3666754-1-1.html

 

商業組件

---

• Ethink
• Tableau
• PowerBI
• FineReport
• Style Intelligence
• sisense

EThink

---

• 公司地址： http://www.ethinkbi.com/#
• 演示： http://www.ethinkbi.com/try/
• 說明：安徽象形信息科技有限公司(ETHINK)是國內大數據產品及方案服務商,專注於大數據,BI,大數據分析,大數據挖掘工具領域,是一家國內大數據分析產品領域的領導企業
• 關注點：

1. 地圖下鑽（缺點：不能按比例縮放） http://120.26.36.169:8088/ethinknew/user?type=item2
2. K線圖：關注下面關聯的時間軸

Tableau

---

• 公司地址：https://www.tableau.com/
• 相關評價：

1. 1. 混合數據源
   2. 高效快速
   3. Tableau9.0版本開始支持中國地圖

• 產品分類:

1. 1. Tableau Desktop：收費，分個人版跟專業版，個人版只能連本地文件，專業版則無限制。Tableau制作端，創建可視化圖表的軟件
   2. Tableau Server：收費。可以發布做好的可視化圖表，在瀏覽器或者移動設備上即可查看，共享、協作提高數據分析決策效率
   3. Tableau Online：收費，按年收取。基於雲的服務，簡單來講就是雲計算版server，企業不用自己部署Tableau server服務，通過Tableau自己的雲端服務器,處理發布出去的可視化圖表，同樣能達到server的效果。不過由於服務器不在中國境內，運行效率可能會受到影響
   4. Tableau Public：免費。可在線分享自己的工作表、儀表板以及故事，與更多的人交流交互式數據故事
   5. Tableau Reader：免費。Tableau閱讀器可打開並查看Desktop中生成的可視化圖表，並且能進行可視化交互、篩選、鑽取和查看明細

• 關注點：

1. 圖表豐富，操作簡單
2. 交叉表

PowerBI

---

• 微軟產品
• https://powerbi.microsoft.com/en-us/blog/
• https://powerbi.microsoft.com/en-us/guided-learning/powerbi-learning-0-0b-building-blocks-power-bi
• https://powerbi.microsoft.com/en-us/documentation/powerbi-spark-on-hdinsight-with-direct-connect/
• https://powerbi.microsoft.com/en-us/documentation/powerbi-personal-gateway
• https://powerbi.microsoft.com/en-us/documentation/powerbi-gateway-enterprise/
• https://powerbi.microsoft.com/en-us/documentation/powerbi-gateway-enterprise-upgrade-as-connector/
• https://powerbi.microsoft.com/en-us/documentation/powerbi-power-bi-pro-content-what-is-it/
• https://powerbi.microsoft.com/en-us/documentation/powerbi-gateway-enterprise-manage-sql/
• https://powerbi.microsoft.com/en-us/documentation/powerbi-gateway-enterprise-indepth/
• https://powerbi.microsoft.com/en-us/documentation/powerbi-service-self-service-signup-for-power-bi/
• https://powerbi.microsoft.com/en-us/documentation/powerbi-admin-data-management-gateway-in-office-365/ 

 

FineReport

---

• 演示地址: http://www.finereporthelp.com:8889/demo/ReportServer?op=fs
• 公司主頁： http://www.finereport.com/product
• FineReport報表軟件是一款純Java編寫的、集數據展示(報表)和數據錄入(表單)功能於一身的企業級web報表工具
• 傳統報表類工具，沒啥新意

Style Intelligence

---

• Style Intelligence 是由美國英網軟件技術公司自主研發意為全球企業級客戶提供簡單、敏捷、高效的商業智能軟件
• 訪問： https://www.passionned.com/business-intelligence/tools/style-intelligence/

sisense

---

• 支持組合多個數據源，可以讓用戶從豐富的數據可視化數據中發現及分享見解
• 網址：https://www.sisense.com
• 微軟 Azure Marketplace ： https://azuremarketplace.microsoft.com/en-us/marketplace/apps/sisense.sisense_byol