阿里雲有很多成熟的雲產品(萌新認知),我自己只用過騰訊雲的對象存儲,對這類雲產品不是特別了解。
有幸參與到大數據相關的項目,跟着學了點工具的使用方法,非常簡單,也了解了一些使用大數據分析問題的流程。
參考資料
官方文檔->點擊跳轉
在使用之前肯定需要有賬號巴拉巴拉什么的,根據官方文檔來就好了。
臨時查詢
臨時查詢可以寫點類似sql的語句查查東西,建建表啥的。
使用過程:臨時查詢->右鍵新建-新建節點-ODPS SQL->寫語句->運行語句
這里的SQL不是正經的SQL,他們自己有一個規范,具體參考官方文檔->點擊跳轉

CREATE TABLE test111 (
ID int COMMENT 'id'
,NAME STRING COMMENT '姓名'
) COMMENT '測試表111'

SELECT name
,age
,tel
FROM test_jey
WHERE age = 20

DROP TABLE 表名 --刪表
TRUNCATE TABLE 表名 --清空表
這里使用的是按需版,select花錢,按數據的量算錢,最低一分,執行之前會告訴費用,可以不運行。包月的就隨便查。
在下方可以看到日志和查詢結果,在左邊的運行歷史也可以看到語句、日志和結果。
建表
非常簡單,可以寫語句(選擇DDL模式里面寫語句),也可以在頁面上點點點來建表(個人比較喜歡)。
數據開發->帶+號的圖標->表(或者 表管理->帶+號的圖標)->表名->表結構信息->提交到生產環境
業務流程
以下為萌新理解:
對大數據的分析肯定很復雜,不是連幾個表查詢查詢就能解決的事情。在這里可以把你想實現的運算按步驟一個節點一個節點寫出來,有個可視化的節點,有利於整理思路,不至於寫着寫着就懵了(比如我這種小可愛)
左邊有很多可以拖拽的東西。第一個數據集成的數據同步,數據同步的功能就是將數據從這里導出到別的數據源(各種數據庫、自己的、阿里的,很多種,oracle好像比較費勁),或者將其他數據源的數據導入這里。下面綠色的就是可以用各種語言來算點東西,想用哪個用哪個。
同時,這里的每一步工作都可以定時來做(右側-調度配置)。因為大數據項目基本都不是死數據,都是逐漸增加的,所以分析也要經常更新。可以設置每年/月/日/小時/分鍾運行。
函數列表
給了一些可以用的函數(在sql語句中使用),非常方便,也可以自定義函數。