MaxCompute Studio是阿里雲MaxCompute(原ODPS)平台提供的安裝在開發者客戶端的大數據集成開發環境(IDE)工具,是一套基於流行的集成開發平台 IntelliJ IDEA 的開發插件,幫助用戶方便地進行數據開發。ODPS客戶端是一個命令行工具,通過它可以訪問MaxCompute的各項功能。
開發環境配置
1)安裝JDK,IDEA
2)安裝ODPS命令行工具
官網下載:http://repo.aliyun.com/odpscmd/
下載后解壓到不帶空格目錄,否則報錯,建議解壓到根目錄,如:D:\odpscmd_public,解壓后由四個文件夾:
bin/ conf/ lib/ plugins/
配置conf文件夾下odps_config.ini文件:
project_name= access_id=<accessid> access_key=<accesskey> end_point=http://sg-service-maxcompute.aliyun.com/api
獲取ID、KEY:用戶詳情,其中的access_id和access_key為www.aliyun.com上申請的access_id和access_key
鏈接信息:項目管理->數據源配置(endpoint、項目名稱)
3)安裝MaxCompute Studio插件
官方文檔:https://help.aliyun.com/document_detail/50892.html
可以在IDEA在線安裝插件,網絡不好可下載插件安裝,插件地址:https://plugins.jetbrains.com/plugin/9193-maxcompute-studio
4)創建MaxCompute Studio項目
在Settings中MaxCompute Studio項設置local meta store location,存儲本地元數據信息。
官方文檔:https://help.aliyun.com/document_detail/50855.html
創建連接:
直接使用剛才配置的odps_config.ini文件,自動填充信息。
5)調試開發
到此為止環境搭建完成,可以使用ODPS套件開發項目,常用參考文檔:
開發調試UDF:https://help.aliyun.com/document_detail/50902.html
開發調試MR:https://help.aliyun.com/document_detail/50903.html
打包/上傳/注冊/調用:https://help.aliyun.com/document_detail/50904.html
Tips:
開發SQL腳本,表必須先創建再操作,否則報錯‘xxxxx cannot be resolved’.
~完~