IDEA with MaxCompute Stadio


MaxCompute Studio是阿里雲MaxCompute(原ODPS)平台提供的安裝在開發者客戶端的大數據集成開發環境(IDE)工具,是一套基於流行的集成開發平台 IntelliJ IDEA 的開發插件,幫助用戶方便地進行數據開發。ODPS客戶端是一個命令行工具,通過它可以訪問MaxCompute的各項功能。

開發環境配置

1)安裝JDK,IDEA

2)安裝ODPS命令行工具

官網下載:http://repo.aliyun.com/odpscmd/

下載后解壓到不帶空格目錄,否則報錯,建議解壓到根目錄,如:D:\odpscmd_public,解壓后由四個文件夾:

 bin/  conf/  lib/  plugins/

配置conf文件夾下odps_config.ini文件:

 project_name=
 access_id=<accessid>
 access_key=<accesskey>
 end_point=http://sg-service-maxcompute.aliyun.com/api

獲取ID、KEY:用戶詳情,其中的access_id和access_key為www.aliyun.com上申請的access_id和access_key

鏈接信息:項目管理->數據源配置(endpoint、項目名稱)

3)安裝MaxCompute Studio插件

官方文檔:https://help.aliyun.com/document_detail/50892.html

可以在IDEA在線安裝插件,網絡不好可下載插件安裝,插件地址:https://plugins.jetbrains.com/plugin/9193-maxcompute-studio

4)創建MaxCompute Studio項目

在Settings中MaxCompute Studio項設置local meta store location,存儲本地元數據信息。

官方文檔:https://help.aliyun.com/document_detail/50855.html

創建連接:

 直接使用剛才配置的odps_config.ini文件,自動填充信息。

5)調試開發

到此為止環境搭建完成,可以使用ODPS套件開發項目,常用參考文檔:

開發調試UDF:https://help.aliyun.com/document_detail/50902.html
開發調試MR:https://help.aliyun.com/document_detail/50903.html
打包/上傳/注冊/調用:https://help.aliyun.com/document_detail/50904.html

Tips:

開發SQL腳本,表必須先創建再操作,否則報錯‘xxxxx cannot be resolved’.

 

~完~


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM