這樣才能正確解鎖MaxCompute客戶端


 

大數據計算服務(MaxCompute,原名ODPS)是一種快速、完全托管的TB/PB級數據倉庫解決方案。MaxCompute向用戶提供了完善的數據導入方案以及多種經典的分布式計算模型,能夠更快速的解決用戶海量數據計算問題,有效降低企業成本,並保障數據安全。MaxCompute主要服務於批量結構化數據的存儲和計算,可以提供海量數據倉庫的解決方案以及針對大數據的分析建模服務。隨着社會數據收集手段的不斷豐富及完善,越來越多的行業數據被積累下來。數據規模已經增長到了傳統軟件行業無法承載的海量數據(百GB、TB、乃至PB)級別。在分析海量數據場景下,由於單台服務器的處理能力限制,數據分析者通常采用分布式計算模式。但分布式的計算模型對數據分析人員提出了較高的要求,且不易維護。使用分布式模型,數據分析人員不僅需要了解業務需求,同時還需要熟悉底層計算模型。MaxCompute的目的是為用戶提供一種便捷的分析處理海量數據的手段。用戶可以不必關心分布式計算細節,從而達到分析大數據的目的。MaxCompute已經在阿里巴巴集團內部得到大規模應用,例如:大型互聯網企業的數據倉庫和BI分析、網站的日志分析、電子商務網站的交易分析、用戶特征和興趣挖掘等。MaxCompute的開發工具有三種方法,本文介紹MaxCompute客戶端的安裝、配置、測試方法以及可能遇見的問題。odpscmd是MaxCompute基礎客戶端,可以通過它訪問MaxCompute的項目空間並使用各項功能。

安裝步驟:

第一步:下載安裝JDK(1.7或以上版本)
因為odpscmd是基於JAVA開發的,所以需配置JAVA運行環境。JDK大家可以在網上查找下載,我提供一個下載鏈接,僅供參考。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Windows版本和Mac OS版本選擇下載,下載完成之后,大家按照流程安裝即可。

第二步:配置JDK

Windows版本:
1.右鍵選擇 計算機→屬性→高級系統設置→高級→環境變量
2.系統變量→新建
變量名:JAVA_HOME
變量值:變量值填填寫JDK的安裝目錄,例如本人是 image


3、在系統變量中找見Path變量,選擇編輯,再選擇新建,輸入 image
最后確認就OK了。

4、檢查是否安裝完成。
在系統自帶cmd工具輸入檢測版本命令:java –version 當出現下面內容,則配置完成。

這個1.8.0_171是安裝的版本。
Mac OS版本:
Mac OS配置環境變量這篇文章講的很清楚,大家參考一下:https://blog.csdn.net/vvv_110/article/details/72897142

第三步:下載odpscmd客戶端安裝包
https://help.aliyun.com/document_detail/27971.html
點擊上面的鏈接,找見下面的內容即可下載。

第四步:解壓安裝包

大家把安裝包下載到合適的硬盤當中后,下載下來的都是zip文件,自帶的電腦壓縮工具應該都可以解壓,如果不可以解壓,大家下載一個zip解壓工具就好。解壓之后,就會出現四個文件夾bin、conf、lib、plugins。

第五步:配置客戶端

編輯conf文件夾中的odps_config.ini文件,對客戶端進行配置,如下所示:
access_id=*
access_key=* 
Accesss ID及Access Key是用戶的雲賬號信息,可登錄阿里雲官網,進入管理控制台accesskeys頁面進行查看。
project_name=my_project # 指定用戶想進入的項目空間。
end_point=https://service.odps.aliyun.com/api # MaxCompute服務的訪問鏈接。
tunnel_endpoint=https://dt.odps.aliyun.com # MaxCompute Tunnel服務的訪問鏈接。
log_view_host=http://logview.odps.aliyun.com 
當用戶執行一個作業后,客戶端會返回該作業的LogView地址。打開該地址將會看到作業執行的詳細信息。
https_check=true #決定是否開啟HTTPS訪問
因為.ini文件電腦默認打開的是txt的應用,電腦自帶的文本文檔打開之后是一長溜,不利於觀看,大家可以自行下載一些txt查看工具,比如notepad什么的,利於觀看。
因為開通服務的地區不同,需要根據自己開通Regoin情況以及數據所在Regoin進行end_point和tunel_endpoint配置,可參考官方文檔:
https://help.aliyun.com/document_detail/34951.html?spm=a2c4g.11186623.6.585.60c95192ZElXYN

配置完保存即可。

第六步:運行客戶端

修改好配置文件后,便可運行bin目錄下的MaxCompute客戶端(Linux系統下運行./bin/odpscmd,Windows下運行./bin/odpscmd.bat)


第七步:測試是否安裝完成

可在客戶端中運行測試語句,示例如下:
create table tbl1(id bigint);
insert overwrite table tbl1 select count(*) from tbl1;
select 'welcome to MaxCompute!' from tbl1;
如果出現以下結果,則表明安裝正確。

可能碰見的問題:
1、沒有安裝JDK,沒有配置環境變量,直接運行odpscmd報錯。
2、查看系統80端口,一般是打開的。端口關閉也會導致運行報錯。
3、config配置文件沒有配置正確,特別注意空間名稱以及endpoint,導致客戶端無法正常使用。
4、如碰見其他問題,可MaxCompute開發者社區群內咨詢。

 

本文作者:亢海鵬

原文鏈接

本文為雲棲社區原創內容,未經允許不得轉載。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM