http://www.dataguru.cn/thread-260221-1-1.html
今天看了很多帖子,對氣象數據集的數據下載都不是很清晰,我特地整理了一個。
老師提供的ftp://ftp3.ncdc.noaa.gov/pub/data/noaa已經轉到ftp://ftp.ncdc.noaa.gov/pub/data/noaa了,具體見下:
2 下載氣象數據集部分數據,寫一個Map-Reduce作業,求每年的最低溫度,部署並運行之,抓圖過程
*****************************
下載氣象數據集:
1. 下載地址:ftp://ftp.ncdc.noaa.gov/pub/data/noaa
可以通過wget或者ftp方式下載
wget方式:wget -r -c ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2008
ftp方式:
kevindemacbook-pro:~ kk$ ftp
ftp> open
(to) ftp.ncdc.noaa.gov
ftp> ls
227 Entering Passive Mode (205,167,25,101,252,130).
150 Opening ASCII mode data connection for file list
drwxr-xr-x 2 root root 512 Oct 6 2010 data
drwxr-xr-x 3 root root 512 May 30 2013 nfs
drwxr-xr-x 8 ftp ftp 32768 Apr 1 10:00 pub
-rw-r--r-- 1 root root 858 Dec 7 2012 welcome.msg
ftp> cd pub/data/noaa/1950
ftp>get 999999-94224-1950.gz
2.還有一種下載方式,以下的介紹中說明了教科書源碼和數據的下載地址(參考 http://www.dataguru.cn/forum.php?mod=viewthread&tid=25921)
http://hadoopbook.com/code.html
Code and Data
The book’s example code is available from GitHub at http://github.com/tomwhite/hadoop-book/.
The code for the third edition is at https://github.com/tomwhite/hadoop-book/tree/3e.
A sample of the NCDC weather dataset that is used throughout the book can be found at https://github.com/tomwhite/hado ... ster/input/ncdc/all
另外看到有同學下的地址是:ftp://ftp.ncdc.noaa.gov/pub/data/gsod/2008
這個地址下數據格式與老師給的不同,當然,分析一下改改代碼也是可以使用的。
還有同學提供的下載地址:
ftp://ftp3.ncdc.noaa.gov/pub/data/noaa/isd-lite/
這個地址下數據格式與老師給的不同,當然,分析一下改改代碼也是可以使用的。
****************************