1、创建hadoop用户，hadoopgroup组　　 2、安装ftp工具　　 2、安装jdk、hadoop 将下载的jdk、hadoop拷贝到服务器上， ...

结果： 代码如下： CityEn_Deal.txt IO.py ...

最近在学习python爬虫，在爬取某些网站的时候需要提交加密数据，于是记录下爬取过程， 以供自己学习、存档。 一、目标网站 中国空气质量在线监测分析平台收录了全国367个城市的PM2.5及天气信息数据， 具体包括AQI, PM2.5, PM10, S02 ...

JSON->NSData NSData->JSON ...

一、选题背景 天气预报我们每天都会关注，我们可以根据未来的天气增减衣物、安排出行，每天的气温、风速风向、相对湿度、空气质量等成为关注的焦点。本次使用python中requests和BeautifulSoup库对中国天气网当天和未来14天的数据进行爬取，，之后用matplotlib、numpy ...

做demo前需要先搭建Hadoop集群，并且有linux基础，可参考 https://www.cnblogs.com/linyufeng/p/10831240.html 　1.引出问题 　　给一串数据，找出每年的每个月温度最高的2天。其中有可能包含着相同的数据。 　　2.分析 ...

一、主题式网络爬虫设计方案 1.主题式网络爬虫名称 名称：Python爬取中国天气网天气数据 2.主题式网络爬虫爬取的内容与数据特征分析 本次爬虫主要爬取中国天气网天气数据 3.主题式网络爬虫设计方案概述（包括实现思路与技术难点） requests库实现发送请求、获取响应 ...

我的第一篇博客，哈哈哈，记录一下我的Python进阶之路！ 今天写了一个简单的爬虫。 使用python的requests 和BeautifulSoup模块，Python 2.7.12可在命令行中直 ...