原文:写一个shell脚本利用wget抓取股票历史数据

今天,大数据部老大交给我一项任务 抓取股票历史数据。于是乎,我自行在网上找了一下,发现wget真真是一个非常强大的linux下载工具。我已经被深深震撼到了。下面叙述今天的一些过程,还是比较坎坷的。 首先,我利用公司现在存在的股票数据,使用hive查询所有的股票代码并导入本地: PS:上面这一步骤,因为一个小小的问题 开始没有加关键字distinct,结果导致后期抓取数据抓到一大堆重复的股票代码的 ...

2015-07-13 17:03 0 5058 推荐指数:

查看详情

股票历史数据

腾讯 分时成交 当天 http://stockhtm.finance.qq.com/sstock/quotpage/q/600103.htm#detail http://stock.gtimg. ...

Mon Nov 28 05:31:00 CST 2016 0 3026
Python股票历史数据的获取

获取股票数据的接口很多,免费的接口有新浪、网易、雅虎的API接口,收费的就是证券公司及相应的公司提供的接口。收费试用的接口一般提供的数据只是最近一年或三年的,限制比较多,除非money足够多。所以本文主要讨论的是免费数据的获取及处理。 国内提供股票数据的接口如sinajs ...

Tue Dec 17 02:55:00 CST 2019 0 10010
股票历史数据下载梳理汇总(一)

1、股票基本信息接口描述:获取沪深股票、港股基本信息接口地址:http://api.waizaowang.com/doc/getStockInfo?stockType=0接口参数: 字段 类型 是否必填 描述 ...

Thu Apr 08 06:27:00 CST 2021 1 206
股票历史数据下载梳理汇总(一)

1、股票基本信息接口描述:获取沪深股票、港股基本信息接口地址:http://api.waizaowang.com/doc/getStockInfo?stockType=0接口参数: 字段 类型 是否必填 描述 ...

Thu Apr 08 06:29:00 CST 2021 2 474
分享一个天气历史数据的采集脚本

最近一个项目中需要用到过往的天气数据, 我找到了天气后报这个网站 (www.tianqihoubao.com), 并在SS中完成了相关采集, 和大家分享一下. 首先分析这个网站提供了两种信息: 1. 省市关系 2. 天气记录 对应的我们创建数据结构: >> ...

Wed Jan 22 19:28:00 CST 2014 4 4556
股票数据下载-下载股票历史数据

下载股票历史数据 今天介绍最简单的股票数据下载方法,只要电脑安装了Python就行(没安装或者不想折腾,点上面的链接也行)。 众所周知股票历史行情数据是做量化分析的第一步,如何下载股票历史数据也成了入门第一坎,不过不要怕,只要你懂一点Python,一切都非常简单。 在此我们假设已经安装 ...

Thu Dec 26 22:38:00 CST 2019 0 302
股票编程之股票历史数据获取

由于雅虎接口的改变 ,雅虎的接口可能已经停用了,请用网易接口,只要把时间区间设大点即可 网易的接口是: 网易的数据格式为csv文件 日线 http://quotes.money.163.com/service/chddata.html?code=代码&start=开始时 ...

Mon Feb 13 21:01:00 CST 2017 4 6493
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM