数据快速批量添加到Elasticsearch
如何把数据快速批量添加到Elasticsearch中 问题来源 最近新做一个项目，有部分搜索比较频繁的数据，而且量级比较大，预计一两年时间很可能达到100G，项目要求不要存在数据库中，最终出来有两个方案，一个是使用Protocol Buffers存储在文件上，另外就是存在 ...
原文：量化学习：批量将历史数据以vnpy的数据格式添加到mongodb
由于期货合约历史的分钟线数据过多，导入时间特别长，在这个过程中针对遇到的导入过慢的问题的解决思路如下： .首先，vnpy原本的loadcsv功能，是将csv文件读取以后，按行进行数据转换，按每一条的时间replaceone更新到mongodb中，由于本次是一次性向数据库插入数据，所以处理后通过insert many的动作，进行一次性插入，提高插入数据的效率。 .再后来还是速度比较慢，考虑通过多线程 ...
2018-08-09 10:03 0 3201 推荐指数：
相关推荐
量化历史数据获取
由于量化策略研究需要用到尽量全的历史数据，包括：股票、外汇、期货、基金等等的分钟、小时、日历史数据，而且数据尽量全，最好能从九几年起。所以我在网上做了较多的搜查以找到可用的数据源。以下分别列出几个方案，并讨论其优缺，最后总结出一条可行的路。 Tushare 数据接口： 该接口 ...
量化学习：vnpy使用jqdatasdk进行初始化数据
聚宽提供的jqdatasdk，很好的使策略能在本地使用数据源，今天的修改就是使用jqdatasdk的数据，替换vnpy从mongodb获取数据进行策略数据初始化的过程。 首先安装完jqdatasdk后，在程序中引入 之后修改onInit函数，onInit函数是在策略初始化的过程中 ...
量化学习：聚宽jqdatasdk对接vnpy的数据服务
数据服务：使用聚宽jqdatasdk获取分钟数据按vnpy的Bar格式导入至mongodb中 提供downloadAllMinuteBar()，可以通过定时任务的形式，按vnpy的数据格式，每日获取分钟数据写入到mongodb当中 提供downloadMinuteBarByDate，可以输入 ...
如何把数据快速批量添加到Elasticsearch中
问题来源 最近新做一个项目，有部分搜索比较频繁的数据，而且量级比较大，预计一两年时间很可能达到100G，项目要求不要存在数据库中，最终出来有两个方案，一个是使用Protocol Buffers存储在文件上，另外就是存在Elasticsearch中，也方便搜索，但这两个方案需要验证，到底哪个方案好 ...
MongoDB 定期清理历史数据
mongo 可以通过 shell 方式执行 javascript，所以可以借助 crontab 定时执行脚本的方式处理。 js 脚本内容： shell 执行命令 ...
股票历史数据
腾讯 分时成交 当天 http://stockhtm.finance.qq.com/sstock/quotpage/q/600103.htm#detail http://stock.gtimg. ...
MongoDB学习笔记-数据格式及数据类型
JSON JSON是一种简单的数据表示方式，它易于理解、易于解析、易于记忆。但从另一方面来说，因为只有null、布尔、数字、字符串、数组和对象这几种数据类型，所以JSON有一定局限性。例如，JSON没有日期类型，JSON只有一种数字类型，无法区分浮点数和整数，更别说区分32为和64位数 ...