數據快速批量添加到Elasticsearch
如何把數據快速批量添加到Elasticsearch中 問題來源 最近新做一個項目，有部分搜索比較頻繁的數據，而且量級比較大，預計一兩年時間很可能達到100G，項目要求不要存在數據庫中，最終出來有兩個方案，一個是使用Protocol Buffers存儲在文件上，另外就是存在 ...
原文：量化學習：批量將歷史數據以vnpy的數據格式添加到mongodb
由於期貨合約歷史的分鍾線數據過多，導入時間特別長，在這個過程中針對遇到的導入過慢的問題的解決思路如下： .首先，vnpy原本的loadcsv功能，是將csv文件讀取以后，按行進行數據轉換，按每一條的時間replaceone更新到mongodb中，由於本次是一次性向數據庫插入數據，所以處理后通過insert many的動作，進行一次性插入，提高插入數據的效率。 .再后來還是速度比較慢，考慮通過多線程 ...
2018-08-09 10:03 0 3201 推薦指數：
相關推薦
量化歷史數據獲取
由於量化策略研究需要用到盡量全的歷史數據，包括：股票、外匯、期貨、基金等等的分鍾、小時、日歷史數據，而且數據盡量全，最好能從九幾年起。所以我在網上做了較多的搜查以找到可用的數據源。以下分別列出幾個方案，並討論其優缺，最后總結出一條可行的路。 Tushare 數據接口： 該接口 ...
量化學習：vnpy使用jqdatasdk進行初始化數據
聚寬提供的jqdatasdk，很好的使策略能在本地使用數據源，今天的修改就是使用jqdatasdk的數據，替換vnpy從mongodb獲取數據進行策略數據初始化的過程。 首先安裝完jqdatasdk后，在程序中引入 之后修改onInit函數，onInit函數是在策略初始化的過程中 ...
量化學習：聚寬jqdatasdk對接vnpy的數據服務
數據服務：使用聚寬jqdatasdk獲取分鍾數據按vnpy的Bar格式導入至mongodb中 提供downloadAllMinuteBar()，可以通過定時任務的形式，按vnpy的數據格式，每日獲取分鍾數據寫入到mongodb當中 提供downloadMinuteBarByDate，可以輸入 ...
如何把數據快速批量添加到Elasticsearch中
問題來源 最近新做一個項目，有部分搜索比較頻繁的數據，而且量級比較大，預計一兩年時間很可能達到100G，項目要求不要存在數據庫中，最終出來有兩個方案，一個是使用Protocol Buffers存儲在文件上，另外就是存在Elasticsearch中，也方便搜索，但這兩個方案需要驗證，到底哪個方案好 ...
MongoDB 定期清理歷史數據
mongo 可以通過 shell 方式執行 javascript，所以可以借助 crontab 定時執行腳本的方式處理。 js 腳本內容： shell 執行命令 ...
股票歷史數據
騰訊 分時成交 當天 http://stockhtm.finance.qq.com/sstock/quotpage/q/600103.htm#detail http://stock.gtimg. ...
MongoDB學習筆記-數據格式及數據類型
JSON JSON是一種簡單的數據表示方式，它易於理解、易於解析、易於記憶。但從另一方面來說，因為只有null、布爾、數字、字符串、數組和對象這幾種數據類型，所以JSON有一定局限性。例如，JSON沒有日期類型，JSON只有一種數字類型，無法區分浮點數和整數，更別說區分32為和64位數 ...