原文:全國火車高鐵站及車次數據爬蟲(內含100W+數據,免費領取!)

具體代碼丟了 思路如下: 所需工具:Python VBA Arcgis 高德地圖API 數據來源:不記得了,之前爬過盛名火車站的,但是查了下,並不全。 數據日期:這里的火車數據更新截止到 月,可能以后還有新的火車站建設,有需要再搞 數據總量: W 吧,沒仔細數 在相關網站上把各省各地的火車數據爬取下來,我爬完后是這個樣 再通過一段VBA代碼整理了一下,變成如下這樣 可以具體到各地到各地的火車數據了 ...

2018-08-31 10:14 3 5212 推薦指數:

查看詳情

100W+ 數據導出 Excel,不卡死,不內存溢出!這個厲害了。。

一. 簡介 導出是后台管理系統的常用功能,當數據量特別大的時候會內存溢出和卡頓頁面,曾經自己封裝過一個導出,采用了分批查詢數據來避免內存溢出和使用SXSSFWorkbook方式緩存數據到文件上以解決下載大文件EXCEL卡死頁面的問題。 不過一是存在封裝不太友好使用不方便的問題,二是這些poi ...

Wed Dec 08 21:38:00 CST 2021 1 1865
12306火車票&query所得數據格式分析

初次抓取火車票查詢數據時,采用的是正常的瀏覽器點擊查詢使用的鏈接: Click Here 但是用urllib抓取到的數據發現並沒有網頁上顯示的余票數據,后來發現,余票信息與上面網頁信息並非同步傳輸到客戶端,如下圖: 通過上圖,發現最開始得到的數據並不包括余票信息等,如下圖為前 ...

Sun Aug 23 04:06:00 CST 2020 0 632
年薪100w+的技術人,都做對了什么?

在生活節奏越來越快的今天,針對技術人的就業恐慌,愈發嚴重。職場低薪大坑,也開始伸向以高薪著稱的IT技術人。 不論是后端開發,還是網工運維,既要掌握自己的核心技能,也要熟悉職場軟技能,更不 ...

Tue Nov 10 02:30:00 CST 2020 2 1312
全國1949-2020最新歷年各省、市州、縣區鐵路高速公路國道省道縣道鄉道路網數據

簡介該數據集(數據庫)依據建國以來,歷年的鐵路高速公路國道省道縣道鄉道數據處理而成,科學、系統地還原了中國省市縣級道路發展過程,為科學研究、社會管理、經濟發展等相關領域發揮重要作用。我們編輯制作的包含最新高鐵路高速公路國道省道縣道鄉道及其面狀區域的標准地理底圖。地圖數據 ...

Fri Jul 24 04:38:00 CST 2020 6 1308
使用HTTP POST請求12306網接口查詢火車車次API

使用12306網提供的接口,傳入參數,解析數據,先發個鏈接給大家看看... http://www.devapi.org/12306-Search-Train-Number.html 接口類型: HTTP(POST) / UTF-8 接口返回值: json 參數詳解 ...

Sat Jun 01 01:02:00 CST 2013 3 3761
java爬蟲12306,爬取所有的站點和車次,並導入postgreSQL數據

https://github.com/lxd7788/Train 代碼地址 准備 安裝postgreSQL數據庫,和可視化工具pgadmin3,或者其他數據庫 實現功能,抓取12306全部的站點,並實現通過站點查詢出所有經過次站點的車次,通過車次查出次列車經過的城市 分析 分析 ...

Tue Mar 20 06:12:00 CST 2018 21 2851
Python爬蟲入門教程 32-100 B博人傳評論數據抓取 scrapy

1. B博人傳評論數據爬取簡介 今天想了半天不知道抓啥,去B看跳舞的小姐姐,忽然看到了評論,那就抓取一下B的評論數據,視頻動畫那么多,也不知道抓取哪個,選了一個博人傳跟火影相關的,抓取看看。網址: https://www.bilibili.com/bangumi/media/md5978 ...

Wed Feb 13 16:20:00 CST 2019 1 573
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM