原文:全国火车高铁站及车次数据爬虫(内含100W+数据,免费领取!)

具体代码丢了 思路如下: 所需工具:Python VBA Arcgis 高德地图API 数据来源:不记得了,之前爬过盛名火车站的,但是查了下,并不全。 数据日期:这里的火车数据更新截止到 月,可能以后还有新的火车站建设,有需要再搞 数据总量: W 吧,没仔细数 在相关网站上把各省各地的火车数据爬取下来,我爬完后是这个样 再通过一段VBA代码整理了一下,变成如下这样 可以具体到各地到各地的火车数据了 ...

2018-08-31 10:14 3 5212 推荐指数:

查看详情

100W+ 数据导出 Excel,不卡死,不内存溢出!这个厉害了。。

一. 简介 导出是后台管理系统的常用功能,当数据量特别大的时候会内存溢出和卡顿页面,曾经自己封装过一个导出,采用了分批查询数据来避免内存溢出和使用SXSSFWorkbook方式缓存数据到文件上以解决下载大文件EXCEL卡死页面的问题。 不过一是存在封装不太友好使用不方便的问题,二是这些poi ...

Wed Dec 08 21:38:00 CST 2021 1 1865
12306火车票&query所得数据格式分析

初次抓取火车票查询数据时,采用的是正常的浏览器点击查询使用的链接: Click Here 但是用urllib抓取到的数据发现并没有网页上显示的余票数据,后来发现,余票信息与上面网页信息并非同步传输到客户端,如下图: 通过上图,发现最开始得到的数据并不包括余票信息等,如下图为前 ...

Sun Aug 23 04:06:00 CST 2020 0 632
年薪100w+的技术人,都做对了什么?

在生活节奏越来越快的今天,针对技术人的就业恐慌,愈发严重。职场低薪大坑,也开始伸向以高薪著称的IT技术人。 不论是后端开发,还是网工运维,既要掌握自己的核心技能,也要熟悉职场软技能,更不 ...

Tue Nov 10 02:30:00 CST 2020 2 1312
全国1949-2020最新历年各省、市州、县区铁路高速公路国道省道县道乡道路网数据

简介该数据集(数据库)依据建国以来,历年的铁路高速公路国道省道县道乡道数据处理而成,科学、系统地还原了中国省市县级道路发展过程,为科学研究、社会管理、经济发展等相关领域发挥重要作用。我们编辑制作的包含最新高铁路高速公路国道省道县道乡道及其面状区域的标准地理底图。地图数据 ...

Fri Jul 24 04:38:00 CST 2020 6 1308
使用HTTP POST请求12306网接口查询火车车次API

使用12306网提供的接口,传入参数,解析数据,先发个链接给大家看看... http://www.devapi.org/12306-Search-Train-Number.html 接口类型: HTTP(POST) / UTF-8 接口返回值: json 参数详解 ...

Sat Jun 01 01:02:00 CST 2013 3 3761
java爬虫12306,爬取所有的站点和车次,并导入postgreSQL数据

https://github.com/lxd7788/Train 代码地址 准备 安装postgreSQL数据库,和可视化工具pgadmin3,或者其他数据库 实现功能,抓取12306全部的站点,并实现通过站点查询出所有经过次站点的车次,通过车次查出次列车经过的城市 分析 分析 ...

Tue Mar 20 06:12:00 CST 2018 21 2851
Python爬虫入门教程 32-100 B博人传评论数据抓取 scrapy

1. B博人传评论数据爬取简介 今天想了半天不知道抓啥,去B看跳舞的小姐姐,忽然看到了评论,那就抓取一下B的评论数据,视频动画那么多,也不知道抓取哪个,选了一个博人传跟火影相关的,抓取看看。网址: https://www.bilibili.com/bangumi/media/md5978 ...

Wed Feb 13 16:20:00 CST 2019 1 573
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM