...

...

1.获取子标签： thr_msgs = soup.find_all('div',class_=re.compile('msg')) for i in thr_msgs: print (i) first ...

...

...

1.爬虫的本质是什么? 模仿浏览器的行为,爬取网页信息。 2.requests 1.get请求 get 2.post请求 View Code 3.其他请求 View ...

推荐使用lxml作为解析器,因为效率更高. 在Python2.7.3之前的版本和Python3中3.2.2之前的版本,必须安装lxml或html5lib, 因为那些Python版本的标准库中内置的HTML解析方法不够稳定. 如下的html_doc是一个缺少部分闭合标签的html文档 ...

本文记录下用来爬虫主要使用的两个库。第一个是requests，用这个库能很方便的下载网页，不用标准库里面各种urllib；第二个BeautifulSoup用来解析网页，不然自己用正则的话很烦。 requests使用，1直接使用库内提供的get、post等函数，在比简单的情况下使用，2利用 ...