今天干活遇到一个事。有一些网站的一些操作非得要求你登陆才能做，比如新浪微博，你要随便看看吧，不行，非得让你登陆了才能看，再比如一些用户操作，像更改自己的资料啦，个人的隐私啦巴拉巴拉的。想抓取这样的url的话，就得一边携带cookie一边搞。 今天遇到的问题就是mediawiki的编辑文章这个操作 ...

　　Python中包含了两个网络模块，分别是urllib与urllib2，urllib2是urllib的升级版，拥有更强大的功能。urllib，让我们可以像读文件一样，读取http与ftp。而urllib2，则在urllib的基础上，提供了更多的接口，如cookie、代理、认证等更强大的功能 ...

#!/usr/bin/env pythonimport urllib2 # change followings before useuser = 'foo'passwd = 'bar'proxyserver = '1.2.3.4:5'url = 'http://www.google.com ...

...

Python的urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。他们两个最显着的差异如下： urllib2可以接受一个Request对象，并以此可以来设置一个URL的headers，但是urllib只接收一个URL。这意味着，你不能伪装你的用户代理字符串 ...

urllib2.urlopen(url, data=None, timeout=<object object>) ：用于打开一个URL，URL可以是一个字符串也可以是一个请求对象，data 用于指定要发送到服务器的额外数据的字符串，timeout 用于设置打开URL的超时 ...

在 正式并入某大公司之后，网络必须设置为统一的proxy，好的方面没看到，但是立即让我一的一个小工具不能工作了。在之前使用urllib2库，无需设置proxy，一切工作正常。在必须使用proxy之后，遇到了一系列的问题1. 使用urllib2的proxy import urllib2 ...

当处理HTTP链接的时候，链接如果有中文的话，那么发起HTTP链接的时候，一定要先把URL编码，否则就会出现问题。而在python中，用 urllib2.quote(URL)进入编码和urllib2.unquote(URL)解码的时候，有一点需要注意，就是URL字符串不能是 unicode编码 ...