python基于http协议编程：httplib,urllib和urllib2

        httplib实现了HTTP和HTTPS的客户端协议，一般不直接使用，在python更高层的封装模块中（urllib,urllib2）使用了它的http实现。

       HTTPConnection类的构造函数，表示一次与服务器之间的交互，即请求/响应。参数host表示服务器主机，如：http://www.csdn.net/；port为端口号，默认值为80； 参数strict的 默认值为false， 表示在无法解析服务器返回的状态行时( status line) （比较典型的状态行如： HTTP/1.0 200 OK ），是否抛BadStatusLine 异常；可选参数timeout 表示超时时间。
HTTPConnection提供的方法：

调用request 方法会向服务器发送一次请求，method 表示请求的方法，常用有方法有get 和post ；url 表示请求的资源的url ；body 表示提交到服务器的数据，必须是字符串（如果method 是”post” ，则可以把body 理解为html 表单中的数据）；headers 表示请求的http 头。
HTTPConnection.getresponse ()
获取Http 响应。返回的对象是HTTPResponse 的实例，关于HTTPResponse 在下面 会讲解。
HTTPConnection.connect ()
连接到Http 服务器。
HTTPConnection.close ()
关闭与服务器的连接。
HTTPConnection.set_debuglevel ( level )
设置高度的级别。参数level 的默认值为0 ，表示不输出任何调试信息。
httplib.HTTPResponse
HTTPResponse表示服务器对客户端请求的响应。往往通过调用HTTPConnection.getresponse()来创建，它有如下方法和属性：
HTTPResponse.read([amt])
获取响应的消息体。如果请求的是一个普通的网页，那么该方法返回的是页面的html。可选参数amt表示从响应流中读取指定字节的数据。
HTTPResponse.getheader(name[, default])
获取响应头。Name表示头域(header field)名，可选参数default在头域名不存在的情况下作为默认值返回。
HTTPResponse.getheaders()
以列表的形式返回所有的头信息。
HTTPResponse.msg
获取所有的响应头信息。
HTTPResponse.version
获取服务器所使用的http协议版本。11表示http/1.1；10表示http/1.0。
HTTPResponse.status
获取响应的状态码。如：200表示请求成功。
HTTPResponse.reason
返回服务器处理请求的结果说明。一般为”OK”
下面通过一个例子来熟悉HTTPResponse中的方法：

import httplib
conn = httplib.HTTPConnection("www.g.com", 80, False)
conn.request('get', '/', headers = {"Host": "www.google.com",
                                    "User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5",
                                    "Accept": "text/plain"})
res = conn.getresponse()
print 'version:', res.version
print 'reason:', res.reason
print 'status:', res.status
print 'msg:', res.msg
print 'headers:', res.getheaders()
#html
#print '\n' + '-' * 50 + '\n'
#print res.read()
conn.close()

 

Httplib模块中还定义了许多常量，如：
Httplib. HTTP_PORT 的值为80，表示默认的端口号为80；
Httplib.OK 的值为200，表示请求成功返回；
Httplib. NOT_FOUND 的值为404，表示请求的资源不存在；
可以通过httplib.responses 查询相关变量的含义，如：
Print httplib.responses[httplib.NOT_FOUND] #not found
更多关于httplib的信息，请参考Python手册httplib 模块。

urllib 和urllib2实现的功能大同小异，但urllib2要比urllib功能等各方面更高一个层次。目前的HTTP访问大部分都使用urllib2.
urllib2:

req = urllib2.Request('http://pythoneye.com')
response = urllib2.urlopen(req)
the_page = response.read()

 

FTP同样：

urlopen返回的应答对象response有两个很有用的方法info()和geturl()
geturl — 这个返回获取的真实的URL，这个很有用，因为urlopen(或者opener对象使用的)或许
会有重定向。获取的URL或许跟请求URL不同。
Data数据
有时候你希望发送一些数据到URL
post方式：

get方式：

data['name'] = 'Somebody Here'
data['location'] = 'Northampton'
data['language'] = 'Python'
url_values = urllib.urlencode(data)
url = 'http://pythoneye.com/example.cgi'
full_url = url + '?' + url_values
data = urllib2.open(full_url)

  

使用Basic HTTP Authentication:

import urllib2
# Create an OpenerDirector with support for Basic HTTP Authentication...
auth_handler = urllib2.HTTPBasicAuthHandler()
auth_handler.add_password(realm='PDQ Application',
                          uri='https://pythoneye.com/vecrty.py',
                          user='user',
                          passwd='pass')
opener = urllib2.build_opener(auth_handler)
# ...and install it globally so it can be used with urlopen.
urllib2.install_opener(opener)
urllib2.urlopen('http://www. pythoneye.com/app.html')

 

使用代理ProxyHandler：

proxy_handler = urllib2.ProxyHandler({'http': 'http://www.example.com:3128/'})
proxy_auth_handler = urllib2.HTTPBasicAuthHandler()
proxy_auth_handler.add_password('realm', 'host', 'username', 'password')

opener = build_opener(proxy_handler, proxy_auth_handler)
# This time, rather than install the OpenerDirector, we use it directly:
opener.open('http://www.example.com/login.html')

URLError–HTTPError:


from urllib2 import Request, urlopen, URLError, HTTPError
req = Request(someurl)
try:
     response = urlopen(req)
except HTTPError, e:
     print 'Error code: ', e.code
except URLError, e:
     print 'Reason: ', e.reason
else:
      .............


 

或者：

from urllib2 import Request, urlopen, URLError
req = Request(someurl)
try:
     response = urlopen(req)
except URLError, e:
     if hasattr(e, 'reason'):
           print 'Reason: ', e.reason
     elif hasattr(e, 'code'):
           print 'Error code: ', e.code
     else:
           .............

 

通常，URLError在没有网络连接(没有路由到特定服务器),或者服务器不存在的情况下产生
异常同样会带有”reason”属性，它是一个tuple，包含了一个错误号和一个错误信息

req = urllib2.Request('http://pythoneye.com')
try:
   urllib2.urlopen(req)
except URLError, e:
   print e.reason
   print e.code
   print e.read()

 

最后需要注意的就是，当处理URLError和HTTPError的时候，应先处理HTTPError，后处理URLError
Openers和Handlers：
opener使用操作器（handlers）。所有的重活都交给这些handlers来做。每一个handler知道
怎么打开url以一种独特的url协议（http，ftp等等），或者怎么处理打开url的某些方面，如，HTTP重定向，或者HTTP
cookie。
默认opener有对普通情况的操作器 （handlers）- ProxyHandler, UnknownHandler, HTTPHandler,
HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor.
再看python API：Return an OpenerDirector instance, which chains the handlers in the order given
这就更加证明了一点，那就是opener可以看成是一个容器，这个容器当中放的是控制器，默认的，容器当中有五个控制
器，程序员也可以加入自己的控制器，然后这些控制器去干活。

class HTTPHandler(AbstractHTTPHandler):
    def http_open(self, req):
        return self.do_open(httplib.HTTPConnection, req)
    http_request = AbstractHTTPHandler.do_request_

 

HTTPHandler是Openers当中的默认控制器之一，看到这个代码，证实了urllib2是借助于httplib实现的，同时也证实了Openers和Handlers的关系。