urllib.parse在python2.7中怎么用

最新版的python3.3.0已經(jīng)發(fā)布了。相較于python3.0，3.2的改動并不大。但網(wǎng)上的大量的教程等大都以2.x版本為基礎(chǔ)。這為想要從python3.0學(xué)起的菜鳥帶來了不少的困難。 作為一只菜鳥，最近想學(xué)習(xí)一下python中urllib模塊的使用方法。從網(wǎng)上找的最簡單的實例：把google 首頁的html抓取下來并顯示在控制臺上 代碼：

創(chuàng)新互聯(lián)是一家專注于成都網(wǎng)站設(shè)計、網(wǎng)站制作與策劃設(shè)計,長興網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設(shè)十余年,網(wǎng)設(shè)計領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:長興等地區(qū)。長興做網(wǎng)站價格咨詢:18980820575

[python]?view plain?copy

import????urllib

print????urllib.urlopen('').read()

首先，使用過python3.0的朋友都知道，print已經(jīng)變成含樹了，需要括號。但這不是主要問題。問題是控制臺顯示錯誤，說urllib模塊中沒有urlopen方法。 奇怪了,網(wǎng)上的教程能錯了？又嘗試help(urllib)，發(fā)現(xiàn)什么方法都沒有,只提供了package contents，里面有5個名字。?

[python]?view plain?copy

import?urllib

help(urllib)

3.0版本中已經(jīng)將urllib2、urlparse、和robotparser并入了urllib中，并且修改urllib模塊，其中包含5個子模塊，即是help()中看到的那五個名字。

為了今后使用方便，在此將每個包中包含的方法列舉如下：

urllib.error:?ContentTooShortError; HTTPError; URLError

urllib.parse:?parseqs; parseqsl; quote; quotefrombytes; quote_plus; unquote unquoteplus; unquoteto_bytes; urldefrag; urlencode; urljoin;?urlparse; urlsplit; urlunparse; urlunsplit

urllib.request:?AbstractBasicAuthHandler; AbstractDigestAuthHandler; BaseHandler; CatheFTPHandler; FTPHandler; FancyURLopener; FileHandler; HTTPBasicAuthHandler; HTTPCookieProcessor; HTTPDefaultErrorHandler; HTTPDigestAuthHandler; HTTPErrorProcessorl; HTTPHandler; HTTPPasswordMgr; HTTPPasswordMgrWithDefaultRealm; HTTPRedirectHandler; HTTPSHandler;OpenerDirector;ProxyBasicAuthHandler ProxyDigestAuthHandler; ProxyHandler; Request; URLopener; UnknowHandler; buildopener; getproxies; installopener; pathname2url; url2pathname; urlcleanup;urlopen; urlretrieve;

urllib.response:?addbase; addclosehook; addinfo; addinfourl;

urllib.robotparser:?RobotFileParser

---------------------------------------------------------------------------------------------------------

在2.X版本下，打開HTML文檔的實例：

[python]?view plain?copy

import?urllib

webURL?=?""

localURL?=?"index.html"

#通過URL打開遠程頁面

u?=?urllib.urlopen(webURL)

buffer?=?u.read()

print?u.info()

print?"從%s讀取了%d?字節(jié)數(shù)據(jù).?"?%?(u.geturl(),len(buffer)?)

#通過URL打開本地頁面

u?=?urllib.urlopen(localURL)

buffer?=?u.read()

print?u.info()

print?"從%s讀取了%d?字節(jié)數(shù)據(jù).?"?%?(u.geturl(),len(buffer)?)

運行結(jié)果如下：

[html]?view plain?copy

Date:?Fri,?26?Jun?2009?10:22:11?GMT

Server:?Apache/2.2.9?(Debian)?DAV/2?SVN/1.5.1?mod_ssl/2.2.9?OpenSSL/0.9.8g?mod_wsgi/2.3?Python/2.5.2

Last-Modified:?Thu,?25?Jun?2009?09:44:54?GMT

ETag:?"105800d-46e7-46d29136f7180"

Accept-Ranges:?bytes

Content-Length:?18151

Connection:?close

Content-Type:?text/html

從讀取了18151?字節(jié)數(shù)據(jù).

Content-Type:?text/html

Content-Length:?865

Last-modified:?Fri,?26?Jun?2009?10:16:10?GMT

從index.html讀取了865?字節(jié)數(shù)據(jù).

若要通過urllib模塊中的urlopen(url [,data])函數(shù)打開一個HTML文檔，必須提供該文檔的URL地址，包括文件名。函數(shù)urlopen不僅可以打開位于遠程web服務(wù)器上的文件，而 且可以打開一個本地文件，并返回一個類似文件的對象，我們可以通過該對象從HTML文檔中讀出數(shù)據(jù)。

一旦打開了HTML文檔，我們就可以像使用常規(guī)文件一樣使用read([nbytes])、readline()和readlines()函數(shù)來對文件進行讀操作。若要讀取整個HTML文檔的內(nèi)容的話，您可以使用read()函數(shù)，該函數(shù)將文件內(nèi)容作為字符串返回。

打開一個地址之后，您可以使用geturl()函數(shù)取得被獲取網(wǎng)頁的真正的URL。這是很有用的，因為urlopen(或使用的opener對象)也許會伴隨一個重定向。獲取的網(wǎng)頁URL也許和要求的網(wǎng)頁URL不一樣。

另一個常用的函數(shù)是位于從urlopen返回的類文件對象中的info()函數(shù)，這個函數(shù)可以返回URL位置有關(guān)的元數(shù)據(jù)，比如內(nèi)容長度、內(nèi)容類型，等等。下面通過一個較為詳細的例子來對這些函數(shù)進行說明。

--------------------------------------------------------------------------------------------------------------------------

在2.X版本下，urlparse使用實例：

[python]?view plain?copy

import?urlparse

URLscheme?=?"http"

URLlocation?=?""

URLpath?=?"lib/module-urlparse.html"

modList?=?("urllib",?"urllib2",?\

"httplib",?"cgilib")

#將地址解析成組件

print?"用Google搜索python時地址欄中URL的解析結(jié)果"

parsedTuple?=?urlparse.urlparse(

"?

hl=enq=pythonbtnG=Google+Search")

print?parsedTuple

#將組件反解析成URL

print?"\反解析python文檔頁面的URL"

unparsedURL?=?urlparse.urlunparse(?\

(URLscheme,?URLlocation,?URLpath,?'',?'',?''))

print?"\t"?+?unparsedURL

#將路徑和新文件組成一個新的URL

print?"?利用拼接方式添加更多python文檔頁面的URL"

for?mod?in?modList:

newURL?=?urlparse.urljoin(unparsedURL,?\

"module-%s.html"?%?(mod))

print?"\t"?+?newURL

#通過為路徑添加一個子路徑來組成一個新的URL

print?"?通過拼接子路徑來生成Python文檔頁面的URL"

newURL?=?urlparse.urljoin(unparsedURL,

"module-urllib2/request-objects.html")

print?"\t"?+?newURL

運行結(jié)果如下：

[python]?view plain?copy

用Google搜索python時地址欄中URL的解析結(jié)果

('http',?'',?'/search',?'',

'hl=enq=pythonbtnG=Google+Search',?'')

反解析python文檔頁面的URL

利用拼接方式添加更多python文檔頁面的URL

通過拼接子路徑來生成Python文檔頁面的URL ?

python有沒有類似inet_addr函數(shù)

python沒有類似inet_addr函數(shù)的，python函數(shù)列表查詢后證實沒有該類似的函數(shù)

python查看對象內(nèi)存地址的函數(shù)

在python中可以用id()函數(shù)獲取對象的內(nèi)存地址。

#例如：

object = 1 + 2

print(id(object)) #4304947776

python小白 想問以下代碼是如何實現(xiàn)base64解碼的

getUrl(html)函數(shù): 從參數(shù)html中查找 "thumb":\\xxxxx形式的字符串，返回xxxx這串字符串，這xxx中包含了jpg的url。

findReplaceStr(url)函數(shù): 查找參數(shù)url的.jpg前字符串，即圖片名稱，返回這個名稱的字符串。

getBigImageUrl(url,replaceStr)函數(shù): 處理參數(shù)url，把圖片地址用參數(shù)replaceStr替換為正確的解析地址newurl，并返回這個newurl。

這幾個函數(shù)通篇沒有用到什么base64解碼，只使用了正則表達式re模塊，你是不是搞錯了？

python如何解析url獲取host

最近在工作中需要將url的host和path路徑分開存儲，python內(nèi)置的 urlparse ， 支持我們優(yōu)雅的解決這個問題， 參考地址

由上文我們可以看到，url被拆分的很細致，提取的方法也很簡單，只需要給屬性取一個別名，后面跟上解析的key，即可匹配出解析文本。

用python怎么能解析輸出ifconfig里具體IP地址？

import?socket

hostname?=?socket.gethostname()??

ip?=?socket.gethostbyname(hostname)

print?ip

這就是本機的IP地址