這篇文章主要介紹“如何用python抓取網(wǎng)站教程并制作成PDF文檔”，在日常操作中，相信很多人在如何用python抓取網(wǎng)站教程并制作成PDF文檔問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”如何用python抓取網(wǎng)站教程并制作成PDF文檔”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！
創(chuàng)新互聯(lián)公司制作網(wǎng)站網(wǎng)頁(yè)找三站合一網(wǎng)站制作公司,專注于網(wǎng)頁(yè)設(shè)計(jì),
網(wǎng)站設(shè)計(jì)制作、成都網(wǎng)站制作,網(wǎng)站設(shè)計(jì),企業(yè)網(wǎng)站搭建,網(wǎng)站開(kāi)發(fā),建網(wǎng)站業(yè)務(wù),680元做網(wǎng)站,已為近千家服務(wù),
創(chuàng)新互聯(lián)公司網(wǎng)站建設(shè)將一如既往的為我們的客戶提供最優(yōu)質(zhì)的網(wǎng)站建設(shè)、網(wǎng)絡(luò)營(yíng)銷推廣服務(wù)!
實(shí)現(xiàn)功能：抓取廖雪峰網(wǎng)站的python教程，保存html頁(yè)面到本地，然后用pdfkit包將html轉(zhuǎn)換為pdf。
運(yùn)行需求：安裝python的pdfkit包和windows下的wkhtmltopdf。
代碼如下：
# -*- coding: utf-8
import urllib2
import urllib
import re,os
import time
import pdfkit
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
class Liao:
def __init__(self,init_url,out_put_path):
self.init_url = init_url
self.out_put_path = out_put_path
self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
self.headers = { 'User-Agent' : self.user_agent }
self.file_name = 'liao.pdf'
self.html_template = """
{content}
#獲取網(wǎng)頁(yè)內(nèi)容
def get_content(self,url):
try:
request = urllib2.Request(url,headers=self.headers)
response = urllib2.urlopen(request)
content = response.read().decode('utf-8').encode('GBK')
return content
except urllib2.URLError, e:
if hasattr(e,"reason"):
print u"連接頁(yè)面失敗,錯(cuò)誤原因",e.reason
return None
#獲取文章目錄url列表
def get_article_url(self):
content = self.get_content(self.init_url)
#print content
pattern = re.compile(r'
.*?(.*?).*?',re.S)
# pattern = re.compile(r'
',re.S)
result = re.findall(pattern,content)
i = 1
print len(result)
# for x in result:
# print x[0],x[1]
# i+=1
return result
#獲取文章內(nèi)容，傳入文章的url，返回文章內(nèi)容
def get_article_detail(self):
url_list = self.get_article_url()
pattern = re.compile(r'(.*?)
',re.S)
# patt_title = re.compile(r'(.*?)
')
patt_img = re.compile(r')
i = 1
urls = []
for item in url_list:
#獲取文章的url
article_url = 'http://www.liaoxuefeng.com' + item[1]
url_ind = article_url.split('/')[-1]
#提取文章標(biāo)題
article_title = item[2].replace('/','_')
title_level = item[0]
#title_tag = '' + article_title + ''
title_tag = '' + article_title + '
'
#生成html文件名
html_file = url_ind + '.html'
#根據(jù)文章url，抓取文章內(nèi)容
content = self.get_content(article_url)
article_content = str(re.findall(pattern,content)[0])
#處理圖片的url,加上域名
def func(m):
if not m.group(1).startswith("http"):
rtn = ' + ')
return rtn
else:
return ' + ')
article_content = re.compile(patt_img).sub(func, article_content)
#將標(biāo)題加到文章內(nèi)容中
article_content = title_tag + article_content
article_content = self.html_template.format(content=article_content)
#生成url及文件名列表
urls.append((url_ind,html_file))
#寫(xiě)文件
print 'saving file ' + html_file
with open(html_file, 'wb') as f:
f.write(article_content)
return urls
#將html保存成pdf
def save_pdf(self,htmls):
"""
把所有html文件保存到pdf文件
"""
options = {
'page-size': 'Letter',
'encoding': "UTF-8",
'custom-header': [
('Accept-Encoding', 'gzip')
]
}
pdfkit.from_file(htmls, self.file_name, options=options)
init_url = 'http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000'
out_put_path = 'd:/python/test/output'
liao = Liao(init_url,out_put_path)
urls = liao.get_article_detail()
htmls = [x[1] for x in urls]
liao.save_pdf(htmls)到此，關(guān)于“如何用python抓取網(wǎng)站教程并制作成PDF文檔”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)-成都網(wǎng)站建設(shè)公司網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！
文章名稱：如何用python抓取網(wǎng)站教程并制作成PDF文檔-創(chuàng)新互聯(lián)
URL分享：http://weahome.cn/article/dpdjcd.html
重慶分公司
重慶分公司
