新聞是我們了解外界的重要渠道，以前，我們一般通過報(bào)紙和電視來獲取新聞，那時(shí)候，獲取新聞不僅有一定的成本，效率還不高。
創(chuàng)新互聯(lián)是一家專注于網(wǎng)站設(shè)計(jì)、網(wǎng)站制作和雅安服務(wù)器托管的網(wǎng)絡(luò)公司，有著豐富的建站經(jīng)驗(yàn)和案例。
而如今，獲取新聞的途徑太多太方便了，大量重復(fù)的新聞充斥著各大平臺(tái)，獲取新聞已經(jīng)沒有什么成本，問題變成了過濾和鑒別新聞的可信程度。
下面用 【新浪新聞】 作為采集對(duì)象，拋磚引玉，演示下新聞從采集到分析的整個(gè)過程。
主要流程分為4個(gè)步驟：
從新浪滾動(dòng)新聞頁(yè)面中，找出獲取新聞的API，然后，并發(fā)的采集新聞。
這里為了簡(jiǎn)單起見，主要采集了新聞標(biāo)題和摘要信息。
重慶分公司
重慶分公司
# -*- coding: utf-8 -*-
import requests
import csv
import time
import os
import threading
import math
host = "https://feed.mix.sina.com.cn/api/roll/get?pageid=153&lid=2509&k=&num=50&page={}"
class spiderThread(threading.Thread):
def __init__(self, fname, delay, start_page, end_page):
threading.Thread.__init__(self)
self.fname = fname
self.delay = delay
self.start_page = start_page
self.end_page = end_page
def run(self):
for page in range(self.start_page, self.end_page):
time.sleep(self.delay)
url = host.format(page)
rows = _parse_html_content(url)
_save_data(self.fname, rows)
print("thead: {} 已采集 第【{}】頁(yè)的數(shù)據(jù)".format(self.fname, page))
def spider(start_page=1, pages=50, concurrency=2):
""" 采集數(shù)據(jù)
并發(fā)采集 sina 滾動(dòng)新聞數(shù)據(jù)
Parameters:
start_page - 采集開始的頁(yè)數(shù)，默認(rèn)從第1頁(yè)開始采集
pages - 采集的頁(yè)數(shù)，默認(rèn)采集500頁(yè)
concurrency - 并發(fā)采集的數(shù)量，默認(rèn)4個(gè)線程采集
Returns:
采集結(jié)果寫入文件
"""
if pages < 0 or concurrency < 0:
print("pages or concurrency must more than 0")
return
threads = []
now_str = time.strftime("%Y-%m-%d--%H-%M-%S", time.localtime())
delta = math.ceil((pages - start_page + 1) / concurrency)
for i in range(concurrency):
end_page = delta + start_page
if end_page > pages:
end_page = pages + 1
t = spiderThread("{}-{}".format(now_str, i + 1), 2, start_page, end_page)
threads.append(t)
t.start()
start_page = end_page
for t in threads:
t.join()
print("采集結(jié)束")
def _parse_html_content(url):
""" parse html to csv row like: oid, intime, title, media_name, intro
"""
response = requests.get(url)
data = response.json()
data = data["result"]["data"]
rows = []
for d in data:
# print(d["oid"])
# print(d["intime"])
# print(d["title"])
# print(d["media_name"])
# print(d["intro"])
rows.append([d["oid"], d["intime"], d["title"], d["media_name"], d["intro"]])
return rows
def _save_data(filename, rows):
fp = os.path.join("./data", filename + ".csv")
print("fname {}: rows {}".format(filename, len(rows)))
with open(fp, "a", encoding='utf-8') as f:
writer = csv.writer(f)
writer.writerows(rows)
主要函數(shù)是：def spider(start_page=1, pages=50, concurrency=2)
可以設(shè)置采集的起始/結(jié)束頁(yè)，以及并發(fā)采集的線程數(shù)。
新浪滾動(dòng)新聞最多只提供了最近50頁(yè)的新聞，大概4000多條新聞。
采集之后，默認(rèn)會(huì)在 data文件夾下生成采集結(jié)果的 csv 文件（幾個(gè)線程采集，就生成幾個(gè)csv）
清理數(shù)據(jù)主要將多線程采集的所有csv文件合并成一個(gè)，同時(shí)去重和按照時(shí)間排序。
# -*- coding: utf-8 -*-
import pandas as pd
import os
import time
def clean(data_dir="./data"):
""" 清洗數(shù)據(jù)
合并所有采集的數(shù)據(jù)文件，去除重復(fù)數(shù)據(jù)和不需要的字段
Parameters:
data - 采集數(shù)據(jù)的文件夾
Returns:
清理后的結(jié)果寫入文件
"""
data = _read_all_data(data_dir)
data = _uniq_and_order(data)
_write_clean_data(data_dir, data)
def _read_all_data(data_dir):
all_data = []
for f in os.listdir(data_dir):
fp = os.path.join(data_dir, f)
if os.path.isdir(fp):
continue
data = pd.read_csv(
fp, names=["oid", "intime", "title", "media_name", "intro"], header=None,
)
all_data.append(data)
return pd.concat(all_data, ignore_index=True)
def _uniq_and_order(data):
data = data.drop_duplicates(keep="first")
data = data.drop(columns=["oid", "intime", "media_name", "intro"])
# data = data.sort_values(by=["intime"], ascending=False)
return data
def _write_clean_data(data_dir, data):
clean_data_dir = os.path.join(data_dir, "clean")
if not os.path.exists(clean_data_dir):
os.makedirs(clean_data_dir)
now_str = time.strftime("%Y-%m-%d--%H-%M-%S", time.localtime())
data.to_csv(
os.path.join(clean_data_dir, now_str + ".csv"), index=False, header=None
)
清理之后，所有新聞合并在一個(gè)文件中，只保留了【新聞標(biāo)題】用來分析。
新聞標(biāo)題的文字是沒有規(guī)律的，所以分析之前需要先分詞。
# -*- coding: utf-8 -*-
import jieba.posseg as pseg
import pandas as pd
import os
import time
def split_word(fp, data_dir="./data"):
"""對(duì)標(biāo)題進(jìn)行分詞
Parameters:
data_dir - 采集數(shù)據(jù)的文件夾
fp - 待分詞的文件
Returns:
分詞后的結(jié)果寫入文件
"""
mdata = {}
with open(fp, "r", encoding="utf-8") as f:
total = len(f.readlines())
count = 0
f.seek(0)
for line in f:
count += 1
print("解析進(jìn)度[{}/{}]...".format(count, total))
_jieba(line, mdata)
total = len(mdata)
count = 0
data_list = []
for word in mdata.keys():
count += 1
print("寫入進(jìn)度[{}/{}]...".format(count, total))
data_list.append([word, mdata[word][0], mdata[word][1]])
data = pd.DataFrame(data_list, columns=["單詞", "詞性", "數(shù)量"])
_write_split_data(data_dir, data)
def _jieba(s, mdata):
words = pseg.cut(s, HMM=True)
for word, flag in words:
if _check_flag(flag):
if word not in mdata.keys():
mdata[word] = [flag, 0]
mdata[word][1] += 1
return mdata
def _write_split_data(data_dir, data):
split_data_dir = os.path.join(data_dir, "jieba")
if not os.path.exists(split_data_dir):
os.makedirs(split_data_dir)
now_str = time.strftime("%Y-%m-%d--%H-%M-%S", time.localtime())
data.to_csv(os.path.join(split_data_dir, now_str + ".csv"), index=False)
def _check_flag(flag):
flags = ["n"] # n-名詞類，a-形容詞類 v-動(dòng)詞類
for fg in flags:
if flag.startswith(fg):
return True
return False
這里使用分詞使用是 【結(jié)巴分詞】庫(kù)，并且只保留了新聞標(biāo)題中的 【名詞】。
最后是分析結(jié)果，為了快速獲取新聞的有效信息，這一步必不可少。
這里只分析了【新聞標(biāo)題】中的名詞，所以這里就做了兩張圖，一張是高頻詞的柱狀圖，一張是詞云圖。
# -*- coding: utf-8 -*-
import pandas as pd
import os
import wordcloud
from prettytable import PrettyTable
import matplotlib
import matplotlib.pyplot as plt
# 為了顯示中文
matplotlib.rcParams["font.sans-serif"] = ["Microsoft YaHei Mono"]
matplotlib.rcParams["axes.unicode_minus"] = False
cn_font_path = "D:\\miniconda3\\envs\\databook\\Lib\\site-packages\\matplotlib\\mpl-data\\fonts\\ttf\\Microsoft-Yahei-Mono.ttf"
def analysis(fp, data_dir="./data"):
"""分析數(shù)據(jù)
根據(jù)分詞結(jié)果分析結(jié)果
"""
data = pd.read_csv(fp)
# 過濾關(guān)鍵詞長(zhǎng)度為1的數(shù)據(jù)
data = data[data["單詞"].str.len() > 1]
# 創(chuàng)建文件夾
analy_data_dir = os.path.join(data_dir, "analy")
if not os.path.exists(analy_data_dir):
os.makedirs(analy_data_dir)
# 顯示前N個(gè)關(guān)鍵詞
N = 20
_topN_table(data, N)
# 高頻詞柱狀圖比較
_topN_bar_graph(data, N, analy_data_dir)
# 詞云 圖
_word_cloud(data, analy_data_dir)
def _topN_table(data, n):
tbl = PrettyTable()
data = data.sort_values(by=["數(shù)量"], ascending=False)
tbl.field_names = data.columns.values.tolist()
tbl.add_rows(data.head(n).values.tolist())
print(tbl)
def _topN_bar_graph(data, n, d):
data = data.sort_values(by=["數(shù)量"], ascending=False)
data = data.head(n)
y = list(data["數(shù)量"])
plt.bar(range(n), height=y, tick_label=range(1, n + 1), color=["b", "c", "g", "m"])
plt.xticks(range(n), data["單詞"])
fig = plt.gcf()
fig.set_size_inches(15, 5)
plt.savefig(os.path.join(d, "bar.png"))
def _word_cloud(data, d):
w = wordcloud.WordCloud(
width=800, height=600, background_color="white", font_path=cn_font_path
)
# 詞頻大于N的單詞才展示
N = 5
data = data[data["數(shù)量"] > N]
dic = dict(zip(list(data["單詞"]), list(data["數(shù)量"])))
w.generate_from_frequencies(dic)
w.to_file(os.path.join(d, "word_cloud.png"))
注意，這里為了顯示中文，我引入了自己的字體（Microsoft-Yahei-Mono.ttf），你也可以換成任何能夠顯示中文的字體。
其實(shí)，上面的功能主要就是找出新聞中的高頻詞，從而可以看看公眾最近關(guān)注最多的是哪方面。
雖然簡(jiǎn)單，但是麻雀雖小五臟俱全，整個(gè)流程是完備的，有興趣的話，每個(gè)流程中的細(xì)節(jié)可以繼續(xù)豐富。
代碼運(yùn)行的最終結(jié)果如下：（運(yùn)行時(shí)間：2022-07-29 中午12點(diǎn)多，新聞是不斷更新的，不同時(shí)間采集的話，運(yùn)行結(jié)果會(huì)不一樣）
爬取數(shù)據(jù)只是為了研究學(xué)習(xí)使用，本文中的代碼遵守：
