本篇文章為大家展示了怎么使用Python構(gòu)建可擴(kuò)展的社交媒體情感分析服務(wù),內(nèi)容簡(jiǎn)明扼要并且容易理解,絕對(duì)能使你眼前一亮,通過這篇文章的詳細(xì)介紹希望你能有所收獲。
公司主營(yíng)業(yè)務(wù):成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)、移動(dòng)網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳,提高企業(yè)的競(jìng)爭(zhēng)能力。成都創(chuàng)新互聯(lián)公司是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化,感謝他們對(duì)我們的高要求,感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn),讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來驚喜。成都創(chuàng)新互聯(lián)公司推出宜昌免費(fèi)做網(wǎng)站回饋大家。
一個(gè)終端 shell
shell 中的 Python 語(yǔ)言二進(jìn)制文件(3.4+ 版本)
用于安裝 Python 包的 pip
命令
(可選)一個(gè) Python 虛擬環(huán)境使你的工作與系統(tǒng)隔離開來
在開始編寫代碼之前,你需要安裝 spaCy 和 vaderSentiment 包來設(shè)置 Python 環(huán)境,同時(shí)下載一個(gè)語(yǔ)言模型來幫助你分析。幸運(yùn)的是,大部分操作都容易在命令行中完成。
在 shell 中,輸入以下命令來安裝 spaCy 和 vaderSentiment 包:
pip install spacy vaderSentiment
命令安裝完成后,安裝 spaCy 可用于文本分析的語(yǔ)言模型。以下命令將使用 spaCy 模塊下載并安裝英語(yǔ)模型:
python -m spacy download en_core_web_sm
安裝了這些庫(kù)和模型之后,就可以開始編碼了。
使用 Python 解釋器交互模式 編寫一些代碼來分析單個(gè)文本片段。首先啟動(dòng) Python 環(huán)境:
$ pythonPython 3.6.8 (default, Jan 31 2019, 09:38:34)[GCC 8.2.1 20181215 (Red Hat 8.2.1-6)] on linuxType "help", "copyright", "credits" or "license" for more information.>>>
(你的 Python 解釋器版本打印可能與此不同。)
1、導(dǎo)入所需模塊:
>>> import spacy>>> from vaderSentiment import vaderSentiment
2、從 spaCy 加載英語(yǔ)語(yǔ)言模型:
>>> english = spacy.load("en_core_web_sm")
3、處理一段文本。本例展示了一個(gè)非常簡(jiǎn)單的句子,我們希望它能給我們帶來些許積極的情感:
>>> result = english("I like to eat applesauce with sugar and cinnamon.")
4、從處理后的結(jié)果中收集句子。SpaCy 已識(shí)別并處理短語(yǔ)中的實(shí)體,這一步為每個(gè)句子生成情感(即時(shí)在本例中只有一個(gè)句子):
>>> sentences = [str(s) for s in result.sents]
5、使用 vaderSentiments 創(chuàng)建一個(gè)分析器:
>>> analyzer = vaderSentiment.SentimentIntensityAnalyzer()
6、對(duì)句子進(jìn)行情感分析:
>>> sentiment = [analyzer.polarity_scores(str(s)) for s in sentences]
sentiment
變量現(xiàn)在包含例句的極性分?jǐn)?shù)。打印出這個(gè)值,看看它是如何分析這個(gè)句子的。
>>> print(sentiment)[{'neg': 0.0, 'neu': 0.737, 'pos': 0.263, 'compound': 0.3612}]
這個(gè)結(jié)構(gòu)是什么意思?
表面上,這是一個(gè)只有一個(gè)字典對(duì)象的數(shù)組。如果有多個(gè)句子,那么每個(gè)句子都會(huì)對(duì)應(yīng)一個(gè)字典對(duì)象。字典中有四個(gè)鍵對(duì)應(yīng)不同類型的情感。neg
鍵表示負(fù)面情感,因?yàn)樵诒纠袥]有報(bào)告任何負(fù)面情感,0.0
值證明了這一點(diǎn)。neu
鍵表示中性情感,它的得分相當(dāng)高,為 0.737
(***為 1.0
)。pos
鍵代表積極情感,得分適中,為 0.263
。***,cmpound
鍵代表文本的總體得分,它可以從負(fù)數(shù)到正數(shù),0.3612
表示積極方面的情感多一點(diǎn)。
要查看這些值可能如何變化,你可以使用已輸入的代碼做一個(gè)小實(shí)驗(yàn)。以下代碼塊顯示了如何對(duì)類似句子的情感評(píng)分的評(píng)估。
>>> result = english("I love applesauce!")>>> sentences = [str(s) for s in result.sents]>>> sentiment = [analyzer.polarity_scores(str(s)) for s in sentences]>>> print(sentiment)[{'neg': 0.0, 'neu': 0.182, 'pos': 0.818, 'compound': 0.6696}]
你可以看到,通過將例句改為非常積極的句子,sentiment
的值發(fā)生了巨大變化。
現(xiàn)在你已經(jīng)為情感分析組裝了基本的代碼塊,讓我們將這些東西轉(zhuǎn)化為一個(gè)簡(jiǎn)單的服務(wù)。
在這個(gè)演示中,你將使用 Python Flask 包 創(chuàng)建一個(gè) RESTful HTTP 服務(wù)器。此服務(wù)將接受英文文本數(shù)據(jù)并返回情感分析結(jié)果。請(qǐng)注意,此示例服務(wù)是用于學(xué)習(xí)所涉及的技術(shù),而不是用于投入生產(chǎn)的東西。
一個(gè)終端 shell
shell 中的 Python 語(yǔ)言二進(jìn)制文件(3.4+ 版本)
安裝 Python 包的 pip
命令
curl
命令
一個(gè)文本編輯器
(可選) 一個(gè) Python 虛擬環(huán)境使你的工作與系統(tǒng)隔離開來
這個(gè)環(huán)境幾乎與上一節(jié)中的環(huán)境相同,唯一的區(qū)別是在 Python 環(huán)境中添加了 Flask 包。
1、安裝所需依賴項(xiàng):
pip install spacy vaderSentiment flask
2、安裝 spaCy 的英語(yǔ)語(yǔ)言模型:
python -m spacy download en_core_web_sm
打開編輯器,創(chuàng)建一個(gè)名為 app.py
的文件。添加以下內(nèi)容 (不用擔(dān)心,我們將解釋每一行):
import flaskimport spacyimport vaderSentiment.vaderSentiment as vader app = flask.Flask(__name__)analyzer = vader.SentimentIntensityAnalyzer()english = spacy.load("en_core_web_sm") def get_sentiments(text): result = english(text) sentences = [str(sent) for sent in result.sents] sentiments = [analyzer.polarity_scores(str(s)) for s in sentences] return sentiments @app.route("/", methods=["POST", "GET"])def index(): if flask.request.method == "GET": return "To access this service send a POST request to this URL with" \ " the text you want analyzed in the body." body = flask.request.data.decode("utf-8") sentiments = get_sentiments(body) return flask.json.dumps(sentiments)
雖然這個(gè)源文件不是很大,但它非常密集。讓我們來看看這個(gè)應(yīng)用程序的各個(gè)部分,并解釋它們?cè)谧鍪裁础?/p>
import flaskimport spacyimport vaderSentiment.vaderSentiment as vader
前三行引入了執(zhí)行語(yǔ)言分析和 HTTP 框架所需的包。
app = flask.Flask(__name__)analyzer = vader.SentimentIntensityAnalyzer()english = spacy.load("en_core_web_sm")
接下來的三行代碼創(chuàng)建了一些全局變量。***個(gè)變量 app
,它是 Flask 用于創(chuàng)建 HTTP 路由的主要入口點(diǎn)。第二個(gè)變量 analyzer
與上一個(gè)示例中使用的類型相同,它將用于生成情感分?jǐn)?shù)。***一個(gè)變量 english
也與上一個(gè)示例中使用的類型相同,它將用于注釋和標(biāo)記初始文本輸入。
你可能想知道為什么全局聲明這些變量。對(duì)于 app
變量,這是許多 Flask 應(yīng)用程序的標(biāo)準(zhǔn)過程。但是,對(duì)于 analyzer
和 english
變量,將它們?cè)O(shè)置為全局變量的決定是基于與所涉及的類關(guān)聯(lián)的加載時(shí)間。雖然加載時(shí)間可能看起來很短,但是當(dāng)它在 HTTP 服務(wù)器的上下文中運(yùn)行時(shí),這些延遲會(huì)對(duì)性能產(chǎn)生負(fù)面影響。
def get_sentiments(text): result = english(text) sentences = [str(sent) for sent in result.sents] sentiments = [analyzer.polarity_scores(str(s)) for s in sentences] return sentiments
這部分是服務(wù)的核心 —— 一個(gè)用于從一串文本生成情感值的函數(shù)。你可以看到此函數(shù)中的操作對(duì)應(yīng)于你之前在 Python 解釋器中運(yùn)行的命令。這里它們被封裝在一個(gè)函數(shù)定義中,text
源作為文本變量傳入,*** sentiments
變量返回給調(diào)用者。
@app.route("/", methods=["POST", "GET"])def index(): if flask.request.method == "GET": return "To access this service send a POST request to this URL with" \ " the text you want analyzed in the body." body = flask.request.data.decode("utf-8") sentiments = get_sentiments(body) return flask.json.dumps(sentiments)
源文件的***一個(gè)函數(shù)包含了指導(dǎo) Flask 如何為服務(wù)配置 HTTP 服務(wù)器的邏輯。它從一行開始,該行將 HTTP 路由 /
與請(qǐng)求方法 POST
和 GET
相關(guān)聯(lián)。
在函數(shù)定義行之后,if
子句將檢測(cè)請(qǐng)求方法是否為 GET
。如果用戶向服務(wù)發(fā)送此請(qǐng)求,那么下面的行將返回一條指示如何訪問服務(wù)器的文本消息。這主要是為了方便最終用戶。
下一行使用 flask.request
對(duì)象來獲取請(qǐng)求的主體,該主體應(yīng)包含要處理的文本字符串。decode
函數(shù)將字節(jié)數(shù)組轉(zhuǎn)換為可用的格式化字符串。經(jīng)過解碼的文本消息被傳遞給 get_sentiments
函數(shù)以生成情感分?jǐn)?shù)。***,分?jǐn)?shù)通過 HTTP 框架返回給用戶。
你現(xiàn)在應(yīng)該保存文件,如果尚未保存,那么返回 shell。
一切就緒后,使用 Flask 的內(nèi)置調(diào)試服務(wù)器運(yùn)行服務(wù)非常簡(jiǎn)單。要啟動(dòng)該服務(wù),請(qǐng)從與源文件相同的目錄中輸入以下命令:
FLASK_APP=app.py flask run
現(xiàn)在,你將在 shell 中看到來自服務(wù)器的一些輸出,并且服務(wù)器將處于運(yùn)行狀態(tài)。要測(cè)試服務(wù)器是否正在運(yùn)行,你需要打開第二個(gè) shell 并使用 curl
命令。
首先,輸入以下命令檢查是否打印了指令信息:
curl http://localhost:5000
你應(yīng)該看到說明消息:
To access this service send a POST request to this URI with the text you want analyzed in the body.
接下來,運(yùn)行以下命令發(fā)送測(cè)試消息,查看情感分析:
curl http://localhost:5000 --header "Content-Type: application/json" --data "I love applesauce!"
你從服務(wù)器獲得的響應(yīng)應(yīng)類似于以下內(nèi)容:
[{"compound": 0.6696, "neg": 0.0, "neu": 0.182, "pos": 0.818}]
恭喜!你現(xiàn)在已經(jīng)實(shí)現(xiàn)了一個(gè) RESTful HTTP 情感分析服務(wù)。你可以在 GitHub 上找到此服務(wù)的參考實(shí)現(xiàn)和本文中的所有代碼。
現(xiàn)在你已經(jīng)了解了自然語(yǔ)言處理和情感分析背后的原理和機(jī)制,下面是進(jìn)一步發(fā)現(xiàn)探索該主題的一些方法。
雖然創(chuàng)建本地應(yīng)用程序來研究情緒分析很方便,但是接下來需要能夠部署應(yīng)用程序以實(shí)現(xiàn)更廣泛的用途。按照Radnaalytics.io 提供的指導(dǎo)和代碼進(jìn)行操作,你將學(xué)習(xí)如何創(chuàng)建一個(gè)情感分析儀,可以容器化并部署到 Kubernetes 平臺(tái)。你還將了解如何將 Apache Kafka 用作事件驅(qū)動(dòng)消息傳遞的框架,以及如何將 Apache Spark 用作情緒分析的分布式計(jì)算平臺(tái)。
雖然 Radanalytics.io 實(shí)驗(yàn)室可以生成合成推文流,但你可以不受限于合成數(shù)據(jù)。事實(shí)上,擁有 Twitter 賬戶的任何人都可以使用 Tweepy Python 包訪問 Twitter 流媒體 API 對(duì)推文進(jìn)行情感分析。
上述內(nèi)容就是怎么使用Python構(gòu)建可擴(kuò)展的社交媒體情感分析服務(wù),你們學(xué)到知識(shí)或技能了嗎?如果還想學(xué)到更多技能或者豐富自己的知識(shí)儲(chǔ)備,歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。