1、首先打開excel表格,在單元格中輸入兩列數(shù)據(jù),需要將這兩列數(shù)據(jù)進(jìn)行比對(duì)相同數(shù)據(jù)。
在長春等地區(qū),都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局,加強(qiáng)發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力,以專注、極致的服務(wù)理念,為客戶提供成都做網(wǎng)站、成都網(wǎng)站制作 網(wǎng)站設(shè)計(jì)制作按需開發(fā)網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),成都品牌網(wǎng)站建設(shè),營銷型網(wǎng)站建設(shè),外貿(mào)網(wǎng)站建設(shè),長春網(wǎng)站建設(shè)費(fèi)用合理。
2、然后在C1單元格中輸入公式:=VLOOKUP(B1,A:A,1,0),意思是比對(duì)B1單元格中A列中是否有相同數(shù)據(jù)。
3、點(diǎn)擊回車,即可將公式的計(jì)算結(jié)果顯示出來,可以看到C1中顯示的是B1在A列中找到的相同數(shù)據(jù)。
4、將公式向下填充,即可發(fā)現(xiàn)C列中顯示出的數(shù)字即為有相同數(shù)據(jù)的,顯示“#N/A”的為沒有找到匹配數(shù)據(jù)的。
5、將C1-C4中的數(shù)據(jù)進(jìn)行復(fù)制并粘貼成數(shù)值,即可完成相同數(shù)據(jù)的提取操作。
在實(shí)際研究中,我們經(jīng)常需要獲取大量數(shù)據(jù),而這些數(shù)據(jù)很大一部分以pdf表格的形式呈現(xiàn),如公司年報(bào)、發(fā)行上市公告等。面對(duì)如此多的數(shù)據(jù)表格,采用手工復(fù)制黏貼的方式顯然并不可取。那么如何才能高效提取出pdf文件中的表格數(shù)據(jù)呢?
Python提供了許多可用于pdf表格識(shí)別的庫,如camelot、tabula、pdfplumber等。綜合來看,pdfplumber庫的性能較佳,能提取出完整、且相對(duì)規(guī)范的表格。因此,本推文也主要介紹pdfplumber庫在pdf表格提取中的作用。
作為一個(gè)強(qiáng)大的pdf文件解析工具,pdfplumber庫可迅速將pdf文檔轉(zhuǎn)換為易于處理的txt文檔,并輸出pdf文檔的字符、頁面、頁碼等信息,還可進(jìn)行頁面可視化操作。使用pdfplumber庫前需先安裝,即在cmd命令行中輸入:
pip install pdfplumber
pdfplumber庫提供了兩種pdf表格提取函數(shù),分別為.extract_tables( )及.extract_table( ),兩種函數(shù)提取結(jié)果存在差異。為進(jìn)行演示,我們網(wǎng)站上下載了一份短期融資券主體信用評(píng)級(jí)報(bào)告,為pdf格式。任意選取某一表格,其界面如下:
接下來,我們簡要分析兩種提取模式下的結(jié)果差異。
(1).extract_tables( )
可輸出頁面中所有表格,并返回一個(gè)嵌套列表,其結(jié)構(gòu)層次為table→row→cell。此時(shí),頁面上的整個(gè)表格被放入一個(gè)大列表中,原表格中的各行組成該大列表中的各個(gè)子列表。若需輸出單個(gè)外層列表元素,得到的便是由原表格同一行元素構(gòu)成的列表。例如,我們執(zhí)行如下程序:
輸出結(jié)果:
(2).extract_table( )
返回多個(gè)獨(dú)立列表,其結(jié)構(gòu)層次為row→cell。若頁面中存在多個(gè)行數(shù)相同的表格,則默認(rèn)輸出頂部表格;否則,僅輸出行數(shù)最多的一個(gè)表格。此時(shí),表格的每一行都作為一個(gè)單獨(dú)的列表,列表中每個(gè)元素即為原表格的各個(gè)單元格內(nèi)容。若需輸出某個(gè)元素,得到的便是具體的數(shù)值或字符串。如下:
輸出結(jié)果:
在此基礎(chǔ)上,我們詳細(xì)介紹如何從pdf文件中提取表格數(shù)據(jù)。其中一種思路便是將提取出的列表視為一個(gè)字符串,結(jié)合Python的正則表達(dá)式re模塊進(jìn)行字符串處理后,將其保存為以標(biāo)準(zhǔn)英文逗號(hào)分隔、可被Excel識(shí)別的csv格式文件,即進(jìn)行如下操作:
輸出結(jié)果:
盡管能獲得完整的表格數(shù)據(jù),但這種方法相對(duì)不易理解,且在處理結(jié)構(gòu)不規(guī)則的表格時(shí)容易出錯(cuò)。由于通過pdfplumber庫提取出的表格數(shù)據(jù)為整齊的列表結(jié)構(gòu),且含有數(shù)字、字符串等數(shù)據(jù)類型。因此,我們可調(diào)用pandas庫下的DataFrame( )函數(shù),將列表轉(zhuǎn)換為可直接輸出至Excel的DataFrame數(shù)據(jù)結(jié)構(gòu)。DataFrame的基本構(gòu)造函數(shù)如下:
DataFrame([data,index, columns])
三個(gè)參數(shù)data、index和columns分別代表創(chuàng)建對(duì)象、行索引和列索引。DataFrame類型可由二維ndarray對(duì)象、列表、字典、元組等創(chuàng)建。本推文中的data即指整個(gè)pdf表格,提取程序如下:
其中,table[1:]表示選定整個(gè)表格進(jìn)行DataFrame對(duì)象創(chuàng)建,columns=table[0]表示將表格第一行元素作為列變量名,且不創(chuàng)建行索引。輸出Excel表格如下:
通過以上簡單程序,我們便提取出了完整的pdf表格。但需注意的是,面對(duì)不規(guī)則的表格數(shù)據(jù)提取,創(chuàng)建DataFrame對(duì)象的方法依然可能出錯(cuò),在實(shí)際操作中還需進(jìn)行核對(duì)。
關(guān)于我們
微信公眾號(hào)“爬蟲俱樂部”分享實(shí)用的stata命令,歡迎轉(zhuǎn)載、打賞。爬蟲俱樂部是由李春濤教授領(lǐng)導(dǎo)下的研究生及本科生組成的大數(shù)據(jù)分析和數(shù)據(jù)挖掘團(tuán)隊(duì)。
投稿要求:
1)必須原創(chuàng),禁止抄襲;
2)必須準(zhǔn)確,詳細(xì),有例子,有截圖;
class stdata(Structure):
_fields_ = [('pBuf', c_char_p), ('buflen', c_int)]
N=100
buf = create_string_buffer(N)
d = stdata()
d.buflen = N
d.pBuf = cast(buf, c_char_p)
n = CallMyCFunc_GetData(byref(d))
關(guān)鍵在于create_string_buffer創(chuàng)建可寫buffer;cast轉(zhuǎn)換為char*類型。
Lambda函數(shù)、Map函數(shù)、Filter函數(shù)、Zip函數(shù)、Reduce函數(shù)。
Lambda函數(shù)是Python中功能最強(qiáng)大的函數(shù)之一,它有時(shí)也被稱之為匿名函數(shù).。Map是程序員用來簡化程序的Python內(nèi)置函數(shù),此函數(shù)可以在不使用任何循環(huán)的情況下對(duì)所有指定的元素進(jìn)行迭代。Filter是Python中的另一個(gè)內(nèi)置函數(shù),當(dāng)需要區(qū)分其他類型的數(shù)據(jù)時(shí),這個(gè)函數(shù)非常有用。Filter函數(shù)經(jīng)常用于根據(jù)特定過濾條件來提取數(shù)據(jù)。
Python(英國發(fā)音:/paθn/美國發(fā)音:/paθn/)是一種廣泛使用的解釋型、高級(jí)和通用的編程語言。Python支持多種編程范型,包括函數(shù)式、指令式、結(jié)構(gòu)化、面向?qū)ο蠛头瓷涫骄幊?。它擁有?dòng)態(tài)類型系統(tǒng)和垃圾回收功能,能夠自動(dòng)管理內(nèi)存使用,并且其本身擁有一個(gè)巨大而廣泛的標(biāo)準(zhǔn)庫。