需求說(shuō)明：將單個(gè)或者多個(gè)Excel文件數(shù)據(jù)進(jìn)行去重操作，去重的列可以通過(guò)自定義制定。
站在用戶的角度思考問(wèn)題，與客戶深入溝通，找到于田網(wǎng)站設(shè)計(jì)與于田網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：網(wǎng)站設(shè)計(jì)制作、網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名申請(qǐng)、虛擬主機(jī)、企業(yè)郵箱。業(yè)務(wù)覆蓋于田地區(qū)。
【閱讀全文】
開(kāi)始源碼說(shuō)明之前，先說(shuō)明一下工具的使用過(guò)程。
1、準(zhǔn)備需要去重的數(shù)據(jù)文件。
2、使用工具執(zhí)行去重操作。
3、處理完成后的結(jié)果文件。
PyQt5 界面UI相關(guān)的模塊引用
重慶分公司
重慶分公司
from PyQt5.QtWidgets import *
from PyQt5.QtGui import *
核心組件
from PyQt5.QtCore import *
主題樣式模塊引用
from QCandyUi import CandyWindow
在這個(gè)應(yīng)用中使用一個(gè)默認(rèn)的楊氏模塊QCandyUi，可以改變整個(gè)應(yīng)用的主題顏色設(shè)計(jì)不用一個(gè)控件一個(gè)控件的去修改樣式。有一個(gè)不好的地方就是應(yīng)用本身設(shè)置的標(biāo)題和應(yīng)用圖標(biāo)不能生效，必須利用這個(gè)樣式控件CandyWindow來(lái)修改，就像下面這樣需要將我們自己寫(xiě)的UI空間放到里面。
# w = CandyWindow.createWindow(EDataDel(), theme='blueGreen', title='Excel批數(shù)據(jù)去重器 公眾號(hào)：[Python 集中營(yíng)]',
# ico_path='數(shù)據(jù)去重.ico')
# w.show()
應(yīng)用操作相關(guān)模塊
import sys
import os
Excel數(shù)據(jù)處理模塊
import pandas as pd
import openpyxl as pxl
UI界面布局設(shè)計(jì)、信號(hào)量槽函數(shù)綁定實(shí)現(xiàn)
class EDataDel(QWidget):
def __init__(self):
super(EDataDel, self).__init__()
self.init_ui()
def init_ui(self):
self.brower = QTextBrowser()
self.brower.setReadOnly(True)
self.brower.setFont(QFont('微軟雅黑', 8))
self.brower.setPlaceholderText('處理進(jìn)程展示區(qū)域...')
self.brower.ensureCursorVisible()
form = QFormLayout()
self.file_paths = QLineEdit()
self.file_paths.setReadOnly(True)
self.file_paths_btn = QPushButton()
self.file_paths_btn.setText('加載批文件')
self.file_paths_btn.clicked.connect(self.file_paths_btn_click)
self.colums_label = QLabel()
self.colums_label.setText('自定義去重復(fù)列')
self.colums_text = QLineEdit()
self.colums_text.setPlaceholderText('列名1,列名2,列名3,...')
form.addRow(self.file_paths, self.file_paths_btn)
form.addRow(self.colums_label, self.colums_text)
self.work = DataWork(self)
self.work.trigger.connect(self.update_log)
self.work.finished.connect(self.finished)
vbox = QVBoxLayout()
self.start_btn = QPushButton()
self.start_btn.setText('開(kāi)始執(zhí)行')
self.start_btn.clicked.connect(self.start_btn_click)
vbox.addLayout(form)
vbox.addWidget(self.start_btn)
hbox = QHBoxLayout()
hbox.addWidget(self.brower)
hbox.addLayout(vbox)
self.setLayout(hbox)
def file_paths_btn_click(self):
paths = QFileDialog.getOpenFileNames(self, '選擇文件', os.getcwd(), 'Excel Files(*.xlsx)')
files = paths[0]
path_strs = ''
for file in files:
path_strs = path_strs + file + ';'
self.file_paths.setText(path_strs)
if self.file_paths.text().strip() != '':
self.update_log('已經(jīng)完成批文件路徑加載！')
else:
self.update_log('沒(méi)有選擇任何文件！')
def save_dir_btn_click(self):
directory = QFileDialog.getExistingDirectory(self, '選擇文件夾', os.getcwd())
self.save_dir.setText(directory)
def update_log(self, text):
cursor = self.brower.textCursor()
cursor.movePosition(QTextCursor.End)
self.brower.append(text)
self.brower.setTextCursor(cursor)
self.brower.ensureCursorVisible()
def start_btn_click(self):
self.start_btn.setEnabled(False)
self.work.start()
def finished(self, finished):
if finished is True:
self.start_btn.setEnabled(True)
創(chuàng)建子線程，處理業(yè)務(wù)邏輯（清理Excel重復(fù)文件）
class DataWork(QThread):
trigger = pyqtSignal(str)
finished = pyqtSignal(bool)
def __init__(self, parent=None):
super(DataWork, self).__init__(parent)
self.parent = parent
self.working = True
def __del__(self):
self.working = False
self.wait()
def run(self):
self.trigger.emit('啟動(dòng)批量處理子線程...')
file_paths = self.parent.file_paths.text().strip()
colums_text = self.parent.colums_text.text().strip()
colums = []
if ',' in colums_text:
colums = colums_text.split(',')
else:
colums.append(colums_text)
self.trigger.emit('獲取配置項(xiàng)完成！')
for file in file_paths.split(';'):
if file.strip() != '':
web_sheet = pxl.load_workbook(file)
sheets = web_sheet.sheetnames
print(file)
new_file = file.split('.')[0] + '_已去重.' + file.split('.')[1]
print(new_file)
writer = pd.ExcelWriter(new_file)
for sheet in sheets:
sheet_name = sheet.title()
print(sheet_name)
self.trigger.emit('準(zhǔn)備處理工作表名稱：' + str(sheet.title()))
data_frame = pd.read_excel(file, sheet_name=sheet_name)
print(data_frame)
repe = data_frame.duplicated(subset=colums)
repe = repe[repe]
print(data_frame.iloc[repe.index])
res = data_frame.drop_duplicates(subset=colums)
print(res)
self.trigger.emit(str(sheet.title()) + '：已清除')
res.to_excel(writer, sheet_name, index=False)
writer.save()
else:
self.trigger.emit('當(dāng)前文件路徑為空，繼續(xù)...')
self.trigger.emit('數(shù)據(jù)處理完成...')
self.finished.emit(True)
使用主函數(shù)啟動(dòng)整個(gè)應(yīng)用
if __name__ == '__main__':
app = QApplication(sys.argv)
w = CandyWindow.createWindow(EDataDel(), theme='blueGreen', title='Excel批數(shù)據(jù)去重器 公眾號(hào)：[Python 集中營(yíng)]',
ico_path='數(shù)據(jù)去重.ico')
w.show()
sys.exit(app.exec_())
【往期精彩】
再見(jiàn)XShell，這款國(guó)人開(kāi)源的終端命令行工具更nice！
python 表情包下載器，輕松下載上萬(wàn)個(gè)表情包、斗圖不用愁...
Python 自動(dòng)清理電腦垃圾文件，一鍵啟動(dòng)即可...
有了jmespath，處理python中的json數(shù)據(jù)就變成了一種享受...
解鎖一個(gè)新技能，如何在Python代碼中使用表情包...
萬(wàn)能的list列表，python中的堆棧、隊(duì)列實(shí)現(xiàn)全靠它！
該怎么用pyqt5來(lái)實(shí)現(xiàn)數(shù)據(jù)的增、刪、改、查功能...
python批量自動(dòng)整理文件
介紹一個(gè)文本語(yǔ)音神器，幾行代碼就能搞定！
初學(xué)者福利：分享五個(gè)免費(fèi)的 Python 學(xué)習(xí)網(wǎng)站，抓緊收藏吧！
有趣的控制臺(tái)玩法：一行代碼繪制控制臺(tái)圖像！
數(shù)據(jù)處理小工具：Excel 批量數(shù)據(jù)文件拆分/整合器...
