python去重（漢字一樣，里面的編碼不一樣）？

這是一個(gè)字符串的全角和半角的問(wèn)題，可以導(dǎo)入?unicodedata?中的?normalize?函數(shù)先把全角轉(zhuǎn)換為半角，然后再用?set?對(duì)列表去重，參考代碼如下：

作為一家“創(chuàng)意+整合+營(yíng)銷(xiāo)”的成都網(wǎng)站建設(shè)機(jī)構(gòu)，我們?cè)跇I(yè)內(nèi)良好的客戶(hù)口碑。創(chuàng)新互聯(lián)提供從前期的網(wǎng)站品牌分析策劃、網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站、成都網(wǎng)站設(shè)計(jì)、創(chuàng)意表現(xiàn)、網(wǎng)頁(yè)制作、系統(tǒng)開(kāi)發(fā)以及后續(xù)網(wǎng)站營(yíng)銷(xiāo)運(yùn)營(yíng)等一系列服務(wù)，幫助企業(yè)打造創(chuàng)新的互聯(lián)網(wǎng)品牌經(jīng)營(yíng)模式與有效的網(wǎng)絡(luò)營(yíng)銷(xiāo)方法,創(chuàng)造更大的價(jià)值。

from?unicodedata?import?normalize

list3=['熱菜','凉菜','涼菜','硬菜']

set(map(lambda?s:?normalize('NFKC',?s),?list3))

輸出：

{'硬菜',?'熱菜',?'涼菜'}

擴(kuò)展：

“?NFKC”代表“Normalization?Form?KC?[Compatibility?Decomposition,?followed?by?Canonical?Composition]”，并將全角字符替換為半角字符，這些半角字符與Unicode等價(jià)。

python，格式化時(shí)間實(shí)例，求

對(duì)于像'Wed, 11 Apr 2012 09:37:05 +0800'的時(shí)間格式化可如下解：

date='Wed,?11?Apr?2012?09:37:05?+0800'

dd=datetime.datetime.strptime(date,'%a,?%d?%b?%Y?%H:%M:%S?%z')

dd.strftime('%Y-%m-%d?%H:%M:%S')

Python格式化日期時(shí)間的函數(shù)為datetime.datetime.strftime()；由字符串轉(zhuǎn)為日期型的函數(shù)為：datetime.datetime.strptime()，兩個(gè)函數(shù)都涉及日期時(shí)間的格式化字符串，列舉如下：

%a?Abbreviated?weekday?name???

%A?Full?weekday?name???

%b?Abbreviated?month?name???

%B?Full?month?name???

%c?Date?and?time?representation?appropriate?for?locale???

%d?Day?of?month?as?decimal?number?(01?-?31)???

%H?Hour?in?24-hour?format?(00?-?23)???

%I?Hour?in?12-hour?format?(01?-?12)???

%j?Day?of?year?as?decimal?number?(001?-?366)???

%m?Month?as?decimal?number?(01?-?12)???

%M?Minute?as?decimal?number?(00?-?59)???

%p?Current?locale's?A.M./P.M.?indicator?for?12-hour?clock???

%S?Second?as?decimal?number?(00?-?59)???

%U?Week?of?year?as?decimal?number,?with?Sunday?as?first?day?of?week?(00?-?51)???

%w?Weekday?as?decimal?number?(0?-?6;?Sunday?is?0)???

%W?Week?of?year?as?decimal?number,?with?Monday?as?first?day?of?week?(00?-?51)???

%x?Date?representation?for?current?locale???

%X?Time?representation?for?current?locale???

%y?Year?without?century,?as?decimal?number?(00?-?99)???

%Y?Year?with?century,?as?decimal?number???

%z,?%Z?Time-zone?name?or?abbreviation;?no?characters?if?time?zone?is?unknown???

%%?Percent?sign

Python實(shí)現(xiàn)對(duì)列表中重復(fù)元素進(jìn)行去重的方法小結(jié)

1、運(yùn)用新建字典的方式，去除重復(fù)的鍵

2、利用集合，直接將列表轉(zhuǎn)化為集合，自動(dòng)去重后轉(zhuǎn)回列表。有一個(gè)問(wèn)題，轉(zhuǎn)換為集合的同時(shí)，數(shù)據(jù)無(wú)序了。

3、用列表的推導(dǎo)式

Python第19課：數(shù)據(jù)清洗之去錯(cuò)、去空、去重

Python 第19課：數(shù)據(jù)清洗之去錯(cuò)、去空、去重

時(shí)間 2019-02-01?下午3：30

主講 劉培富

地點(diǎn) 四樓電教室

數(shù)據(jù)清洗是數(shù)據(jù)治理的關(guān)鍵環(huán)節(jié)，是指對(duì)獲取的原始數(shù)據(jù)（也稱(chēng)“臟數(shù)據(jù)”）進(jìn)行審查、校驗(yàn)、加工的過(guò)程，目的在于刪除重復(fù)信息、糾正錯(cuò)誤信息，保持?jǐn)?shù)據(jù)一致性。

一般來(lái)說(shuō)，數(shù)據(jù)清洗，主要是對(duì)數(shù)據(jù)進(jìn)行去錯(cuò)、去空、去重處理。

針對(duì)一張包含姓名、身份證號(hào)碼、車(chē)牌號(hào)碼的數(shù)據(jù)表，建立糾錯(cuò)規(guī)則如下：

1.車(chē)牌號(hào)既不包含漢字贛，且不包含漢字饒。

2.身份證號(hào)碼的年份既不等于19也不等于20，身份證號(hào)碼的月份大于12，身份證號(hào)碼的日期大于31。

3.身份證號(hào)碼位數(shù)不等于18。

4.姓名的長(zhǎng)度小于等于1。

二、去空

對(duì)于關(guān)鍵性數(shù)據(jù)，不允許為空，對(duì)于這類(lèi)數(shù)據(jù)，要查詢(xún)是否存在空值。

三、去重

在一張表中，有的數(shù)據(jù)列允許重復(fù)，有的數(shù)據(jù)列則不允許重復(fù)。例如，對(duì)于一張車(chē)主信息表來(lái)說(shuō)，姓名、身份證號(hào)可以重復(fù)，因?yàn)榇嬖谝蝗说怯浂噍v車(chē)的情形，這種重復(fù)，不能認(rèn)為是錯(cuò)誤。但是，車(chē)牌號(hào)則不允許重復(fù)，否則就存在業(yè)務(wù)邏輯的錯(cuò)誤。所以，針對(duì)車(chē)牌號(hào)數(shù)據(jù)列，要進(jìn)行去重。

通過(guò)以下SQL語(yǔ)句，可以列出重復(fù)的數(shù)據(jù)：

綜上，數(shù)據(jù)清洗，既要懂技術(shù)，更要懂業(yè)務(wù)，否則無(wú)法正確制定清洗規(guī)則，導(dǎo)致數(shù)據(jù)清洗流于形式，達(dá)不到清洗的效果。