這篇文章給大家分享的是有關(guān)redis中bigkey掃描腳本的示例分析的內(nèi)容。小編覺得挺實用的,因此分享給大家做個參考,一起跟隨小編過來看看吧。
成都創(chuàng)新互聯(lián)是一家以成都網(wǎng)站建設(shè)、網(wǎng)頁設(shè)計、品牌設(shè)計、軟件運(yùn)維、營銷推廣、小程序App開發(fā)等移動開發(fā)為一體互聯(lián)網(wǎng)公司。已累計為塔吊租賃等眾行業(yè)中小客戶提供優(yōu)質(zhì)的互聯(lián)網(wǎng)建站和軟件開發(fā)服務(wù)。
我對這個腳本進(jìn)行了一個壓力測試,在redis的內(nèi)存為15G,key的數(shù)量為2KW,ops為40K到80K之間,在這種情況下,阿里云的腳本完全不能跑成功(估計跑出來的時間以天為單位),主要原因是每確認(rèn)一個key的情況,就需要與redis交互多次。因此,我對它的腳本進(jìn)行了改造,加入了pipeline和debug object方法,腳本如下:
import sys import redis def find_big_key_normal(db_host, db_port, db_password, db_num): client = redis.StrictRedis(host=db_host, port=db_port, password=db_password, db=db_num) i=0 temp = client.scan(cursor=i,count=1000) j =0 while temp[0]>0 : i=temp[0] j=j+len(temp[1]) try: r = client.pipeline(transaction=False) for k in temp[1]: r.debug_object(k) tempA = r.execute() x = 0 for key in tempA: length = key.get("serializedlength") ##type = key.get("encoding") if length > 10240 : type = client.type(temp[1][x]) print temp[1][x], type,length x=x+1 except : print "a execption come" temp = client.scan(cursor=i,count=1000) if __name__ == '__main__': if len(sys.argv) != 4: print 'Usage: python ', sys.argv[0], ' host port password ' exit(1) db_host = sys.argv[1] db_port = sys.argv[2] db_password = sys.argv[3] r = redis.StrictRedis(host=db_host, port=int(db_port), password=db_password) nodecount = 1 keyspace_info = r.info("keyspace") for db in keyspace_info: print 'check ', db, ' ', keyspace_info[db] find_big_key_normal(db_host, db_port, db_password, db.replace("db", ""))
我對上面的腳本同樣進(jìn)行了一個壓力測試,在redis的內(nèi)存為15G,key的數(shù)量為2KW,ops為40K到80K之間,在這種情況下:
腳本10分鐘跑完,完全可用。
感謝各位的閱讀!關(guān)于“redis中bigkey掃描腳本的示例分析”這篇文章就分享到這里了,希望以上內(nèi)容可以對大家有一定的幫助,讓大家可以學(xué)到更多知識,如果覺得文章不錯,可以把它分享出去讓更多的人看到吧!