當業(yè)務需要大量去連接redis或者hbase的時候,大量的連接會造成socket的大量占用,導致的結果就是服務器沒有更多的端口去分配,這種情況下的最好解決方案就是實現(xiàn)客戶端連接的單例模式,保持連接永遠是同一個。說到這,可能大家沒有經歷過,如果在每秒鐘插入4000條數(shù)據(jù)的話,這個現(xiàn)象就非常明顯了。下面就實現(xiàn)下python實現(xiàn)操作redis+hbase單例模式,有很多改進之處,根據(jù)自己業(yè)務進行調整,可以通過打印實例的ID進行驗證:
創(chuàng)新互聯(lián)公司長期為千余家客戶提供的網站建設服務,團隊從業(yè)經驗10年,關注不同地域、不同群體,并針對不同對象提供差異化的產品和服務;打造開放共贏平臺,與合作伙伴共同營造健康的互聯(lián)網生態(tài)環(huán)境。為南宮企業(yè)提供專業(yè)的網站建設、成都網站建設,南宮網站改版等技術服務。擁有10多年豐富建站經驗和眾多成功案例,為您定制開發(fā)。
import happybase import redis class _RedisMgrSingleton(type): '''redis的單例''' def __init__(self, name, bases, dict): super(_RedisMgrSingleton, self).__init__(name, bases, dict) self._instance = {} def __call__(self, host,port,db): if not self._instance.has_key((host,port,db)): self._instance[(host,port,db)] = super(_RedisMgrSingleton, self).__call__(host,port,db) return self._instance[(host,port,db )] class HbaseSingleton(type): '''hbase的單例''' def __init__(self, name, bases, dict): super(HbaseSingleton, self).__init__(name, bases, dict) self._instance = {} def __call__(self, host,table): if not self._instance.has_key((host,table)): self._instance[(host,table)] = super(HbaseSingleton, self).__call__(host,table) return self._instance[(host,table)] class RedisMgr: "redis操作專用類" def __init__(self,host,port,db,max_connections=3): "eg: host '192.168.2.184' port 6379 db 14" self.host=host self.port=port self.db=db self.conn=redis.Redis(connection_pool= redis.ConnectionPool(host=host,port=port,db=db,max_connections=max_connections)) def run_redis_fun(self,funname,*args): fun=getattr(self.conn,funname) print args return fun(*args) def pipe(self): return self.conn.pipeline(transaction=False) __metaclass__ = _RedisMgrSingleton #元類實現(xiàn)單例 class HbaseOperate(object): def __init__(self,host,table): self.host = host self.table = table self.conn = happybase.Connection(self.host) self.table = self.conn.table(self.table) def run(self,fun,*args): # result =self.table.row(*args) funname = getattr(self.table,fun) return funname(*args) def cells(self,column,info,version): return self.table.cells(column,info,versions=version) __metaclass__ = HbaseSingleton #元類實現(xiàn)單例 conn = HbaseOperate('xxx.xx.11.8',"history_visitor_product") result = conn.cells('chenhuachao','info:visiotr',3) print result print "第一次",id(conn) conn1 = HbaseOperate('xxx.xxx.11.8',"history_visitor_product") result1= conn1.cells('chenhuachao','info:visiotr',6) print result1 print "第二次",id(conn1) #output ['test10', 'test9', 'test97'] 第一次 38014896 ['test10', 'test9', 'test97', 'test17', 'test1345\n'] 第二次 38014896