真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

智能電表開發(fā)go語言 智能電表開發(fā)go語言是什么

智能電表和嵌入式的關(guān)系。單片機(jī)?cpu?mcu?soc?

單片機(jī)?cpu?mcu?soc?

九臺(tái)ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場景,ssl證書未來市場廣闊!成為成都創(chuàng)新互聯(lián)的ssl證書銷售渠道,可以享受市場價(jià)格4-6折優(yōu)惠!如果有意向歡迎電話聯(lián)系或者加微信:028-86922220(備注:SSL證書合作)期待與您的合作!

有點(diǎn)不知道你想知道什么,難道是問智能電表中的芯片是什么,起到什么作用?那又與CPU何干?單片機(jī),MCU,soc這些概念性的名詞區(qū)分起來又有多大意義?

只要知道,所謂智能,不過是將以前需要人工解決的事情,通過專用的芯片,把相應(yīng)的數(shù)據(jù)收集起來,再做出正確的反應(yīng),這樣大部分事情不需要人力去做了,就智能化了。

例如智能電表吧,首先智能電表并不是由這一塊電表就能實(shí)現(xiàn)“智能化”的,如果它上面記錄的數(shù)據(jù)(如當(dāng)月用電度數(shù),剩余金額等)不能傳送到電力局或相關(guān)部門,那么即使他能欠費(fèi)自動(dòng)斷電,又有何用,還不是需要人去抄錄這些數(shù)據(jù)?那么就需要一個(gè)能夠采集電表上信息的采集器(通過電線載波),采集器采集到數(shù)據(jù)了,總的把數(shù)據(jù)傳輸?shù)诫娔X上,這樣電力局的家伙們才能收集起這些數(shù)據(jù),來做市民用電分析,所以又得在電腦上開發(fā)個(gè)軟件來接受這些數(shù)據(jù)。

那么嵌入式在這方面的應(yīng)用就有2個(gè)部分,一個(gè)就是電表通過專用芯片來采集數(shù)據(jù),另一個(gè)就是通過采集器來采集電表上的數(shù)據(jù)并上傳至電腦。

所以,智能電表和嵌入式的關(guān)系,你覺得會(huì)是單片機(jī)、cpu、mcu、soc,或者什么都不是呢?

有點(diǎn)答非所問了,還請(qǐng)LZ包涵,或許是我愚昧了吧。

智能電表需求不旺,電表企業(yè)如何開拓多元化產(chǎn)業(yè)?

智能電表需求不旺,電表企業(yè)如何開拓多元化產(chǎn)業(yè)?

——《2017年電表行業(yè)發(fā)展看點(diǎn)之一》

中國現(xiàn)代電網(wǎng)量測(cè)技術(shù)平臺(tái)

張春暉

2017年12月10日

2017年是電表行業(yè)發(fā)展史上又一個(gè)轉(zhuǎn)折點(diǎn)。智能電表的需求由連續(xù)7年(2010—2016年)的興旺期突然跌入低谷,”多表合一”信息采集緩慢推進(jìn),無奈電表市場的變化,電表企業(yè)正在尋求新的商機(jī)。

回顧2017年,電表行業(yè)發(fā)展進(jìn)程中有哪些看點(diǎn),可以為推進(jìn)2018年行業(yè)發(fā)展繼續(xù)研究與應(yīng)用?

·智能電表需求不旺,電表企業(yè)如何開拓多元化產(chǎn)業(yè)?

·電表新技術(shù)的關(guān)注課題:主要有”儀器云”技術(shù)應(yīng)用,用電信息與電網(wǎng)關(guān)口計(jì)量兩信息采集系統(tǒng)合一拓展系統(tǒng)計(jì)量功能,國網(wǎng)”雙芯”智能電表樣機(jī)開發(fā)并掛網(wǎng)運(yùn)行考核,上海電網(wǎng)制訂并實(shí)施單相智能電表運(yùn)行中的狀態(tài)檢驗(yàn)與輪換方案,智能(高級(jí))終端,直流電能表、寬帶低壓電力線載波通信互聯(lián)互通等多項(xiàng)技術(shù)標(biāo)準(zhǔn)發(fā)布、實(shí)施。

·用電信息采集系統(tǒng)通信技術(shù)瓶頸化解的進(jìn)程:主要有4G無線通信成為遠(yuǎn)程通信主流,寬帶低壓電力線載波通信擴(kuò)大應(yīng)用,北斗衛(wèi)星通信在多地應(yīng)用試點(diǎn),NB---LOT通信在智能電表自動(dòng)抄表系統(tǒng)中落地應(yīng)用的 探索 。

·國網(wǎng)”多表合一”信息采集緩慢推進(jìn),氣表計(jì)量需求大幅增長,NB---LOT通信在水表計(jì)量集抄中首先落地應(yīng)用;能源互聯(lián)網(wǎng)出新政,國家發(fā)改委、國家質(zhì)檢總局共同發(fā)布《重點(diǎn)用能單位能耗在線監(jiān)測(cè)系統(tǒng)推廣建設(shè)工作方案》,健全能源計(jì)量體系,推進(jìn)電、水、氣、熱能源計(jì)量及集抄系統(tǒng)的現(xiàn)代化改造升級(jí)。

以上2017年電表行業(yè)發(fā)展的看點(diǎn),本文將分集進(jìn)行敘述、發(fā)布。

看點(diǎn)之一: 智能電表需求不旺,電表企業(yè)如何開拓多元化產(chǎn)業(yè)?

1、2017年,國網(wǎng)智能電表需求跌入低谷,采集終端需求大幅下降,江蘇、山東電網(wǎng)繼續(xù)有大批量需求

1)智能電表全年集中招標(biāo)量及需求的新變化

國網(wǎng)2017年智能電表全年集中招標(biāo)量為3778萬只。其中,第1次招標(biāo)量2092萬只,占全年招標(biāo)總量的55%;第2次招標(biāo)量1666萬只,占45%。兩次招標(biāo)量大體平衡。但是,2017年智能電表招標(biāo)總量(3778萬只)比2014年智能電表年最高招標(biāo)量(1億只)下降62.2%。

—國網(wǎng):2017年智能電表招標(biāo)總量已經(jīng)接近需求底線,主要需求要素:

2017年5月,本文作者撰寫的《2017年,國網(wǎng)電表市場與計(jì)量新技術(shù)需求的解讀與引用》提示:

· 2017年,省級(jí)電網(wǎng)用電信息采集系統(tǒng)覆蓋率達(dá)到99%以上,需用智能電表1700萬只。

·國網(wǎng)供電營業(yè)區(qū)年新用戶自然增長率約3%,需用智能電表1200萬只。

·地方政府保障房建設(shè),需用智能電表300萬只。

·躉售縣、代管縣上劃國網(wǎng)管理用表300萬只。

·計(jì)量故障處理(計(jì)量故障率約0.5%)用表200萬只。

— 2017年國網(wǎng)智能電表集中招標(biāo)呈現(xiàn)的新變化

·新增表型。國網(wǎng)發(fā)布2級(jí)單相智能電表增加電池外置技術(shù)要求。全年電池可更換單相智能電表招標(biāo)量為1327萬只,占年單相智能電表招標(biāo)總量(3237萬只)的41%。

·新增配件: 超高頻RFID模塊,單相計(jì)量故障識(shí)別模塊,計(jì)量現(xiàn)場作業(yè)終端與外設(shè)收納箱,三相計(jì)量故障識(shí)別模塊,現(xiàn)場打印模塊。

以上新增配件的技術(shù)規(guī)范:(待查詢)。

2)采集終端集中招標(biāo)量及需求的新變化

國網(wǎng),2017年采集終端全年集中招標(biāo)量為781萬臺(tái)。其中,第1批采集終端招標(biāo)為706萬臺(tái),占全年招標(biāo)總量的90%;第2批招標(biāo)量為76萬臺(tái),占全年招標(biāo)總量的10%,第2批招標(biāo)量跌到底線。同時(shí),2017年采集終端集中招標(biāo)總量(781萬臺(tái))比2016年采集終端年最高招標(biāo)量(1109萬臺(tái))下降29.5%。這些情況說明:省級(jí)電網(wǎng)用電信息采集系統(tǒng)建設(shè)已經(jīng)進(jìn)入收尾階段。

2017年,國網(wǎng)采集終端集中招標(biāo)呈現(xiàn)的新變化:

—公網(wǎng)4G無線通信模塊應(yīng)用成為遠(yuǎn)程通信的主流

2017年,采集終端(4G)模塊的招標(biāo)總量為96萬塊,占全年集中器(折算量為57.9萬臺(tái))、專變終端(86萬臺(tái))的總量(143.9萬臺(tái))的66.7%。其中:

· 2017年第1批采集終端招標(biāo)應(yīng)用4G模塊48.9萬塊。包括:

集中器Ⅰ型(4G/寬帶)13.5萬塊

集中器Ⅰ型(4G/微功率無線)2.2萬塊

集中器Ⅰ型(4G/窄帶)21.2萬塊

專變終端Ⅲ型(4G)12萬塊

· 2017年第2批采集終端招標(biāo)應(yīng)用4G模塊47.1萬塊。包括:

集中器Ⅰ型(4G/窄帶)16.1萬塊

集中器Ⅰ型(4G/寬帶)13.5萬塊

專變終端Ⅱ、Ⅲ型(4G)合計(jì)17.5萬塊

分析以上集中器(4G)模塊招標(biāo)量可知:集中器的本地通信方式有窄帶載波、寬帶載波、微功率無線通信3類。這里需要說明:近幾年,OFDM窄帶快速通信技術(shù)的應(yīng)用增多,據(jù)說可以達(dá)到20k bps的通信速率。

—寬帶低壓電力線載波通信技術(shù)擴(kuò)大應(yīng)用

2017年全年需用寬帶載波模塊734.5萬塊(不包含第2批電表本地通信寬帶載波模塊招標(biāo)量),為2016年寬帶載波模塊招標(biāo)量的245%。其中:寬帶載波模塊在集中器、采集器中應(yīng)用已經(jīng)成為主流;在電表本地通信中占26%。

· 2017年全年,采集器、集中器需用寬帶載波模塊491.5萬塊,占全年采集器、集中器招標(biāo)總量(695萬臺(tái))的71%。

a1 2017年第1批采集器、集中器招標(biāo)需用寬帶載波模塊478萬塊,包括:

集中器Ⅰ型(4G/寬帶載波)13.5萬塊

采集器Ⅱ型(寬帶載波)436.4萬塊

采集器Ⅰ型(寬帶載波)28.1萬塊

a2 2017年第2批采集器、集中器招標(biāo)需用寬帶載波模塊(集中器Ⅰ型:4G/寬帶載波)

13.5萬塊

· 2017年第1批電表本地通信(寬帶載波)模塊需用243萬塊,占第1批電表本地通信模塊招標(biāo)總量(936萬塊)的26%。

2017年第2批電表本地通信(寬帶載波)模塊的招標(biāo)量:(待查詢)

3)前兩年,江蘇、山東電網(wǎng)已經(jīng)實(shí)現(xiàn)智能電表應(yīng)用和用電信息采集系統(tǒng)的全覆蓋,為何2017年繼續(xù)對(duì)智能電表、采集終端有大批量的需求?

2014年,江蘇電網(wǎng)率先完成用電信息采集系統(tǒng)(3600萬戶)的建設(shè);2015年,山東電網(wǎng)實(shí)現(xiàn)用電信息采集系統(tǒng)100%(3800萬戶)的覆蓋。

— 2017年第1批國網(wǎng)智能電表、采集終端集中招標(biāo)

·江蘇電網(wǎng)本批需用Ⅱ型采集器495.5萬臺(tái),占本批國網(wǎng)采集器招標(biāo)量76.4%。2級(jí)單相智能電表需求253萬只,占江蘇電網(wǎng)總戶數(shù)(3800萬戶)的6.6%。

·山東電網(wǎng)的專變終端需求31萬臺(tái),占本批國網(wǎng)專變終端招標(biāo)量的54%。1級(jí)三相智能電表招標(biāo)82.2萬臺(tái),占山東電網(wǎng)三相用戶(約400萬戶)的20.5%。

— 2017年第2批智能電表、采集終端集中招標(biāo)

山東電網(wǎng)需求2級(jí)單相智能電表280萬只,列省級(jí)電網(wǎng)對(duì)單相智能電表需求的首位,占本批國網(wǎng)單相智能電表招標(biāo)量的19.4%。集中器需求12萬臺(tái),列省級(jí)電網(wǎng)集中器招量的首位,占該批國網(wǎng)集中器需求量的27%。

—以上情況說明:省級(jí)電網(wǎng)的智能電表應(yīng)用和用電信息采集系統(tǒng)建設(shè)完成之后,系統(tǒng)表計(jì)、采集設(shè)備繼續(xù)有更新、擴(kuò)展的需求,估計(jì)主要因素:

·新用戶增長。年新用戶自然增長率為3---5%,對(duì)擁有4000萬戶的省級(jí)電網(wǎng),年需求單相智能電表120---200萬只。

·早期三相電表、采集終端需要更新。按2009版國網(wǎng)標(biāo)準(zhǔn)生產(chǎn)的三相電表、采集終端,由于其功能、可靠性許多方面不符合2013版國網(wǎng)標(biāo)準(zhǔn)的要求,需要提前進(jìn)行部分智能電表、采集終端的更換。

·應(yīng)用Ⅱ型采集器,本地通信采用寬帶載波,可以大幅度縮短采集周期。

·智能電表、采集終端或需增加庫存?zhèn)淦贰?/p>

2、國網(wǎng):2010---2017年智能電表需求終結(jié)與2018年需求評(píng)估

1)2010---2 017年智能電表需求的終結(jié)

2009年第4季,國網(wǎng)進(jìn)行智能電表第1次集中招標(biāo),但招標(biāo)量不大。

2010---2017年,國網(wǎng)每年都要組織2---4次智能電表大批量集中招標(biāo),其目標(biāo)是實(shí)現(xiàn)智能電表與用電信息采集系統(tǒng)的100%覆蓋。

2010---2017年國網(wǎng)智能電表應(yīng)用與用電信息采集系統(tǒng)實(shí)現(xiàn)全覆蓋的進(jìn)程:

年份,a: 當(dāng)年智能電表招標(biāo)量,b:累計(jì)采集戶數(shù),c:國網(wǎng)用戶總數(shù),d:采集覆蓋率

— 2009年,a: 0.11億只,b: 億戶,c: 2億戶,d: %

— 2010年,a:0.45億只,b:0.28億戶,c: 2.2億戶,d: 12.7%

— 2011年,a: 0.6億只,b: 0.66億戶,c: 2.57億戶,d: 25.6%

— 2012年,a: 0.76億只,b:1.1億戶,c: 2.8億戶,d:39.2%

— 2013年,a: 0.66億只,b:1.8億戶,c:3.1億戶,d:58%

— 2014年,a: 1億只,b: 2.56億戶,c: 3.78億戶,d: 68%

— 2015年,a: 0.91億只,b: 3.16億戶,c: 3.95億戶,d: 80%

— 2016年,a: 0.66億只,b:3.82億戶,c: 4億戶,d:95.5%

— 2017年,a: 0.38億只,b:4.3億戶,c: 4.34億戶,d:99%

說明: 以上數(shù)據(jù),摘錄于網(wǎng)上信息或推算求得,供參考。

從以上2010---2017年國網(wǎng)智能電表集中招標(biāo)的數(shù)據(jù),并結(jié)合國網(wǎng)物資部門歷次發(fā)布智能電表集中招標(biāo)的全面情況,經(jīng)歸納提煉出國網(wǎng)智能電表需求、投資的變化規(guī)律,供電表企業(yè)在今后國網(wǎng)新型電表大批量招標(biāo)時(shí)的參考。

— 2017年,國網(wǎng)供電營業(yè)區(qū)擁有用戶總數(shù)為4.3億戶。以后,新用戶以年自然增長率3---5%逐年增長。新用戶用表,供電部門已列入當(dāng)年智能電表需求量上報(bào)。

— 2010---2017年,國網(wǎng)智能電表招標(biāo)總量為5.42億只(不含2009年智能電表招標(biāo)0.11億只),累計(jì)投資總額為1138億元。

在智能電表初裝期(2010---2017年): 國網(wǎng)年智能電表平均招標(biāo)量為0.68億只,年平均投資142.3億元;智能電表年最高招標(biāo)量為1億只,年最大投資210億元;智能電表年招標(biāo)底線量為0.38億只,年投資底線為80億元。

— 2010---2017年,國網(wǎng)智能電表招標(biāo)總量為5.42億只,智能電表安裝應(yīng)用4.3億只余額智能電表1.12億只,占智能電表招標(biāo)總量的21%。這些余額電表的主要用途估計(jì):

·部分早期智能電表需要提前更換。2009---2012年,按2009版國網(wǎng)標(biāo)準(zhǔn)生產(chǎn)的智能電表共安裝應(yīng)用1.92億只,但具體淘汰多少早期智能電表難以估計(jì)。

·計(jì)量故障處理(計(jì)量故障率0.5--- 1%)

·庫存?zhèn)溆?/p>

—中標(biāo)的電表企業(yè)

2010---2017年,國網(wǎng)智能電表集中招標(biāo)的中標(biāo)電表企業(yè)估計(jì)有45---75家,隨智能電表招標(biāo)量而變化。

·據(jù)說,國網(wǎng)物資部門對(duì)投標(biāo)電表企業(yè)的基本要求: 注冊(cè)資本、生產(chǎn)銷售電表業(yè)績、智能電表生產(chǎn)、管理?xiàng)l件等。

本文作者認(rèn)為:考核電表企業(yè)的重點(diǎn)難點(diǎn)是電表、采集終端及系統(tǒng)的自主開發(fā)能力。據(jù)了解,已經(jīng)入圍的有些電表企業(yè),中、高端智能電表采用貼牌方式,特別是前幾年,集中器、專變終端貼牌、買入設(shè)計(jì)方案占較大比例,包括中標(biāo)前10名的電表企業(yè)。

·電表企業(yè)的中標(biāo)金額。從網(wǎng)上看國網(wǎng)智能電表、采集終端中標(biāo)的信息: 中標(biāo)前3位的大型電表企業(yè)的中標(biāo)金額約為每批智能電表、采集終端招標(biāo)總金額的6%左右。其余電表企業(yè)的中標(biāo)金額百分率依次下降,中標(biāo)金額的底線約為1% 。

·以上國網(wǎng)智能電表集中招標(biāo)的中標(biāo)電表企業(yè)多、中標(biāo)金額百分率低,對(duì)電表企業(yè)、國網(wǎng)雙方都有不利影響:

a1 2010---2017年,電表企業(yè)由于智能電表市場穩(wěn)定、對(duì)計(jì)量新技術(shù)需求不旺而受益、發(fā)展,開拓多元化產(chǎn)業(yè)已經(jīng)起步,特別是大型電表企業(yè)年?duì)I銷收入達(dá)到20---30億元。而2017年,國網(wǎng)智能電表集中招標(biāo)量為0.38億只、投資80億元,中標(biāo)前3位的大型電表企業(yè)中標(biāo)金額6%、4.8億元,只占年?duì)I業(yè)收入的

24---16%,難以支撐電表企業(yè)的長期發(fā)展,促使其急于開拓多元化產(chǎn)業(yè)。

a2 省級(jí)電網(wǎng)需用的智能電表,一般由十多家電表企業(yè)供貨,產(chǎn)品質(zhì)量難以保證一致,產(chǎn)品驗(yàn)收、運(yùn)行管理及協(xié)調(diào)、計(jì)量故障處理都要增加工作量。

·還有,2012年后,國網(wǎng)智能電表年招標(biāo)量塊速增長,最高年招標(biāo)量達(dá)到1億只。由此,電表企業(yè)加大投資,擴(kuò)大產(chǎn)能,2017年后智能電表需求跌入低谷,電表企業(yè)產(chǎn)能嚴(yán)重過剩,需要引以為戒。應(yīng)急供貨,擴(kuò)大產(chǎn)能,可以采取多方面的措施。

2)2018年智能電表的需求評(píng)估與對(duì)”雙芯”智能電表推向市場的期望

—據(jù)網(wǎng)上預(yù)測(cè),2018年或?qū)⑹请姳硎袌鲂枨笞畹偷囊荒?,國網(wǎng)智能電表招標(biāo)量約3344萬只。

2018年,省級(jí)電網(wǎng)在完成智能電表應(yīng)用與用電信息采集系統(tǒng)全覆蓋后,繼續(xù)對(duì)智能電表、采集終端有批量的需求:

·前面已經(jīng)敘述,國網(wǎng):新用戶的年自然增長率3%,需用智能電表1200萬只;地方政府保障房建設(shè),需用智能電表300萬只;躉售縣、代管縣上劃國網(wǎng)管理用表300萬只;計(jì)量故障處理用表200萬只。前4項(xiàng)市場要素合計(jì),需用智能電表2000萬只。

· 2010---2012年,早期智能電表應(yīng)用1.92億只。如提前更新7%,需用智能電

表1344萬只。

·以上5項(xiàng)市場要素合計(jì),2018年國網(wǎng)需用智能電表3344萬只,比2017年國網(wǎng)智能電表招標(biāo)量又下降11.5%,比2014年智能電表最高年招標(biāo)量(1億只)下降66.5%。

—對(duì)”雙芯”智能電表進(jìn)入市場的期望

2017年5月的《2017年,國網(wǎng)電表市場和計(jì)量新技術(shù)需求的解讀與引用》對(duì)”雙芯”智能電表開發(fā)與2013版國網(wǎng)智能電表企業(yè)標(biāo)準(zhǔn)的修訂進(jìn)程作過預(yù)期。

目前的情況又有變化,2017年國網(wǎng)計(jì)量工作指導(dǎo)意見(國家電網(wǎng)營銷【2017】105號(hào))實(shí)施以來,《環(huán)球表計(jì)》雜志相繼發(fā)表”雙芯”智能電表的文章: 中國電科院《一種基于IR46理念的智能電能表設(shè)計(jì)方案研究》、浙江省電科院《基于OIML R46國際建議的智能電能表設(shè)計(jì)》。近期,由河北石家莊行業(yè)會(huì)議傳出的信息:國網(wǎng)”雙芯”智能電表標(biāo)準(zhǔn)或?qū)⒂?018年報(bào)批,即2013版國網(wǎng)智能電表標(biāo)準(zhǔn)的修訂版,預(yù)期在2019年組織實(shí)施。這樣,”雙芯”智能電表樣機(jī)于2019年開發(fā)、送檢后掛網(wǎng)運(yùn)行;2020年或?qū)⒂信繎?yīng)用的需求。據(jù)說,由于”雙芯”智能電表安裝應(yīng)用的投資尚未落實(shí),該新型電表批量推向市場的時(shí)間,或?qū)⒈戎暗念A(yù)期后延了1年。

—還有一個(gè)影響2018年智能電表需求的因素:單相智能電表運(yùn)行中的檢測(cè)與狀態(tài)輪換

從2010年算起,早期智能電表經(jīng)過8年的運(yùn)行,進(jìn)入2018年后陸續(xù)到周期輪換。

2017年,上海市地方計(jì)量法規(guī):”運(yùn)行中的單相智能電表的狀態(tài)檢測(cè)方案”已經(jīng)發(fā)布,并在上海電網(wǎng)組織實(shí)施。但是尚未見到國網(wǎng)計(jì)量部門有關(guān)單相智能電能表按周期或按狀態(tài)檢驗(yàn)與輪換辦法的報(bào)道。預(yù)計(jì)2018年初召開的年度計(jì)量工作推進(jìn)會(huì)議,將作出統(tǒng)一的安排。如國網(wǎng)實(shí)施單相智能電表的狀態(tài)檢測(cè)與狀態(tài)輪換辦法,經(jīng)狀態(tài)檢驗(yàn)合格的單相表計(jì)將延長運(yùn)行周期若干年。這將有利于電網(wǎng)節(jié)省資源,減少投入;但對(duì)單相智能電表市場需求產(chǎn)生不利影響。

3、電表企業(yè):如何開拓多元化產(chǎn)業(yè)?

從國網(wǎng)推行智能電表集中招標(biāo)后不久,有些電表企業(yè)已經(jīng)感到國網(wǎng)的智能電表市場將受制約,陸續(xù)開始開拓多元化產(chǎn)業(yè)的 探索 。但是,電表企業(yè)的轉(zhuǎn)型一般走捷徑:貼牌仿制或兼并目標(biāo)企業(yè),盡快成為企業(yè)營銷新的增長點(diǎn)。

1)2017年5月的《2017年,國網(wǎng)電表市場和計(jì)量新技術(shù)需求的解讀與引用》提示:電表企業(yè)需要慎重研究企業(yè)轉(zhuǎn)型新產(chǎn)品開發(fā)的選題。

—除智能電表、采集終端、低壓計(jì)量箱3個(gè)基本市場,還有前景可期、相對(duì)大一點(diǎn)的電表市場,包括特種電表、在線監(jiān)測(cè)、諧波計(jì)量、10kV電子式互感器、基于”儀器云”計(jì)算的遠(yuǎn)程校表系統(tǒng)等9類計(jì)量產(chǎn)品。

—電力用戶自采購市場,主要計(jì)量產(chǎn)品有:統(tǒng)計(jì)電表系列、一卡通、能源計(jì)量表及監(jiān)測(cè)系統(tǒng)、路燈智能控制系統(tǒng)、石油/煤礦專用計(jì)量設(shè)備等9類產(chǎn)品。

—從企業(yè)長遠(yuǎn)發(fā)展考量,電表企業(yè)的轉(zhuǎn)型,主要走技術(shù)創(chuàng)新產(chǎn)品開發(fā)的路徑,包括:智能(高級(jí))終端在能源計(jì)量領(lǐng)域的應(yīng)用、”儀器云”與三相多功能電表融合技術(shù)開發(fā)、用電信息采用系統(tǒng)主站拓展大數(shù)據(jù)應(yīng)用、大用戶諧波計(jì)量考核、計(jì)量裝置丟失數(shù)據(jù)自補(bǔ)算等功能。

2)電表企業(yè)對(duì)國網(wǎng)智能電表市場依賴程度需求進(jìn)行調(diào)節(jié)

前面敘述:2010---2017年國網(wǎng)智能電表需求、投資的變化規(guī)律已經(jīng)明示:國網(wǎng)是中央國有企業(yè),智能電表、采集終端集中招標(biāo)是企業(yè)自主行為。智能電表、采集終端、低壓計(jì)量箱是電表企業(yè)3個(gè)基本市場,永恒的市場。但是,國網(wǎng)智能電表、采集終端的年招標(biāo)量、投資、分配策略(即中標(biāo)企業(yè)多、中標(biāo)金額低)已經(jīng)不適應(yīng)電表企業(yè)快速、長遠(yuǎn)發(fā)展的需求。因此,電表企業(yè)在繼續(xù)做好國網(wǎng)智能電表市場的基礎(chǔ)上,調(diào)節(jié)對(duì)國網(wǎng)智能電表市場的依賴程度,開拓多元化產(chǎn)業(yè)是長遠(yuǎn)、有益的發(fā)展進(jìn)程。

3)開拓多元化產(chǎn)業(yè),需要優(yōu)選開發(fā)項(xiàng)目

近幾年,大型電表企業(yè)的轉(zhuǎn)型方向各不相同。據(jù)網(wǎng)上信息:林洋,主要開拓新能源開發(fā)項(xiàng)目,并已初見成效;科陸,智能電網(wǎng)、節(jié)能產(chǎn)品等多方位發(fā)展;威勝,重點(diǎn)開拓智能配網(wǎng)產(chǎn)品,水、氣、熱能源計(jì)量及能效管理設(shè)備及系統(tǒng)。

本文作者經(jīng)過多年來對(duì)電表企業(yè)轉(zhuǎn)型新產(chǎn)品開發(fā)的信息跟蹤分析,可以認(rèn)為:威勝,開拓、擴(kuò)大能源計(jì)量產(chǎn)業(yè)的做法,比較穩(wěn)當(dāng)、業(yè)績明顯。其主要特點(diǎn):

—改組、強(qiáng)化威勝信息技術(shù)公司,加大資金、高級(jí)人才的投入。據(jù)了解,威勝集團(tuán)公司將原來電表、終端產(chǎn)品的一批高級(jí)技術(shù)及管理人才、多名博士人才充實(shí)到威勝信息技術(shù)公司。

—多元化產(chǎn)業(yè)新產(chǎn)品項(xiàng)目的起點(diǎn)較高、有前瞻性。威勝的電、水、氣、熱能源計(jì)量項(xiàng)目,以AMI為總抓手,既做水、氣、熱表組裝并加裝控制、采集部分,又做采集系統(tǒng)及主站,抓住大型能源計(jì)量系統(tǒng)項(xiàng)目的招標(biāo)機(jī)遇,將電、水、氣、熱能源計(jì)量產(chǎn)業(yè)全面鋪開。

能源計(jì)量系統(tǒng)工程案例:

·礦區(qū)水、電、氣表計(jì)遠(yuǎn)程集抄、控制項(xiàng)目

·烏茲別克斯坦AMI項(xiàng)目

·南方電網(wǎng)首個(gè)多表集抄項(xiàng)目

·上海電力公司實(shí)現(xiàn)”多表集抄、多單合一、多費(fèi)合收”項(xiàng)目

—現(xiàn)在,威勝以電表為基業(yè),主營智能配網(wǎng)產(chǎn)品、能源計(jì)量及能效管理設(shè)備。2017年,威勝的能源計(jì)量產(chǎn)品營業(yè)收入估計(jì)將有10多億元,與智能電表的營業(yè)收入之比,或?qū)⑦_(dá)到0.65 : 1 ??梢哉f,威勝信息技術(shù)公司的能源計(jì)量及系統(tǒng)新產(chǎn)品開發(fā)與市場營銷已經(jīng)進(jìn)入穩(wěn)定、發(fā)展?fàn)顟B(tài),積累了多元化產(chǎn)業(yè)的開拓經(jīng)驗(yàn)。

4)電表企業(yè)向水、氣、熱能源計(jì)量市場拓展正當(dāng)時(shí)!

—國家對(duì)能源計(jì)量發(fā)展的新政陸續(xù)出臺(tái)

· 2016年2月,國家發(fā)改委、國家能源局、工業(yè)和信息化部聯(lián)合發(fā)布《關(guān)于推進(jìn)”互聯(lián)網(wǎng) ”智慧能源發(fā)展的指導(dǎo)意見(發(fā)改能源【2016】392號(hào))》提出:”推動(dòng)能源與信息通信基礎(chǔ)設(shè)施的深度融合”的要求。

·前面已經(jīng)敘述,2017年9月,國家發(fā)改委、國家質(zhì)檢總局發(fā)布《重點(diǎn)用能單位能耗在線監(jiān)測(cè)系統(tǒng)推廣建設(shè)工作方案》的通知(發(fā)改環(huán)資【2017】1711號(hào))提出:加快建設(shè)重點(diǎn)用能單位能耗在線監(jiān)測(cè)系統(tǒng),健全能源計(jì)量體系的要求。

可見,隨著能源互聯(lián)網(wǎng)、重點(diǎn)用能單位能耗在線監(jiān)測(cè)系統(tǒng)的推進(jìn),電、水、氣、熱能源計(jì)量及集抄系統(tǒng)建設(shè)全面、均衡發(fā)展的機(jī)遇來臨!

—水、氣、熱智能表計(jì)及行業(yè)集抄系統(tǒng)建設(shè)進(jìn)程不一,缺乏有權(quán)威的高層部門垂直推進(jìn)能源計(jì)量智能化進(jìn)程。全國智能化水、氣、熱表及集抄系統(tǒng)建設(shè)情況難以統(tǒng)計(jì)。但是,電表企業(yè)的發(fā)展情況則不同,需要開拓多元化產(chǎn)業(yè)的發(fā)展。

2016年8月,由威勝 李鴻/山東電力行業(yè) 張春暉撰寫的《電、水、氣、熱”四表集抄”組網(wǎng)技術(shù) 探索 與能源互聯(lián)網(wǎng)》提示:

a1 水表行業(yè):全國自來水公司約3000家,水表及配套的生產(chǎn)企業(yè)300家。到2015年,水表年產(chǎn)量9000萬只。其中,智能水表占10%。

a2 氣表行業(yè):全國燃?xì)夤炯s800家。傳統(tǒng)燃?xì)獗砩a(chǎn)企業(yè)100家,智能燃?xì)獗砥髽I(yè)30家。到2015年底,燃?xì)獗砟戤a(chǎn)3500萬只;智能燃?xì)獗砟戤a(chǎn)1900萬只,占燃?xì)獗砟昕偖a(chǎn)量的35%。氣體超聲流量計(jì)主要依靠進(jìn)口。

a3 熱表行業(yè):熱計(jì)量主要市場在北方15省采暖區(qū)。2013年,全國供熱面積65億平方米,采用熱計(jì)量的占21%,安裝熱表1800萬只,平均每只熱表計(jì)量77平方米。目前,年新增供熱面積3---4億平方米,年需求熱表400萬只。

a4 還有電表行業(yè):全國縣級(jí)供電公司約2800家,地(市)供電公司約270家。到2016年,現(xiàn)存電表企業(yè)約360家,估計(jì)年生產(chǎn)電表1.4億只。其中,國網(wǎng)、南網(wǎng)采用 0.8億只,出口電表0.46億只,電力用戶自采購市場0.14億只。

到2017年底,國網(wǎng)供電營業(yè)區(qū)實(shí)現(xiàn)智能電表和用電信息采集系統(tǒng)(4.3億戶)的100%覆蓋。

—”多表合一”信息采用緩慢推進(jìn)。國網(wǎng),2015年推出”多表合一”信息采集工程, 探索 新的經(jīng)營模式。從網(wǎng)上信息估計(jì):2016---2017年,國網(wǎng)或?qū)?shí)現(xiàn)”多表合一”信息采集500萬戶,其進(jìn)程比原計(jì)劃”十三五”多表合一”信息采集的目標(biāo)相差甚遠(yuǎn)。應(yīng)該說,國網(wǎng)推進(jìn)”多表合一”信息采集,具有上級(jí)經(jīng)濟(jì)主管部門的支持,地方政府行業(yè)主管部門的重視、協(xié)調(diào),供電企業(yè)的同心協(xié)力,工程資金有保證等諸多有利條件。但是,至今,”多表合一”進(jìn)程緩慢,這是上級(jí)及地方政府行業(yè)主管部門、國網(wǎng)需要深思、解難題,并調(diào)整相關(guān)業(yè)務(wù)策略與要求,保證”多表合一”信息采集繼續(xù)往前推進(jìn)。

—電表企業(yè)融入水、氣、熱表計(jì)及集抄系統(tǒng)技術(shù)、市場開發(fā)與應(yīng)用具有許多的優(yōu)勢(shì)。歸納前面的敘述:

a1 水、氣、熱表計(jì)的智能化率低,更新改造需要大量資金、高級(jí)人才的投入,而水、氣、熱能源公司一般規(guī)模不大,實(shí)力有限。

a2 水、氣、熱行業(yè)集抄系統(tǒng)經(jīng)過多年的建設(shè)已經(jīng)具有一定的基礎(chǔ)。但是,系統(tǒng)應(yīng)用情況不理想,通信應(yīng)用技術(shù)相對(duì)較為落后。

a3 行業(yè)管理方面:水、氣、熱能源計(jì)量行業(yè)都由地方政府行業(yè)主管部門進(jìn)行協(xié)調(diào)管理。全國尚無統(tǒng)一的行業(yè)管理機(jī)構(gòu)組織制訂能源表計(jì)及集抄系統(tǒng)產(chǎn)品標(biāo)準(zhǔn),開展行業(yè)業(yè)務(wù)交流活動(dòng),行業(yè)信息很不暢通。

a4 以上水、氣、熱行業(yè)發(fā)展存在的短板,正是電表企業(yè)現(xiàn)有的發(fā)展長項(xiàng)。同時(shí),近幾年,威勝信息技術(shù)公司在能源計(jì)量及多表集抄系統(tǒng)開發(fā)與市場開拓的經(jīng)驗(yàn)可以借鑒:

據(jù)網(wǎng)上信息,威勝信息技術(shù)公司的電、水、氣、熱表一體化信息采集系統(tǒng)是在用電信息采集系統(tǒng)基礎(chǔ)上,主要引用其采集終端和通信信道,僅增加通信接口轉(zhuǎn)換器(采集器),將智能燃?xì)獗?、智能水表、智能熱量表的?shù)據(jù)采集到管理系統(tǒng),實(shí)現(xiàn)電、水、氣、熱表計(jì)遠(yuǎn)程采集與控制,建立一套電、水、氣、熱表收費(fèi)繳費(fèi)、信息發(fā)布和實(shí)時(shí)查詢的跨行業(yè)能源數(shù)據(jù)平臺(tái),普遍適用于居民住宅、學(xué)校、醫(yī)院、辦公樓宇、企業(yè)事業(yè)等用能單位。

a5 再是,水、氣、熱表及集抄系統(tǒng)項(xiàng)目招標(biāo),大都有地方水/氣/熱務(wù)公司組織進(jìn)行,招標(biāo)點(diǎn)多、分散,招標(biāo)金額有限。但是,給電表企業(yè)進(jìn)入水、氣、熱表及集抄系統(tǒng)市場投標(biāo),提供更多的機(jī)遇。

2017---2018年,智能電表需求不旺,能源表計(jì)特別是氣表需求大幅增長,同在能源計(jì)量行業(yè)內(nèi)形成了反差。由此,電表企業(yè)需要抓住機(jī)遇,向水、氣、熱能源計(jì)量及集抄系統(tǒng)進(jìn)行創(chuàng)新技術(shù)與市場營銷開拓正當(dāng)時(shí)!

綜合使用時(shí)序數(shù)據(jù)與截面數(shù)據(jù)能解決多重共線性嗎?

時(shí)序數(shù)據(jù)與截面數(shù)據(jù)能解決多重共線性??請(qǐng)參考下面時(shí)序數(shù)據(jù)庫白皮書。

思極有容數(shù)據(jù)庫

時(shí)序數(shù)據(jù)庫技術(shù)白皮書

北京中電普華信息技術(shù)有限公司

2020年4月

目??錄

1?大數(shù)據(jù)時(shí)代的挑戰(zhàn)?1

2?產(chǎn)品特點(diǎn)?1

3?系統(tǒng)結(jié)構(gòu)?2

4?存儲(chǔ)結(jié)構(gòu)?4

5?數(shù)據(jù)分區(qū)、水平擴(kuò)展?6

6?高可靠系統(tǒng)?7

7?STable:多表聚合?9

8?數(shù)據(jù)模型?10

9?實(shí)時(shí)流式計(jì)算?11

10?便捷的安裝、部署、維護(hù)?12

11?更多亮點(diǎn)?13

12?參數(shù)指標(biāo)?13

13?應(yīng)用場景?14

1?大數(shù)據(jù)時(shí)代的挑戰(zhàn)

隨著移動(dòng)互聯(lián)網(wǎng)的普及,數(shù)據(jù)通訊成本的急劇下降,以及各種低成本的傳感技術(shù)和智能設(shè)備的出現(xiàn),除傳統(tǒng)的手機(jī)、計(jì)算機(jī)在實(shí)時(shí)采集數(shù)據(jù)之外,手環(huán)、共享單車、出租車、智能電表、環(huán)境監(jiān)測(cè)設(shè)備、電梯、大型設(shè)備、工業(yè)生產(chǎn)線等也都在源源不斷的產(chǎn)生海量的實(shí)時(shí)數(shù)據(jù)并發(fā)往云端。這些海量數(shù)據(jù)是企業(yè)寶貴的財(cái)富,能夠幫助企業(yè)實(shí)時(shí)監(jiān)控業(yè)務(wù)或設(shè)備的運(yùn)行情況,生成各種維度的報(bào)表,而且通過大數(shù)據(jù)分析和機(jī)器學(xué)習(xí),對(duì)業(yè)務(wù)進(jìn)行預(yù)測(cè)和預(yù)警,能夠幫助企業(yè)進(jìn)行科學(xué)決策、節(jié)約成本并創(chuàng)造新的價(jià)值。

仔細(xì)研究發(fā)現(xiàn),所有機(jī)器、設(shè)備、傳感器、以及交易系統(tǒng)所產(chǎn)生的數(shù)據(jù)都是時(shí)序的,而且很多還帶有位置信息。這些數(shù)據(jù)具有明顯的特征,1:?數(shù)據(jù)是時(shí)序的,一定帶有時(shí)間戳;2:數(shù)據(jù)是結(jié)構(gòu)化的;3:?數(shù)據(jù)極少有更新或刪除操作;4:無需傳統(tǒng)數(shù)據(jù)庫的事務(wù)處理;5:相對(duì)互聯(lián)網(wǎng)應(yīng)用,寫多讀少;6:用戶關(guān)注的是一段時(shí)間的趨勢(shì),而不是某一特點(diǎn)時(shí)間點(diǎn)的值;7:?數(shù)據(jù)是有保留期限的;8:數(shù)據(jù)的查詢分析一定是基于時(shí)間段和地理區(qū)域的;9:除存儲(chǔ)查詢外,往往還需要各種統(tǒng)計(jì)和實(shí)時(shí)計(jì)算操作;10:數(shù)據(jù)量巨大,一天采集的數(shù)據(jù)就可以超過100億條。

看似簡單的事情,但由于數(shù)據(jù)記錄條數(shù)巨大,導(dǎo)致數(shù)據(jù)的實(shí)時(shí)寫入成為瓶頸,查詢分析極為緩慢,成為新的技術(shù)挑戰(zhàn)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫或NoSQL數(shù)據(jù)庫以及流式計(jì)算引擎由于沒有充分利用這些數(shù)據(jù)的特點(diǎn),性能提升極為有限,只能依靠集群技術(shù),投入更多的計(jì)算資源和存儲(chǔ)資源來處理,企業(yè)運(yùn)營維護(hù)成本急劇上升。

2?產(chǎn)品特點(diǎn)

思極有容時(shí)序數(shù)據(jù)庫正是普華公司面對(duì)這一高速增長的物聯(lián)網(wǎng)大數(shù)據(jù)市場和技術(shù)挑戰(zhàn)推出的創(chuàng)新性的大數(shù)據(jù)處理產(chǎn)品,它不依賴任何第三方軟件,也不是優(yōu)化或包裝了一個(gè)開源的數(shù)據(jù)庫或流式計(jì)算產(chǎn)品,而是在吸取眾多傳統(tǒng)關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、流式計(jì)算引擎、消息隊(duì)列等軟件的優(yōu)點(diǎn)之后自主開發(fā)的產(chǎn)品,在時(shí)序空間大數(shù)據(jù)處理上,有著自己獨(dú)到的優(yōu)勢(shì)。

·?10倍以上的性能提升:定義了創(chuàng)新的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu),單核每秒就能處理至少2萬次請(qǐng)求,插入數(shù)百萬個(gè)數(shù)據(jù)點(diǎn),讀出一千萬以上數(shù)據(jù)點(diǎn),比現(xiàn)有通用數(shù)據(jù)庫快了十倍以上。

·?硬件或云服務(wù)成本降至1/5:由于超強(qiáng)性能,計(jì)算資源不到通用大數(shù)據(jù)方案的1/5;通過列式存儲(chǔ)和先進(jìn)的壓縮算法,存儲(chǔ)空間不到通用數(shù)據(jù)庫的1/10。

·?全棧時(shí)序數(shù)據(jù)處理引擎:將數(shù)據(jù)庫、消息隊(duì)列、緩存、流式計(jì)算等功能融合一起,應(yīng)用無需再集成Kafka/Redis/HBase/HDFS等軟件,大幅降低應(yīng)用開發(fā)和維護(hù)的復(fù)雜度成本。

·?強(qiáng)大的分析功能:無論是十年前還是一秒鐘前的數(shù)據(jù),指定時(shí)間范圍即可查詢。數(shù)據(jù)可在時(shí)間軸上或多個(gè)設(shè)備上進(jìn)行聚合。臨時(shí)查詢可通過Shell,?Python,?R,?Matlab隨時(shí)進(jìn)行。

·?與第三方工具無縫連接:不用一行代碼,即可與Telegraf,?Grafana,?Matlab,?R等工具集成。后續(xù)將支持MQTT,?OPC等工具,?與BI工具也能夠無縫連接。

·?零運(yùn)維成本、零學(xué)習(xí)成本:安裝、集群一秒搞定,無需分庫分表,實(shí)時(shí)備份。支持標(biāo)準(zhǔn)SQL語句,支持JDBC,?RESTful連接,?支持Python/Java/C/C++/Go等開發(fā)語言,?與MySQL相似,零學(xué)習(xí)成本。

采用思極有容時(shí)序數(shù)據(jù)庫,可將典型的物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)的整體成本降至現(xiàn)有的1/5。同樣的硬件資源,思極有容時(shí)序數(shù)據(jù)庫能將系統(tǒng)處理能力和容量增加五倍以上。

3?系統(tǒng)結(jié)構(gòu)

思極有容時(shí)序數(shù)據(jù)庫是基于硬件、軟件系統(tǒng)不可靠、一定會(huì)有故障的假設(shè)進(jìn)行設(shè)計(jì)的,是基于任何單臺(tái)計(jì)算機(jī)都無足夠能力處理海量數(shù)據(jù)的假設(shè)進(jìn)行設(shè)計(jì)的,因此思極有容時(shí)序數(shù)據(jù)庫從研發(fā)的第一天起,就是按照分布式高可靠架構(gòu)進(jìn)行設(shè)計(jì)的,是完全去中心化的。思極有容時(shí)序數(shù)據(jù)庫整個(gè)系統(tǒng)結(jié)構(gòu)如下圖所示,下面對(duì)一些基本概念進(jìn)行介紹。

物理節(jié)點(diǎn):集群里的任何一臺(tái)物理機(jī)器(dnode),根據(jù)其具體的CPU、內(nèi)存、存儲(chǔ)和其它物理資源,思極有容時(shí)序數(shù)據(jù)庫將自動(dòng)配置多個(gè)虛擬節(jié)點(diǎn)。

虛擬數(shù)據(jù)節(jié)點(diǎn):存儲(chǔ)具體的時(shí)序數(shù)據(jù),所有針對(duì)時(shí)序數(shù)據(jù)的插入和查詢操作,都在虛擬數(shù)據(jù)節(jié)點(diǎn)上進(jìn)行(圖例中用V標(biāo)明)。位于不同物理機(jī)器上的虛擬數(shù)據(jù)節(jié)點(diǎn)可以組成一個(gè)虛擬數(shù)據(jù)節(jié)點(diǎn)組(如圖例中dnode0中的V0,?dnode1中的V1,?dnode6中的V2組成了一個(gè)組),虛擬節(jié)點(diǎn)組里的虛擬節(jié)點(diǎn)的數(shù)據(jù)以異步的方式進(jìn)行同步,并實(shí)現(xiàn)數(shù)據(jù)的最終一致性,以保證一份數(shù)據(jù)在多臺(tái)物理機(jī)器上有拷貝,而且即使一臺(tái)物理機(jī)器宕機(jī),總有位于其他物理機(jī)器上的虛擬節(jié)點(diǎn)能處理數(shù)據(jù)請(qǐng)求,從而保證系統(tǒng)運(yùn)行的高可靠性。

虛擬管理節(jié)點(diǎn):負(fù)責(zé)所有節(jié)點(diǎn)運(yùn)行狀態(tài)的采集、節(jié)點(diǎn)的負(fù)載均衡,以及所有Meta?Data的管理,包括用戶、數(shù)據(jù)庫、表的管理(圖例中用M標(biāo)明)。當(dāng)應(yīng)用需要插入或查詢一張表時(shí),如果不知道這張表位于哪個(gè)數(shù)據(jù)節(jié)點(diǎn),應(yīng)用會(huì)連接管理節(jié)點(diǎn)來獲取該信息。Meta?Data的管理也需要有高可靠的保證,系統(tǒng)采用Master-Slave的機(jī)制,容許多到5個(gè)虛擬管理節(jié)點(diǎn)組成一個(gè)虛擬管理節(jié)點(diǎn)集群(如圖例中的M0,?M1,?M2)。這個(gè)虛擬管理節(jié)點(diǎn)集群的創(chuàng)建是完全自動(dòng)的,無需任何人工干預(yù),應(yīng)用也無需知道虛擬管理節(jié)點(diǎn)具體在哪臺(tái)物理機(jī)器上運(yùn)行。

集群對(duì)外服務(wù)IP:整個(gè)系統(tǒng)可以由多臺(tái)甚至數(shù)萬臺(tái)服務(wù)器組成,但對(duì)于應(yīng)用而言,只需要提供整個(gè)集群中任何一臺(tái)或兩臺(tái)服務(wù)器的IP地址即可。?集群將根據(jù)應(yīng)用的請(qǐng)求,自動(dòng)的將請(qǐng)求轉(zhuǎn)發(fā)到相應(yīng)的一個(gè)甚至多個(gè)節(jié)點(diǎn)進(jìn)行處理,包括聚合、計(jì)算操作等。這些復(fù)雜的分發(fā)和路由對(duì)應(yīng)用是完全透明的。

4?存儲(chǔ)結(jié)構(gòu)

為提高壓縮和查詢效率,思極有容時(shí)序數(shù)據(jù)庫采用列式存儲(chǔ)。與眾多時(shí)序數(shù)據(jù)庫不同的是,思極有容時(shí)序數(shù)據(jù)庫基于時(shí)序數(shù)據(jù)的特點(diǎn),將每一個(gè)采集點(diǎn)的數(shù)據(jù)作為數(shù)據(jù)庫中的一張獨(dú)立的表來存儲(chǔ)。這樣對(duì)于一個(gè)采集點(diǎn)的數(shù)據(jù)而言,無論在內(nèi)存還是硬盤上,數(shù)據(jù)點(diǎn)在介質(zhì)上是連續(xù)存放的,這樣大幅減少隨機(jī)讀取操作,減少IO操作次數(shù),數(shù)量級(jí)的提升讀取和查詢效率。而且由于不同數(shù)據(jù)采集設(shè)備產(chǎn)生數(shù)據(jù)的過程完全獨(dú)立,每個(gè)設(shè)備只產(chǎn)生屬于自己的數(shù)據(jù),一張表也就只有一個(gè)寫入者。這樣每個(gè)表就可以采用無鎖方式來寫,寫入速度就能大幅提升。同時(shí),對(duì)于一個(gè)數(shù)據(jù)采集點(diǎn)而言,其產(chǎn)生的數(shù)據(jù)是時(shí)序的,因此寫的操作可用追加的方式實(shí)現(xiàn),進(jìn)一步大幅提高數(shù)據(jù)寫入速度。

數(shù)據(jù)具體寫如流程如圖所示:

寫入數(shù)據(jù)時(shí),先將數(shù)據(jù)點(diǎn)寫進(jìn)Commit日志,然后轉(zhuǎn)發(fā)給同一虛擬節(jié)點(diǎn)組里的其他節(jié)點(diǎn),再按列寫入分配的內(nèi)存塊。當(dāng)內(nèi)存塊的剩余空間達(dá)到一定臨界值或設(shè)定的commit時(shí)間時(shí),?內(nèi)存塊的數(shù)據(jù)將寫入硬盤。內(nèi)存塊是固定大小(如16K)的,?但依據(jù)系統(tǒng)內(nèi)存的大小,每個(gè)采集點(diǎn)可以分配一個(gè)到多個(gè)內(nèi)存塊,采取LRU策略進(jìn)行管理。在一個(gè)內(nèi)存塊里,數(shù)據(jù)是連續(xù)存放的,但塊與塊是不連續(xù)的,因此思極有容時(shí)序數(shù)據(jù)庫為每一個(gè)表在內(nèi)存里建立有塊的索引,以方便寫入和查詢。

數(shù)據(jù)寫入硬盤是以添加日志的方式進(jìn)行的,以求大幅提高落盤的速度。為避免合并操作,每個(gè)采集點(diǎn)(表)的數(shù)據(jù)也是按塊存儲(chǔ),在一個(gè)塊內(nèi),數(shù)據(jù)點(diǎn)是按列連續(xù)存放的,但塊與塊之間可以不是連續(xù)的。思極有容時(shí)序數(shù)據(jù)庫對(duì)每張表會(huì)維護(hù)一索引,保存每個(gè)數(shù)據(jù)塊在文件中的偏移量,起始時(shí)間、數(shù)據(jù)點(diǎn)數(shù)、壓縮算法等信息。每個(gè)數(shù)據(jù)文件僅僅保存固定一段時(shí)間的數(shù)據(jù)(比如一周,可以配置),因此一個(gè)表的數(shù)據(jù)會(huì)分布在多個(gè)數(shù)據(jù)文件中。查詢時(shí),根據(jù)給定的時(shí)間段,思極有容時(shí)序數(shù)據(jù)庫將計(jì)算出查找的數(shù)據(jù)會(huì)在哪個(gè)數(shù)據(jù)文件,然后讀取。這樣大幅減少了硬盤操作次數(shù)。多個(gè)數(shù)據(jù)文件的設(shè)計(jì)還有利于數(shù)據(jù)同步、數(shù)據(jù)恢復(fù)、數(shù)據(jù)自動(dòng)刪除操作,更有利于數(shù)據(jù)按照新舊程度在不同物理介質(zhì)上存儲(chǔ),比如最新的數(shù)據(jù)存放在SSD盤上,最老的數(shù)據(jù)存放在大容量但慢速的硬盤上。通過這樣的設(shè)計(jì),思極有容時(shí)序數(shù)據(jù)庫將硬盤的隨機(jī)讀取幾乎降為零,從而大幅提升寫入和查詢效率,讓思極有容時(shí)序數(shù)據(jù)庫在很廉價(jià)的存儲(chǔ)設(shè)備上也有超強(qiáng)的性能。

為減少文件個(gè)數(shù),一個(gè)虛擬節(jié)點(diǎn)內(nèi)的所有表在同一時(shí)間段的數(shù)據(jù)都是存儲(chǔ)在同一個(gè)數(shù)據(jù)文件里,而不是一張表一個(gè)數(shù)據(jù)文件。但是對(duì)于一個(gè)數(shù)據(jù)節(jié)點(diǎn),每個(gè)虛擬節(jié)點(diǎn)都會(huì)有自己獨(dú)立的數(shù)據(jù)文件。

5?數(shù)據(jù)分區(qū)、水平擴(kuò)展

為處理每日高達(dá)數(shù)億條的海量數(shù)據(jù),數(shù)據(jù)必須在多個(gè)節(jié)點(diǎn)存放。在思極有容時(shí)序數(shù)據(jù)庫里,數(shù)據(jù)是按照每個(gè)采集點(diǎn)(表)來存放的。一張表(一個(gè)采集點(diǎn))的數(shù)據(jù),即使每秒產(chǎn)生一百個(gè)字節(jié)的數(shù)據(jù)量,一年也才3G的數(shù)據(jù)量,壓縮后,往往還不到300M,因此在思極有容時(shí)序數(shù)據(jù)庫里,一個(gè)表的數(shù)據(jù)是不跨節(jié)點(diǎn)存儲(chǔ)的,以便于單張表的快速高效的插入、查詢和計(jì)算。

為更好的數(shù)據(jù)分區(qū),思極有容時(shí)序數(shù)據(jù)庫采用了虛擬數(shù)據(jù)節(jié)點(diǎn)的設(shè)計(jì)。一個(gè)虛擬數(shù)據(jù)節(jié)點(diǎn)包含多個(gè)表,表的數(shù)量可以配置。根據(jù)其計(jì)算和存儲(chǔ)資源,一個(gè)物理節(jié)點(diǎn)將被劃分為多個(gè)虛擬數(shù)據(jù)節(jié)點(diǎn)。虛擬數(shù)據(jù)節(jié)點(diǎn)的設(shè)計(jì)帶來幾大優(yōu)勢(shì):

1)更好的支持硬件異構(gòu)環(huán)境,資源多的服務(wù)器可以創(chuàng)建更多的虛擬節(jié)點(diǎn);

2)恢復(fù)一個(gè)宕機(jī)的節(jié)點(diǎn),可以讓眾多的其他節(jié)點(diǎn)參與進(jìn)來,大大加快速度;

3)如果撤掉一個(gè)數(shù)據(jù)節(jié)點(diǎn),該節(jié)點(diǎn)上的虛擬節(jié)點(diǎn)將被相當(dāng)均勻的遷移到其他節(jié)點(diǎn)上去;

4)新增一個(gè)數(shù)據(jù)節(jié)點(diǎn),負(fù)載過熱的節(jié)點(diǎn)的上的部分虛擬節(jié)點(diǎn)將被整體遷移過來。這一切讓負(fù)載更加均衡,讓數(shù)據(jù)同步變得更加高效。

與傳統(tǒng)的數(shù)據(jù)庫相似,用戶可以創(chuàng)建多個(gè)數(shù)據(jù)庫,每個(gè)庫里面,可以創(chuàng)建多個(gè)表。一個(gè)庫可以橫跨多個(gè)虛擬數(shù)據(jù)節(jié)點(diǎn),但一個(gè)虛擬數(shù)據(jù)節(jié)點(diǎn)僅僅屬于一個(gè)數(shù)據(jù)庫。當(dāng)用戶添加一個(gè)表時(shí),管理節(jié)點(diǎn)將查看已經(jīng)分配的虛擬節(jié)點(diǎn)里是否還有空位,如果有,就將該表分配到這虛擬節(jié)點(diǎn)。如果這個(gè)庫的所有虛擬節(jié)點(diǎn)都沒有空位,管理節(jié)點(diǎn)將根據(jù)負(fù)載均衡的策略(隨機(jī)、輪詢等)來分配一個(gè)新的虛擬節(jié)點(diǎn)給該庫,然后將該表分配到新的虛擬節(jié)點(diǎn)里。由于一臺(tái)物理主機(jī)有多個(gè)虛擬數(shù)據(jù)節(jié)點(diǎn),這種策略能保證負(fù)載均勻分布。

管理節(jié)點(diǎn)負(fù)責(zé)整個(gè)系統(tǒng)的負(fù)載均衡,包括虛擬數(shù)據(jù)節(jié)點(diǎn)的增加、刪除、遷移、合并與拆分。管理節(jié)點(diǎn)并不保存每個(gè)采集點(diǎn)采集的數(shù)據(jù),只是管理虛擬節(jié)點(diǎn),即使宕機(jī),也不會(huì)影響現(xiàn)有各虛擬節(jié)點(diǎn)的數(shù)據(jù)插入和查詢操作。各個(gè)采集點(diǎn)或應(yīng)用從管理節(jié)點(diǎn)獲取分配的虛擬數(shù)據(jù)節(jié)點(diǎn)信息后,然后直接與虛擬數(shù)據(jù)節(jié)點(diǎn)通訊,直接將數(shù)據(jù)插入數(shù)據(jù)庫,對(duì)于查詢操作也是如此。因此,系統(tǒng)容量以及吞吐率與虛擬數(shù)據(jù)節(jié)點(diǎn)的個(gè)數(shù)成正比,整個(gè)系統(tǒng)是水平擴(kuò)展的

6?高可靠系統(tǒng)

為保證數(shù)據(jù)節(jié)點(diǎn)的高可靠性,思極有容時(shí)序數(shù)據(jù)庫引入了虛擬數(shù)據(jù)節(jié)點(diǎn)組的概念,并采用異步的方式進(jìn)行數(shù)據(jù)同步。一個(gè)虛擬節(jié)點(diǎn)組由處于不同物理主機(jī)上的虛擬數(shù)據(jù)節(jié)點(diǎn)組成,虛擬數(shù)據(jù)節(jié)點(diǎn)個(gè)數(shù)就是數(shù)據(jù)冗余的個(gè)數(shù)(Replication?Factor,一般大于2)。在一個(gè)虛擬節(jié)點(diǎn)組里,各個(gè)虛擬數(shù)據(jù)節(jié)點(diǎn)通過心跳包實(shí)時(shí)知道對(duì)方的狀態(tài)。如果一個(gè)虛擬數(shù)據(jù)節(jié)點(diǎn)收到數(shù)據(jù)寫入的請(qǐng)求,該請(qǐng)求會(huì)被立即轉(zhuǎn)發(fā)給其他虛擬數(shù)據(jù)節(jié)點(diǎn),然后在本地存儲(chǔ)處理。當(dāng)應(yīng)用連接思極有容時(shí)序數(shù)據(jù)庫系統(tǒng)時(shí),對(duì)于要操作的任何一張表,系統(tǒng)會(huì)給應(yīng)用提供該表所屬的虛擬數(shù)據(jù)節(jié)點(diǎn)組里各個(gè)虛擬節(jié)點(diǎn)的IP地址(如果replication?factor為3,就會(huì)有3個(gè)IP地址),如果鏈接其中一個(gè)失敗或者操作失敗,應(yīng)用會(huì)嘗試第二個(gè)、第三個(gè),只有所有節(jié)點(diǎn)失敗才會(huì)返回失敗。這樣保證虛擬數(shù)據(jù)節(jié)點(diǎn)組里任何一臺(tái)機(jī)器宕機(jī),都不會(huì)影響對(duì)外的服務(wù)。這些復(fù)雜的重新連接流程都被思極有容時(shí)序數(shù)據(jù)庫?Driver包裝隱藏起來,應(yīng)用開發(fā)者無需寫程序來實(shí)現(xiàn)。

為保證效率,思極有容時(shí)序數(shù)據(jù)庫采取異步方式實(shí)現(xiàn)多個(gè)副本之間的實(shí)時(shí)數(shù)據(jù)同步,采取的是最終一致性,而不是強(qiáng)一致。當(dāng)一臺(tái)主機(jī)重啟時(shí),每個(gè)虛擬數(shù)據(jù)節(jié)點(diǎn)都會(huì)檢查自己數(shù)據(jù)的版本是否與其他虛擬節(jié)點(diǎn)一致,如果版本不一致,需要同步后才能進(jìn)入對(duì)外服務(wù)狀態(tài)。在運(yùn)行過程中,由于各種原因,數(shù)據(jù)仍然可以失去同步,這種不同步會(huì)在收到轉(zhuǎn)發(fā)的寫入請(qǐng)求時(shí)被發(fā)現(xiàn),一旦被發(fā)現(xiàn),版本低的虛擬數(shù)據(jù)節(jié)點(diǎn)將馬上停止對(duì)外服務(wù),進(jìn)入同步流程,同步完后,才會(huì)重新恢復(fù)對(duì)外服務(wù)。同步過程中,高版本的節(jié)點(diǎn)還可以正常的對(duì)外提供服務(wù)。

管理節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)Meta數(shù)據(jù),同時(shí)根據(jù)每個(gè)數(shù)據(jù)節(jié)點(diǎn)狀態(tài)來負(fù)責(zé)負(fù)載均衡,因此也要保證其高可靠性。多個(gè)虛擬管理節(jié)點(diǎn)組成一個(gè)虛擬管理節(jié)點(diǎn)組,因?yàn)镸eta數(shù)據(jù)可以被多個(gè)應(yīng)用同時(shí)更新,因此思極有容時(shí)序數(shù)據(jù)庫采用的是Master-Slave模式實(shí)現(xiàn)虛擬管理節(jié)點(diǎn)的數(shù)據(jù)同步。寫的操作,只有Slave節(jié)點(diǎn)寫入成功后,Master節(jié)點(diǎn)才會(huì)返回成功,從而保證數(shù)據(jù)的強(qiáng)一致性。如果Master節(jié)點(diǎn)宕機(jī),系統(tǒng)有機(jī)制保證其中一個(gè)Slave會(huì)立即被選舉為Master,?從而保證系統(tǒng)寫操作的高可靠性。

由于Meta數(shù)據(jù)量并不大,Meta數(shù)據(jù)雖然需持久化存儲(chǔ),但將其完全保存在內(nèi)存,以保證查詢操作的高效。在應(yīng)用側(cè),為避免每次數(shù)據(jù)操作都訪問管理節(jié)點(diǎn),思極有容時(shí)序數(shù)據(jù)庫?Driver將必要的Meta數(shù)據(jù)都會(huì)緩存在本地,只有當(dāng)需要的Meta數(shù)據(jù)不存在或失效的情況下,才會(huì)訪問管理節(jié)點(diǎn),這樣大大提高系統(tǒng)性能。

管理節(jié)點(diǎn)在集群中存在,但對(duì)于應(yīng)用和系統(tǒng)管理員而言,是完全透明的。整個(gè)系統(tǒng)會(huì)自動(dòng)在物理節(jié)點(diǎn)上創(chuàng)建虛擬管理節(jié)點(diǎn)以及虛擬管理節(jié)點(diǎn)組。

7?STable:多表聚合

各個(gè)數(shù)據(jù)采集點(diǎn)的時(shí)鐘是很難同步的,為保證其時(shí)序,而且為保證單一采集點(diǎn)的數(shù)據(jù)在存儲(chǔ)介質(zhì)上的連續(xù)性,思極有容時(shí)序數(shù)據(jù)庫要求每個(gè)數(shù)據(jù)采集點(diǎn)單獨(dú)建表,這樣能極大提高數(shù)據(jù)的插入速度以及查詢速度,但是這將導(dǎo)致系統(tǒng)表的數(shù)量猛增,讓應(yīng)用對(duì)表的維護(hù)以及聚合、統(tǒng)計(jì)操作難度加大。為降低應(yīng)用的開發(fā)難度,思極有容時(shí)序數(shù)據(jù)庫引入了STable超級(jí)表的概念。

STable是表的集合,包含多張表,而且這個(gè)集合里每張表的Schema是一樣的。同一類型的采集設(shè)備可創(chuàng)建一個(gè)STable。與表一樣,包含Schema,但還包含標(biāo)簽信息。Schema定義了表的每列數(shù)據(jù)的屬性,如溫度、壓力等,而標(biāo)簽信息是靜態(tài)的,屬于Meta?Data,如采集設(shè)備的型號(hào)、位置等。思極有容時(shí)序數(shù)據(jù)庫擴(kuò)展了標(biāo)準(zhǔn)SQL的table的定義,創(chuàng)建時(shí),除指定Schema外,還可以帶關(guān)鍵詞tags來指定有哪些標(biāo)簽。如:

create?table?m1(ts?timestamp,?pressure?int,?rpm?int)?tags?(model?binary(8),?color?binary(8))

上述SQL創(chuàng)建了一個(gè)STable?m1,?帶有標(biāo)簽model和標(biāo)簽color。為某一個(gè)具體的采集點(diǎn)創(chuàng)建表時(shí),可以指定其所屬的STable以及標(biāo)簽的值,比如:

create?table?t1?using?m1?tags?(‘a(chǎn)pple’,?‘red’)

上述SQL以STable?m1為模板,創(chuàng)建了一張表t1,這張表的Schema就是m1的Schema,但標(biāo)簽model設(shè)為apple,標(biāo)簽color設(shè)為red。插入數(shù)據(jù)時(shí),仍然按照正常的方式進(jìn)行插入。但查詢時(shí),除傳統(tǒng)的表的查詢外,還可以基于標(biāo)簽對(duì)STable進(jìn)行各種聚合查詢或統(tǒng)計(jì)。如:

select?avg(pressue)?from?m1?where?model=’apple’?interval(5m)?group?by?color

上面這個(gè)SQL語句表示將標(biāo)簽model值為apple的所有采集點(diǎn)的記錄的每5分鐘的平均值計(jì)算出來,并按照標(biāo)簽color進(jìn)行分組。

對(duì)于STable的查詢操作,完全與正常的表一樣。但一個(gè)定義的STable可以包含多張表(多個(gè)數(shù)據(jù)采集點(diǎn)),應(yīng)用可通過指定標(biāo)簽的過濾條件,對(duì)一個(gè)STable下的全部或部分表進(jìn)行聚合或統(tǒng)計(jì)操作,這樣大大簡化應(yīng)用的開發(fā)。其具體流程如下圖所示:

1)?、應(yīng)用將一個(gè)查詢條件發(fā)往系統(tǒng);

2)?、Driver將查詢的過濾條件發(fā)往Meta?Node(管理節(jié)點(diǎn));

3)?、管理節(jié)點(diǎn)將符合查詢過濾條件的表的列表發(fā)回Driver(包含每個(gè)表對(duì)應(yīng)的數(shù)據(jù)節(jié)點(diǎn)的IP地址);

4)?、這些返回的表可能分布在多個(gè)數(shù)據(jù)節(jié)點(diǎn),Driver將計(jì)算的請(qǐng)求發(fā)往相應(yīng)的多個(gè)數(shù)據(jù)節(jié)點(diǎn);

5)?、每個(gè)數(shù)據(jù)節(jié)點(diǎn)完成相應(yīng)的聚合計(jì)算,將結(jié)果返回給Driver;

6)?、Driver將多個(gè)數(shù)據(jù)節(jié)點(diǎn)返回的結(jié)果做最后的聚合,將其返回給應(yīng)用。

8?數(shù)據(jù)模型

思極有容時(shí)序數(shù)據(jù)庫采用的仍然是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的模型。用戶需要根據(jù)應(yīng)用場景,創(chuàng)建一到多個(gè)庫,然后在每個(gè)庫里創(chuàng)建多張表,創(chuàng)建表時(shí)需要定義Schema。對(duì)于同一類型的采集點(diǎn),為便于聚合統(tǒng)計(jì)操作,可以先定義超級(jí)表STable,然后再定義表。

不同的采集點(diǎn)往往具有不同的數(shù)據(jù)特征,比如有的采集點(diǎn)數(shù)據(jù)采集頻率高,有的數(shù)據(jù)保留時(shí)長較長,有的采集數(shù)據(jù)需要3份備份,而有的數(shù)據(jù)一份備份即可,有的采集點(diǎn)一條記錄很大,而有的采集點(diǎn)的記錄僅僅16個(gè)字節(jié),很小。為讓各種場景下思極有容時(shí)序數(shù)據(jù)庫都能最大效率的工作,思極有容時(shí)序數(shù)據(jù)庫建議將不同數(shù)據(jù)特征的表創(chuàng)建在不同的庫里。創(chuàng)建一個(gè)庫時(shí),除SQL標(biāo)準(zhǔn)的選項(xiàng)外,應(yīng)用還可以指定保留時(shí)長、數(shù)據(jù)備份的份數(shù)、cache大小、是否壓縮等多種參數(shù)。

思極有容時(shí)序數(shù)據(jù)庫對(duì)庫的數(shù)量、STable的數(shù)量以及表的數(shù)量沒有做任何限制,而且其多少不會(huì)對(duì)性能產(chǎn)生影響,應(yīng)用按照自己的場景創(chuàng)建即可。

9?實(shí)時(shí)流式計(jì)算

在存儲(chǔ)的原始數(shù)據(jù)上,思極有容時(shí)序數(shù)據(jù)庫可以做各種計(jì)算,目前支持的主要操作包括:

·?Avg:以每個(gè)采樣時(shí)間范圍內(nèi)的value的平均值作為結(jié)果

·?Dev:以每個(gè)采樣時(shí)間范圍內(nèi)的value的標(biāo)準(zhǔn)差作為結(jié)果

·?Count:以每個(gè)采樣時(shí)間范圍內(nèi)的點(diǎn)的數(shù)目作為結(jié)果

·?First:以每個(gè)采樣時(shí)間范圍內(nèi)的第一個(gè)value作為結(jié)果

·?Last:以每個(gè)采樣時(shí)間范圍內(nèi)的最后一個(gè)value作為結(jié)果

·?LeastSquares:對(duì)每個(gè)采樣時(shí)間范圍內(nèi)的value進(jìn)行最小二乘法的擬合

·?Max:以每個(gè)采樣時(shí)間范圍內(nèi)的value的最大值作為結(jié)果

·?Min:以每個(gè)采樣時(shí)間范圍內(nèi)的value的最小值作為結(jié)果

·?Percentile:每個(gè)采樣時(shí)間范圍內(nèi)的value的第p百分位數(shù)作為結(jié)果。

·?Sum:以每個(gè)采樣時(shí)間范圍內(nèi)的value的總和作為結(jié)果

·?Diff:以每兩個(gè)相鄰的value的差值作為結(jié)果

·?Div:以每個(gè)value除以一個(gè)除數(shù)作為結(jié)果

·?Scale:以每個(gè)value乘以一個(gè)倍數(shù)作為結(jié)果

·?基于多個(gè)采集點(diǎn)數(shù)據(jù)的四則運(yùn)算表達(dá)式

思極有容時(shí)序數(shù)據(jù)庫還可對(duì)一個(gè)或多個(gè)數(shù)據(jù)流進(jìn)行實(shí)時(shí)聚合、統(tǒng)計(jì)等計(jì)算,并將計(jì)算出的衍生數(shù)據(jù)當(dāng)做新的數(shù)據(jù)保存進(jìn)思極有容時(shí)序數(shù)據(jù)庫,以便后續(xù)的操作。實(shí)時(shí)計(jì)算與聚合查詢很類似,只是后臺(tái)定時(shí)進(jìn)行,并自動(dòng)滑動(dòng)計(jì)算窗口的起始點(diǎn)。工作方式與其他流式計(jì)算引擎的Sliding?Window相似。

實(shí)時(shí)計(jì)算可以通過一個(gè)簡單的創(chuàng)建表的操作來實(shí)現(xiàn)。如:

create?table?d1?as?select?avg?(pressure)?from?t1?interval?(60s)?sliding(10s)

上述SQL表示將表t1里字段pressure每10秒鐘(每次滑動(dòng)的時(shí)間間隔)將過去的60秒鐘(聚合計(jì)算的時(shí)間間隔)的數(shù)據(jù)平均值計(jì)算出來并寫入表d1。計(jì)算出的衍生數(shù)據(jù)可以與其他原始數(shù)據(jù)或計(jì)算出的衍生數(shù)據(jù)進(jìn)行再次計(jì)算。

10?便捷的安裝、部署、維護(hù)

思極有容時(shí)序數(shù)據(jù)庫是在Linux上開發(fā)的,任何Linux系統(tǒng)都可以運(yùn)行,而且不依賴任何第三方軟件,也不是在某個(gè)開源項(xiàng)目上包裝出來的產(chǎn)品。獲得安裝包并解壓后,只需執(zhí)行安裝腳本就一切搞定,極其簡單。

安裝后,會(huì)在安裝的機(jī)器上自動(dòng)創(chuàng)建虛擬數(shù)據(jù)節(jié)點(diǎn)和管理節(jié)點(diǎn),開發(fā)者就可以使用了,能滿足一般性的需求。但如果數(shù)據(jù)量大,就需要將軟件安裝到多臺(tái)主機(jī)。這時(shí)也只需要在每臺(tái)機(jī)器配置好Master?IP,?系統(tǒng)管理員打開思極有容時(shí)序數(shù)據(jù)庫Shell,?將新添加的主機(jī)添加進(jìn)系統(tǒng)即可。如果要撤銷一個(gè)物理節(jié)點(diǎn),登錄思極有容時(shí)序數(shù)據(jù)庫?Shell,?將其刪除即可,極其簡單。傳統(tǒng)數(shù)據(jù)庫所需要的數(shù)據(jù)分區(qū)、數(shù)據(jù)遷移等等都一概不存在。

因?yàn)閿?shù)據(jù)是自動(dòng)同步到多個(gè)節(jié)點(diǎn)的,系統(tǒng)管理員不用擔(dān)心數(shù)據(jù)的丟失,也不用制定備份和數(shù)據(jù)恢復(fù)策略,一切全自動(dòng)進(jìn)行。

如果軟件需要升級(jí),只要在思極有容時(shí)序數(shù)據(jù)庫Shell里將新版本上傳即可。管理節(jié)點(diǎn)將挨個(gè)把每個(gè)節(jié)點(diǎn)的軟件進(jìn)行升級(jí),而且整個(gè)系統(tǒng)的服務(wù)將不停止,服務(wù)不受任何影響。如果要更換設(shè)備,只需將其拔除,安裝上軟件后,將新設(shè)備重新插入即可。換言之,思極有容時(shí)序數(shù)據(jù)庫完全支持在線升級(jí)以及硬件的熱插拔,從而保證服務(wù)的7*24的不間斷運(yùn)行。

開發(fā)人員需要做的是定義表的結(jié)構(gòu),根據(jù)具體場景,配置好各種參數(shù),讓系統(tǒng)性能達(dá)到最優(yōu)。系統(tǒng)管理員只需要關(guān)注與硬件相關(guān)的報(bào)警信息,對(duì)于經(jīng)常出問題的服務(wù)器或硬盤,進(jìn)行更換而已。使用思極有容時(shí)序數(shù)據(jù)庫,?整個(gè)系統(tǒng)的運(yùn)維工作變得極為簡單,將大大降低運(yùn)營成本。

11?更多亮點(diǎn)

訂閱模式:與標(biāo)準(zhǔn)的數(shù)據(jù)庫不同,思極有容時(shí)序數(shù)據(jù)庫還提供一種訂閱模式。應(yīng)用程序可以訂閱數(shù)據(jù)庫某張表的內(nèi)容,一旦該表有新的記錄,應(yīng)用將立即得到通知。同一個(gè)表可以被多個(gè)應(yīng)用訂閱。與流行的消息中間件Kafka一樣,訂閱采取的是pull而不是push模式。Kafka的publish操作由數(shù)據(jù)庫插入操作代替。由于思極有容時(shí)序數(shù)據(jù)庫具有極高的插入速度,?通過采用訂閱模式,思極有容時(shí)序數(shù)據(jù)庫本身也可以作為一個(gè)消息隊(duì)列中間件來使用。

異步插入:為避免網(wǎng)絡(luò)延遲帶來的性能下降,更好的提高數(shù)據(jù)插入速度,思極有容時(shí)序數(shù)據(jù)庫還提供一組API讓應(yīng)用異步插入數(shù)據(jù)。當(dāng)應(yīng)用調(diào)用插入API時(shí),將立即得到反饋,等記錄成功插入后,思極有容時(shí)序數(shù)據(jù)庫將調(diào)用應(yīng)用提供的回調(diào)函數(shù)通知應(yīng)用。采用異步插入,性能將大幅提高。

Nagle算法:時(shí)序數(shù)據(jù)應(yīng)用場景里,每條記錄一般都很小,很多不到20字節(jié),因此整個(gè)系統(tǒng)處理的是大量的小數(shù)據(jù)包。為了更進(jìn)一步提高性能,減少網(wǎng)絡(luò)IO次數(shù),思極有容時(shí)序數(shù)據(jù)庫采用了類似TCP協(xié)議的Naggle算法,客戶端將緩存插入請(qǐng)求,只有記錄的大小超過一定的大小或者緩存時(shí)間超過100毫秒,被緩存的插入請(qǐng)求才會(huì)被發(fā)往系統(tǒng)。對(duì)于時(shí)間要求很高的應(yīng)用,該功能可以關(guān)閉。

12?參數(shù)指標(biāo)

·?支持?jǐn)?shù)據(jù)類型:tinyint,?smallint,?int,?bigint,?float,?double,?binary

·?單記錄最大長度:4096字節(jié)

·?最大記錄條數(shù):僅受存儲(chǔ)空間限制

·?最大表的個(gè)數(shù):僅受節(jié)點(diǎn)個(gè)數(shù)限制

·?最大數(shù)據(jù)備份數(shù):5份

·?單節(jié)點(diǎn)插入速度:3萬條/秒(單核,16字節(jié)每記錄,每次一條,無同步備份)

·?單節(jié)點(diǎn)查詢速度:2000萬條/秒(單核,16字節(jié)每記錄,全內(nèi)存)

·?更多指標(biāo)將陸續(xù)提供

13?應(yīng)用場景

思極有容時(shí)序數(shù)據(jù)庫作為一個(gè)基礎(chǔ)性的軟件,應(yīng)用范圍及其廣泛,原則上,所有使用機(jī)器、設(shè)備、傳感器采集數(shù)據(jù)的地方都可以用上。一些典型場景羅列如下:

·?公共安全:上網(wǎng)記錄、通話記錄、個(gè)體追蹤、區(qū)間篩選

·?電力行業(yè):智能電表、電網(wǎng)、發(fā)電設(shè)備的集中監(jiān)測(cè)

·?通訊行業(yè):話費(fèi)詳單、用戶行為、基站/通訊設(shè)備監(jiān)測(cè)

·?金融行業(yè):交易記錄、存取記錄、ATM、POS機(jī)監(jiān)測(cè)

·?出行工具:火車/汽車/出租/飛機(jī)/自行車的實(shí)時(shí)監(jiān)測(cè)

·?交通行業(yè):實(shí)時(shí)路況,路口流量監(jiān)測(cè),卡口數(shù)據(jù)

·?石油石化:油井、運(yùn)輸管線、運(yùn)輸車隊(duì)的實(shí)時(shí)監(jiān)測(cè)

·?互聯(lián)網(wǎng):服務(wù)器/應(yīng)用監(jiān)測(cè)、用戶訪問日志、廣告點(diǎn)擊日志

·?物流行業(yè):車輛、集裝箱的追蹤監(jiān)測(cè)

·?環(huán)境監(jiān)測(cè):天氣、空氣、水文、地質(zhì)環(huán)境等監(jiān)測(cè)

·?物聯(lián)網(wǎng):電梯、鍋爐、機(jī)械、水表、氣表等各種聯(lián)網(wǎng)設(shè)備

·?軍工行業(yè):各種軍事裝備的數(shù)據(jù)采集、存儲(chǔ)

·?制造業(yè):生產(chǎn)過程管控,流程數(shù)據(jù)、供應(yīng)鏈數(shù)據(jù)采集與分析

網(wǎng)頁鏈接?技術(shù)白皮書網(wǎng)頁鏈接請(qǐng)單擊查看!

智能電表怎樣編程

1、表計(jì)時(shí)間太久,按鈕氧化,接觸不良。導(dǎo)致按鍵無反應(yīng)。因?yàn)槟阏f你是表廠??梢杂描囎佣探泳幊贪粹o兩端??蛇M(jìn)入編程允許狀態(tài)。 2、如果1無法解決。可能程序跑亂。重新更新程序。

如何編程讀取智能電表的數(shù)據(jù)?

方 法:

/// summary

/// 只能通過CreateInstance方法來創(chuàng)建類的實(shí)例。單例模式

/// /summary

public static ElectricityMeter CreateInstance()

{

return _instance;

}

/// summary

/// 打開設(shè)備

/// /summary

/// param name="portName"串口號(hào)/param

/// param name="frm"調(diào)用這個(gè)類的窗體。/param

public void Open( string portName, Form frm )

{

try

{

// 初始化窗體對(duì)象

_frm = frm;

_frm.FormClosing += new FormClosingEventHandler( _frm_FormClosing );

//初始化SerialPort對(duì)象

_serialPort.PortName = portName;

_serialPort.BaudRate = 2400; // 請(qǐng)將設(shè)備的波特率設(shè)置為此。

_serialPort.DataBits = 8;

_serialPort.StopBits = StopBits.One;

_serialPort.Parity = Parity.Even;

_serialPort.Open();

}

catch( Exception e )

{

MessageBox.Show( e.Message );

}

}

/// summary

/// 關(guān)閉設(shè)備。

/// /summary

public void Close()

{

if( _serialPort.IsOpen == true )

{

_serialPort.Close();

_serialPort.Dispose();

}

}

/// summary

/// 獲取耗電量

/// /summary

public Decimal GetPowerConsumption()

{

if( _serialPort.IsOpen == true )

{

// 十六進(jìn)制的命令字符串

string strCmd = "68 AA AA AA AA AA AA 68 11 04 33 33 33 33 AD 16";

// 轉(zhuǎn)換為十六進(jìn)制的字節(jié)數(shù)組

string[] strs = strCmd.Split( new char[] { ' ' } ); // 空格分組

byte[] cmdBytes = new byte[ strs.Length ];

// 轉(zhuǎn)換為十進(jìn)制的字節(jié)數(shù)組

for( int i = 0; i cmdBytes.Length; i++ ) {

cmdBytes[ i ] = Convert.ToByte( strs[ i ], 16 ); // 16進(jìn)制轉(zhuǎn)換為10進(jìn)制

}

_serialPort.Write( cmdBytes, 0, cmdBytes.Length );

System.Threading.Thread.Sleep( 500 ); // 500ms內(nèi)應(yīng)當(dāng)有響應(yīng)

byte[] resultBytes = new byte[ 21 ]; // 容量為21的字節(jié)數(shù)組

_serialPort.Read( resultBytes, 0, resultBytes.Length );

string n1 = Convert.ToString( resultBytes[ 18 ] - 51, 16 ); // 將十進(jìn)制轉(zhuǎn)成16進(jìn)制的字符串

string n2 = Convert.ToString( resultBytes[ 17 ] - 51, 16 ); // 將十進(jìn)制轉(zhuǎn)成16進(jìn)制的字符串

string n3 = Convert.ToString( resultBytes[ 16 ] - 51, 16 ); // 將十進(jìn)制轉(zhuǎn)成16進(jìn)制的字符串

string n4 = Convert.ToString( resultBytes[ 15 ] - 51, 16 ); // 將十進(jìn)制轉(zhuǎn)成16進(jìn)制的字符串

string resultString = n1 + n2 + n3 + "." + n4;

return Decimal.Parse( resultString );

}

else

{

throw new Exception( "串口沒有打開" );

}

}

/// summary

/// 在窗體關(guān)閉的時(shí)候關(guān)閉串口連接。

/// /summary

/// param name="sender"/param

/// param name="e"/param

void _frm_FormClosing( object sender, FormClosingEventArgs e )

{

this.Close();

}

}

租寶電表為啥這么快

電壓太高的話,電表就會(huì)走得快。

租寶APP是由浙江掌上租房科技有限公司開發(fā)的租寶智能(水表、電表、燃?xì)獗?、門鎖)操作系統(tǒng)。

租寶(用于遠(yuǎn)程控制設(shè)備的app):

租寶是原創(chuàng)遠(yuǎn)程智能電表,遠(yuǎn)程智能水表,遠(yuǎn)程智能燃?xì)獗?,遠(yuǎn)程智能門鎖為一體化的公寓管理智能設(shè)備及系統(tǒng),實(shí)現(xiàn)首創(chuàng)水表,電表,燃?xì)獗黹T鎖一體化的智能系統(tǒng),智能租房遠(yuǎn)程開合閘,遠(yuǎn)程預(yù)付費(fèi),員工權(quán)限管理,短信通知等功能。


網(wǎng)頁名稱:智能電表開發(fā)go語言 智能電表開發(fā)go語言是什么
本文URL:http://weahome.cn/article/hhpojj.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部