暈了，你升級(jí)做什么?
創(chuàng)新互聯(lián)公司是一家專注于網(wǎng)站制作、成都網(wǎng)站制作與策劃設(shè)計(jì),德安網(wǎng)站建設(shè)哪家好?創(chuàng)新互聯(lián)公司做網(wǎng)站,專注于網(wǎng)站建設(shè)10余年,網(wǎng)設(shè)計(jì)領(lǐng)域的專業(yè)建站公司;建站業(yè)務(wù)涵蓋:德安等地區(qū)。德安做網(wǎng)站價(jià)格咨詢:18982081108
數(shù)據(jù)庫(kù)軟件是最復(fù)雜 的軟件，升級(jí)的事太多了。
你現(xiàn)在先把原數(shù)據(jù)目錄下的所有文件備份一份。最重要。
然后退回到舊的版本，看數(shù)據(jù)還在不在。
DataX 是阿里云 DataWorks數(shù)據(jù)集成 的開源版本，在阿里巴巴集團(tuán)內(nèi)被廣泛使用的離線數(shù)據(jù)同步工具/平臺(tái)。DataX 實(shí)現(xiàn)了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各種異構(gòu)數(shù)據(jù)源之間高效的數(shù)據(jù)同步功能。
產(chǎn)品特點(diǎn)
DataX本身作為數(shù)據(jù)同步框架，將不同數(shù)據(jù)源的同步抽象為從源頭數(shù)據(jù)源讀取數(shù)據(jù)的Reader插件，以及向目標(biāo)端寫入數(shù)據(jù)的Writer插件，理論上DataX框架可以支持任意數(shù)據(jù)源類型的數(shù)據(jù)同步工作。同時(shí)DataX插件體系作為一套生態(tài)系統(tǒng), 每接入一套新數(shù)據(jù)源該新加入的數(shù)據(jù)源即可實(shí)現(xiàn)和現(xiàn)有的數(shù)據(jù)源互通。
產(chǎn)品優(yōu)勢(shì)
可靠的數(shù)據(jù)質(zhì)量監(jiān)控
完美解決數(shù)據(jù)傳輸個(gè)別類型失真問題
DataX舊版對(duì)于部分?jǐn)?shù)據(jù)類型(比如時(shí)間戳)傳輸一直存在毫秒階段等數(shù)據(jù)失真情況，新版本DataX3.0已經(jīng)做到支持所有的強(qiáng)數(shù)據(jù)類型，每一種插件都有自己的數(shù)據(jù)類型轉(zhuǎn)換策略，讓數(shù)據(jù)可以完整無(wú)損的傳輸?shù)侥康亩恕?/p>
提供作業(yè)全鏈路的流量、數(shù)據(jù)量?運(yùn)行時(shí)監(jiān)控
DataX3.0運(yùn)行過(guò)程中可以將作業(yè)本身狀態(tài)、數(shù)據(jù)流量、數(shù)據(jù)速度、執(zhí)行進(jìn)度等信息進(jìn)行全面的展示，讓用戶可以實(shí)時(shí)了解作業(yè)狀態(tài)。并可在作業(yè)執(zhí)行過(guò)程中智能判斷源端和目的端的速度對(duì)比情況，給予用戶更多性能排查信息。
提供臟數(shù)據(jù)探測(cè)
在大量數(shù)據(jù)的傳輸過(guò)程中，必定會(huì)由于各種原因?qū)е潞芏鄶?shù)據(jù)傳輸報(bào)錯(cuò)(比如類型轉(zhuǎn)換錯(cuò)誤)，這種數(shù)據(jù)DataX認(rèn)為就是臟數(shù)據(jù)。DataX目前可以實(shí)現(xiàn)臟數(shù)據(jù)精確過(guò)濾、識(shí)別、采集、展示，為用戶提供多種的臟數(shù)據(jù)處理模式，讓用戶準(zhǔn)確把控?cái)?shù)據(jù)質(zhì)量大關(guān)！
豐富的數(shù)據(jù)轉(zhuǎn)換功能
DataX作為一個(gè)服務(wù)于大數(shù)據(jù)的ETL工具，除了提供數(shù)據(jù)快照搬遷功能之外，還提供了豐富數(shù)據(jù)轉(zhuǎn)換的功能，讓數(shù)據(jù)在傳輸過(guò)程中可以輕松完成數(shù)據(jù)脫敏，補(bǔ)全，過(guò)濾等數(shù)據(jù)轉(zhuǎn)換功能，另外還提供了自動(dòng)groovy函數(shù)，讓用戶自定義轉(zhuǎn)換函數(shù)。詳情請(qǐng)看DataX3的transformer詳細(xì)介紹。
身份證號(hào)脫敏處理一般隱藏哪幾位
身份證號(hào)脫敏處理，一般情況下是隱藏年月日那六位數(shù)字
1）、數(shù)據(jù)脫敏是“指對(duì)某些敏感信息通過(guò)脫敏規(guī)則進(jìn)行數(shù)據(jù)的變形，實(shí)現(xiàn)敏感隱私數(shù)據(jù)的可靠保護(hù)。在涉及客戶安全數(shù)據(jù)或者一些商業(yè)性敏感數(shù)據(jù)的情況下，在不違反系統(tǒng)規(guī)則條件下，對(duì)真實(shí)數(shù)據(jù)進(jìn)行改造并提供測(cè)試使用，如身份證號(hào)、手機(jī)號(hào)、卡號(hào)、客戶號(hào)等個(gè)人信息都需要進(jìn)行數(shù)據(jù)脫敏。是數(shù)據(jù)庫(kù)安全技術(shù)之一?！?/p>
2）、本文介紹的脫敏數(shù)據(jù)報(bào)表查詢將利用潤(rùn)乾集算器編寫 SPL 腳本，對(duì)敏感信息字段 (如: 姓名、證件號(hào)、銀行賬戶、住址、電話號(hào)碼、企業(yè)名稱、工商注冊(cè)號(hào)、納稅人識(shí)別號(hào)) 等通過(guò)預(yù)定義的脫敏規(guī)則進(jìn)行數(shù)據(jù)脫敏、變形，實(shí)現(xiàn)敏感隱私數(shù)據(jù)的保護(hù)。
3）、潤(rùn)乾集算器能使脫敏工作變得的簡(jiǎn)單易行，同時(shí)可以減少大量重復(fù)性工作。通過(guò)集算器 SPL 腳本實(shí)現(xiàn)的脫敏數(shù)據(jù)，可直接作為報(bào)表數(shù)據(jù)集進(jìn)行查詢分析，也可以作為開發(fā)、測(cè)試和其它非生產(chǎn)環(huán)境或外包環(huán)境下的真實(shí)數(shù)據(jù)集使用。
1.1 數(shù)據(jù)脫敏介紹
根據(jù)百度詞條的解釋，數(shù)據(jù)脫敏是“指對(duì)某些敏感信息通過(guò)脫敏規(guī)則進(jìn)行數(shù)據(jù)的變形，實(shí)現(xiàn)敏感隱私數(shù)據(jù)的可靠保護(hù)。在涉及客戶安全數(shù)據(jù)或者一些商業(yè)性敏感數(shù)據(jù)的情況下，在不違反系統(tǒng)規(guī)則條件下，對(duì)真實(shí)數(shù)據(jù)進(jìn)行改造并提供測(cè)試使用，如身份證號(hào)、手機(jī)號(hào)、卡號(hào)、客戶號(hào)等個(gè)人信息都需要進(jìn)行數(shù)據(jù)脫敏。是數(shù)據(jù)庫(kù)安全技術(shù)之一，數(shù)據(jù)庫(kù)安全技術(shù)主要包括：數(shù)據(jù)庫(kù)漏掃、數(shù)據(jù)庫(kù)加密、數(shù)據(jù)庫(kù)防火墻、數(shù)據(jù)脫敏、數(shù)據(jù)庫(kù)安全審計(jì)系統(tǒng)?！?/p>
隨著信息時(shí)代的發(fā)展，我們對(duì)數(shù)據(jù)信息的安全要求越來(lái)越重視，比如對(duì)非生產(chǎn)環(huán)境下的敏感數(shù)據(jù)的脫敏保護(hù)。在金融、運(yùn)營(yíng)商、政府、能源等部門，非生產(chǎn)環(huán)境下數(shù)據(jù)脫敏已列入監(jiān)管部門的法規(guī)要求。非生產(chǎn)環(huán)境數(shù)據(jù)多用于開發(fā)、測(cè)試、培訓(xùn)以及第三方數(shù)據(jù)分析、挖掘，如果不能有效實(shí)施敏感數(shù)據(jù)保護(hù)，極易造成敏感數(shù)據(jù)的泄露。所以，保證非生產(chǎn)數(shù)據(jù)的安全已經(jīng)成為一個(gè)重要的課題，要求我們能夠通過(guò)對(duì)敏感信息進(jìn)行脫敏、變形，實(shí)現(xiàn)有效的數(shù)據(jù)保護(hù)。
1.2 對(duì)數(shù)據(jù)脫敏工具的要求
數(shù)據(jù)脫敏工具應(yīng)該具有對(duì)多種異構(gòu)數(shù)據(jù)源的支持，從而將一個(gè)脫敏規(guī)則應(yīng)用于不同的數(shù)據(jù)源，比如針對(duì)“客戶名稱”字段的修改，脫敏規(guī)則基本一致，所以應(yīng)該可以在 Excel、TXT、Oracle、MS SQLServer、MySQL、Hadoop 等數(shù)據(jù)源上直接引用。另外，工具還應(yīng)支持將脫敏數(shù)據(jù)完全不落地分發(fā)，提供文件到文件、文件到數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)到數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)到文件等方式，并且不需要在生產(chǎn)系統(tǒng)或本地安裝任何客戶端。
本文介紹的脫敏數(shù)據(jù)報(bào)表查詢將利用潤(rùn)乾集算器編寫 SPL 腳本，對(duì)敏感信息字段 ( 如: 姓名、證件號(hào)、銀行賬戶、住址、電話號(hào)碼、企業(yè)名稱、工商注冊(cè)號(hào)、納稅人識(shí)別號(hào)) 等通過(guò)預(yù)定義的脫敏規(guī)則進(jìn)行數(shù)據(jù)脫敏、變形，實(shí)現(xiàn)敏感隱私數(shù)據(jù)的保護(hù)。
潤(rùn)乾集算器能使脫敏工作變得的簡(jiǎn)單易行，同時(shí)可以減少大量重復(fù)性工作。通過(guò)集算器 SPL 腳本實(shí)現(xiàn)的脫敏數(shù)據(jù)，可直接作為報(bào)表數(shù)據(jù)集進(jìn)行查詢分析，也可以作為開發(fā)、測(cè)試和其它非生產(chǎn)環(huán)境或外包環(huán)境下的真實(shí)數(shù)據(jù)集使用。
1.3 脫敏數(shù)據(jù)的特征
數(shù)據(jù)脫敏不僅要執(zhí)行數(shù)據(jù)漂白，抹去數(shù)據(jù)中的敏感內(nèi)容，同時(shí)也需要保持原有的數(shù)據(jù)特征、業(yè)務(wù)規(guī)則和數(shù)據(jù)關(guān)聯(lián)性，保證開發(fā)、測(cè)試、培訓(xùn)以及大數(shù)據(jù)類業(yè)務(wù)不會(huì)受到脫敏的影響，達(dá)成脫敏前后的數(shù)據(jù)一致性和有效性：
l 保持原有數(shù)據(jù)特征
數(shù)據(jù)脫敏前后必須保證數(shù)據(jù)特征的保持，例如：身份證號(hào)碼由十七位數(shù)字本體碼和一位校驗(yàn)碼組成，分別為區(qū)域地址碼（6 位）、出生日期（8 位）、順序碼（3 位）和校驗(yàn)碼（1 位）。那么身份證號(hào)碼的脫敏規(guī)就需要保證脫敏后依舊保持這些特征信息。
l 保持?jǐn)?shù)據(jù)之間的一致性
在不同業(yè)務(wù)中，數(shù)據(jù)和數(shù)據(jù)之間具有一定的關(guān)聯(lián)性。例如：出生年月或年齡和出生日期之間的關(guān)系。同樣，身份證信息脫敏后仍需要保證出生年月字段和身份證中包含的出生日期之間的一致性。
l 保持業(yè)務(wù)規(guī)則的關(guān)聯(lián)性
保持?jǐn)?shù)據(jù)業(yè)務(wù)規(guī)則的關(guān)聯(lián)性是指數(shù)據(jù)脫敏時(shí)數(shù)據(jù)關(guān)聯(lián)性以及業(yè)務(wù)語(yǔ)義等保持不變，其中數(shù)據(jù)關(guān)聯(lián)性包括：主、外鍵關(guān)聯(lián)性、關(guān)聯(lián)字段的業(yè)務(wù)語(yǔ)義關(guān)聯(lián)性等。特別是高度敏感的賬戶類主體數(shù)據(jù)往往會(huì)貫穿主體的所有關(guān)系和行為信息，因此需要特別注意保證所有相關(guān)主體信息的一致性。
l 多次脫敏之間的數(shù)據(jù)一致性
相同的數(shù)據(jù)進(jìn)行多次脫敏，或者在不同的測(cè)試系統(tǒng)進(jìn)行脫敏，需要確保每次脫敏的數(shù)據(jù)始終保持一致性，只有這樣才能保障業(yè)務(wù)系統(tǒng)數(shù)據(jù)變更的持續(xù)一致性以及廣義業(yè)務(wù)的持續(xù)一致性。
1.4 數(shù)據(jù)脫敏應(yīng)用場(chǎng)景
一般常見的數(shù)據(jù)脫敏場(chǎng)景，是將生產(chǎn)數(shù)據(jù)或是生產(chǎn)數(shù)據(jù)文件按照脫敏規(guī)則，將數(shù)據(jù)不落地脫敏至測(cè)試數(shù)據(jù)庫(kù)或是測(cè)試數(shù)據(jù)文件中，具體如下所示：
使用集算器的 SPL 可以按照業(yè)務(wù)場(chǎng)景要求自行定義和編寫脫敏規(guī)則，比如針對(duì)上面的人員信息：姓名、身份證號(hào)、地址、電話號(hào)碼、卡號(hào)等進(jìn)行不落地脫敏，滿足數(shù)據(jù)脫敏需要。
集算器是一個(gè)無(wú)框架，可快速部署開發(fā)的數(shù)據(jù)計(jì)算中間件工具，能夠直接運(yùn)行編寫好的 SPL 數(shù)據(jù)脫敏腳本即時(shí)進(jìn)行數(shù)據(jù)脫敏，支持各種常見的數(shù)據(jù)脫敏的處理方式，包括數(shù)據(jù)替換、無(wú)效化、隨機(jī)化、偏移和取整、掩碼屏蔽、靈活編碼等，本文介紹的數(shù)據(jù)脫敏方法都可以在實(shí)際應(yīng)用中混合替換使用
重慶分公司
重慶分公司
