datastage操作流程

文檔創(chuàng)建人： 月夜楓

創(chuàng)新互聯(lián)是一家集網(wǎng)站建設(shè),曲松企業(yè)網(wǎng)站建設(shè),曲松品牌網(wǎng)站建設(shè),網(wǎng)站定制,曲松網(wǎng)站建設(shè)報(bào)價(jià),網(wǎng)絡(luò)營銷,網(wǎng)絡(luò)優(yōu)化,曲松網(wǎng)站推廣為一體的創(chuàng)新建站企業(yè)，幫助傳統(tǒng)企業(yè)提升企業(yè)形象加強(qiáng)企業(yè)競(jìng)爭(zhēng)力?？沙浞譂M足這一群體相比中小企業(yè)更為豐富、高端、多元的互聯(lián)網(wǎng)需求。同時(shí)我們時(shí)刻保持專業(yè)、時(shí)尚、前沿，時(shí)刻以成就客戶成長自我，堅(jiān)持不斷學(xué)習(xí)、思考、沉淀、凈化自己，讓我們?yōu)楦嗟钠髽I(yè)打造出實(shí)用型網(wǎng)站。

日期：20180112

版本：V1.0

1、處理文件

本次項(xiàng)目的源文件來源于10.126.124.39服務(wù)器，39服務(wù)器并未開啟ftp功能，但是開啟了目錄共享功能.

1.1、使用bat批處理腳本先將源數(shù)據(jù)拷貝到本地服務(wù)器10.126.124.14中

1.2、同時(shí)將多個(gè)文件進(jìn)行合并，方便后續(xù)datastage調(diào)用，提高效率，否則需要多次運(yùn)行datastage中job

2、創(chuàng)建job，準(zhǔn)備全局job參數(shù)

創(chuàng)建job，對(duì)job進(jìn)行參數(shù)配置，主要包含：鏈接服務(wù)器參數(shù)，鏈接數(shù)據(jù)庫參數(shù)，在數(shù)據(jù)轉(zhuǎn)換過程中需要的系統(tǒng)參數(shù)

3、創(chuàng)建ftp源組件

3.1、在job界面，palette欄，獲取一個(gè)process相關(guān)組件Ftp,設(shè)置 properties參數(shù)

注：connect參數(shù)是源文件所在服務(wù)器的ftp的登陸賬號(hào)密碼，需要網(wǎng)絡(luò)管理員設(shè)置。

3.2、Format參數(shù)設(shè)置

3.3、column參數(shù)設(shè)置，選擇自己創(chuàng)建的table difination,自動(dòng)引入，在4.1有具體創(chuàng)建步驟

3.4、配置好參數(shù)，檢查配置問題。

在3.1圖中，有一個(gè)view data，若配置成功，則可以通過在此可以讀取到數(shù)據(jù)。

注：若出現(xiàn)中文亂碼，在下面進(jìn)行更改字符集

點(diǎn)擊下面按鍵更改

選擇NLS，更改字符集

 

4、創(chuàng)建Nettza數(shù)據(jù)庫目標(biāo)組件

4.1、需要?jiǎng)?chuàng)建一個(gè)nettza數(shù)據(jù)庫對(duì)應(yīng)的table difinition組件，保存在對(duì)應(yīng)的目錄底下，后續(xù)使用。

創(chuàng)建步驟：在主頁面

import-à table difinition-à Start Connector Import Wizard -à Nettza Connector

-à錄入賬號(hào)密碼地址等相關(guān)信息 -à選擇需要的表，或已經(jīng)創(chuàng)建的表

4.2、創(chuàng)建數(shù)據(jù)庫目標(biāo)組件

在job界面，palette欄，獲取一個(gè)database選擇nettza connector，配置相關(guān)參數(shù)

配置column參數(shù)和3.3方式一樣，再此不重復(fù)講解。

5、創(chuàng)建transformer轉(zhuǎn)換規(guī)則

創(chuàng)建transformer,在job界面，palette欄，獲取兩個(gè)link箭頭按照數(shù)據(jù)扭轉(zhuǎn)方向進(jìn)行連接三個(gè)組件。

設(shè)置transformer的參數(shù)

1、需要點(diǎn)擊下圖按鈕1進(jìn)行組件column的1對(duì)1關(guān)聯(lián)

2、若需要對(duì)目標(biāo)表的數(shù)據(jù)進(jìn)行處理選擇下圖2的地方進(jìn)行選擇，可以更改數(shù)據(jù)類型，對(duì)目標(biāo)數(shù)據(jù)進(jìn)行轉(zhuǎn)換等操作

6、測(cè)試

保存文件，編譯，運(yùn)行，錄入?yún)?shù)進(jìn)行運(yùn)行，根據(jù)日志進(jìn)行測(cè)試，排查bug

7、制作windows定時(shí)任務(wù)

1、進(jìn)入定時(shí)任務(wù)管理器

開始，控制面板，系統(tǒng)和安全，管理工具，任務(wù)計(jì)劃，打開之后

界面如下

右鍵“任務(wù)計(jì)劃程序”，創(chuàng)建任務(wù)，錄入任務(wù)名稱和描述

最后需要錄入管理員賬戶密碼

2、更改定時(shí)任務(wù)

雙擊點(diǎn)開任務(wù)的屬性，注意更改屬性為不管是否登陸與否都要運(yùn)行，并使用高權(quán)限運(yùn)行。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

標(biāo)題名稱：datastage獲取csv文件，并插入數(shù)據(jù)庫-創(chuàng)新互聯(lián)
本文URL：http://weahome.cn/article/cegdpj.html