本篇內(nèi)容主要講解“hadoop數(shù)據(jù)怎么遷移”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“hadoop數(shù)據(jù)怎么遷移”吧!

成都創(chuàng)新互聯(lián)擁有十余年成都網(wǎng)站建設工作經(jīng)驗,為各大企業(yè)提供成都網(wǎng)站建設、網(wǎng)站設計服務，對于網(wǎng)頁設計、PC網(wǎng)站建設（電腦版網(wǎng)站建設）、成都App定制開發(fā)、wap網(wǎng)站建設（手機版網(wǎng)站建設）、程序開發(fā)、網(wǎng)站優(yōu)化（SEO優(yōu)化）、微網(wǎng)站、申請域名等，憑借多年來在互聯(lián)網(wǎng)的打拼，我們在互聯(lián)網(wǎng)網(wǎng)站建設行業(yè)積累了很多網(wǎng)站制作、網(wǎng)站設計、網(wǎng)絡營銷經(jīng)驗，集策劃、開發(fā)、設計、營銷、管理等網(wǎng)站化運作于一體，具備承接各種規(guī)模類型的網(wǎng)站建設項目的能力。

tcp工具使用說明：

在表結(jié)構(gòu)/分區(qū)創(chuàng)建好的情況下，在hadoop2.0集群的任意一個節(jié)點上執(zhí)行：

hadoop distcp -Dmapreduce.job.queue.name=queue_name  -update -skipcrccheck [source_path...]

1、    source_path參數(shù)為hadoop1.0上需要拷貝的表/分區(qū)數(shù)據(jù)目錄全路徑，必須采用hftp協(xié)議訪問，如test庫下的test表路徑為hftp://hadoop1:50070/user/hive/warehouse/test.db/test

2、    target_path參數(shù)為hadoop2.0上對應表/分區(qū)數(shù)據(jù)目錄路徑，如/user/hive/warehouse/test.db/test

3、    跨版本集群拷貝時-update -skipcrccheck參數(shù)必須帶上。

4、    -Dmapreduce.job.queue.name參數(shù)用于指定任務在哪個資源池中運行，如：-Dmapreduce.job.queue.name=queue_0401_01。

5、Distcp任務執(zhí)行時以MR任務運行，會占用指定資源池中資源。

表數(shù)據(jù)拷貝示例：

hadoop distcp -Dmapreduce.job.queue.name=queue_0401_01 -update -skipcrccheck hftp://hadoop1:50070/user/hive/warehouse/social.db/sina_wb_timelines  /user/hive/warehouse/social.db/sina_wb_timelines

分區(qū)數(shù)據(jù)拷貝示例：

hadoop distcp -Dmapreduce.job.queue.name=queue_0401_01 -update -skipcrccheck hftp://hadoop1:50070/user/hive/warehouse/social.db/sina_wb_timelines/d=21  /user/hive/warehouse/social.db/sina_wb_timelines/d=21

1、建立表結(jié)構(gòu)：

CREATE  TABLE `fin_fa_wide_asset`(

  `period_name` string,

  `set_of_books_id` string,

  `book_type_code` string,

  `segment1` string,

  `segment2` string,

  `segment3` string,

  `asset_id` string,

  `description` string,

  `asset_category_id` string,

  `asset_number` string,

  `use_department` string,

  `operating_status` string,

  `use_status` string,

  `use_people` string,

  `city` string,

  `location` string,

  `units_assigned` double,

  `date_placed_in_service` string,

  `deprn_run_date` string,

  `cost` double,

  `original_cost` double,

  `salvage_value` double,

  `recoverable_cost` double,

  `current_net_value` double,

  `ytd_deprn` double,

  `deprn_reserve` double,

  `salvage_cost_rate` double,

  `deprn_method_code` string,

  `deprn_in_months` double,

  `life_in_months` double,

  `deprn_amount` double,

  `deprn_adjustment_acct` string,

  `po_number` string,

  `asset_invoice_id` string,

  `invoice_number` string)

PARTITIONED BY (

  `y` string,

  `m` string)row format delimited fields terminated by '\001' stored as rcfile;

2、導數(shù)：

hadoop distcp -Dmapreduce.job.queue.name=queue_0009_01 -update -skipcrccheck hftp://hadoop1:50070/user/hive/warehouse/jt_mas_safe.db/fin_fa_wide_asset  /user/hive/warehouse/jt_mas_safe.db/fin_fa_wide_asset

3、加載數(shù)據(jù)腳本，視不同表分區(qū)而定：

alter table jt_mas_safe.fin_fa_wide_asset add partition(y='2015',m='08');

load data inpath '/user/hive/warehouse/jt_mas_safe.db/fin_fa_wide_asset/y=2015/m=08' into table jt_mas_safe.fin_fa_wide_asset partition(y='2015',m='08’);

到此，相信大家對“hadoop數(shù)據(jù)怎么遷移”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關內(nèi)容可以進入相關頻道進行查詢，關注我們，繼續(xù)學習！