這篇文章主要講解了“sqoop使用MySQL做為metastore的方法”，文中的講解內(nèi)容簡單清晰，易于學(xué)習(xí)與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“sqoop使用mysql做為metastore的方法”吧！

創(chuàng)新互聯(lián)建站2013年開創(chuàng)至今，先為仙居等服務(wù)建站，仙居等地企業(yè)，進(jìn)行企業(yè)商務(wù)咨詢服務(wù)。為仙居企業(yè)網(wǎng)站制作PC+手機(jī)+微官網(wǎng)三網(wǎng)同步一站式服務(wù)解決您的所有建站問題。

    sqoop.metastore.client.enable.autoconnect
    false
    If true, Sqoop will connect to a local metastore
      for job management when no other metastore arguments are
      provided.
   
 
 
    sqoop.metastore.client.autoconnect.url
    jdbc:mysql://:/sqoop?createDatabaseIfNotExist=true
 
 
    sqoop.metastore.client.autoconnect.username
    sqoop
 
 
    sqoop.metastore.client.autoconnect.password
    sqoop
 

CREATE TABLE SQOOP_ROOT (
    version INT, 
    propname VARCHAR(128) NOT NULL,
    propval VARCHAR(256),
    CONSTRAINT SQOOP_ROOT_unq UNIQUE (version, propname)
);
-- Inserted the following row (** this did the trick)
INSERT INTO 
    SQOOP_ROOT 
VALUES(
    NULL,
    'sqoop.hsqldb.job.storage.version',
    '0'
);


#增量導(dǎo)入


sqoop job --create job3 --meta-connect 'jdbc:mysql://172.18.1.1:3306/sqoop?user=root&password=test' -- import  --connect 'jdbc:mysql://172.18.1.1:3306/test' --username 'root' --password 'test'  --table 'test1' --columns 'id,name,age'  --hive-import  --hive-table default.jnincr1   --incremental append --check-column 'id' --last-value 0


sqoop job --meta-connect 'jdbc:mysql://172.18.1.1:3306/sqoop?user=root&password=test'  --list


sqoop job --meta-connect 'jdbc:mysql://172.18.1.1:3306/sqoop?user=root&password=test' --exec job3   --  --username root --password test --append 


sqoop job --create job3 --meta-connect 'jdbc:hsqldb:hsql://172.18.1.1:16000/sqoop' -- import  --connect 'jdbc:mysql://172.18.1.1:3306/test' --username 'root' --password '123456'  --table 'test_001' --columns 'id,name'  --hive-import  --hive-table default.a3   --incremental append --check-column 'id' --last-value 0


sqoop job --meta-connect 'jdbc:hsqldb:hsql://172.18.1.1:16000/sqoop'  --exec job3  -verbose


此方法需要修改sqoop源碼，解決事務(wù)鎖表問題
 

感謝各位的閱讀，以上就是“sqoop使用mysql做為metastore的方法”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對sqoop使用mysql做為metastore的方法這一問題有了更深刻的體會，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識點(diǎn)的文章，歡迎關(guān)注！