這篇文章主要介紹Sqoop1如何導入導出,文中介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們一定要看完!
讓客戶滿意是我們工作的目標,不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術通過有效、簡單的方式提供給客戶,將通過不懈努力成為客戶在信息化領域值得信任、有價值的長期合作伙伴,公司提供的服務項目有:域名與空間、虛擬空間、營銷軟件、網站建設、新市網站維護、網站推廣。
Sqoop1 由 Client 端直接接入 Hadoop,任務通過解析生成對應的 MR 執(zhí)行
Sqoop1 僅有一個客戶端,架構簡單明了,部署即用,使用門檻比較低,但是耦合性強,用戶密碼暴露不安全
Sqoop2 服務端部署,運行,提供 Cli、rest api、webui 等入口,Connector 集中管理,RDBMS控制賬戶更安全,但是 Sqoop2 僅負責數(shù)據(jù)的讀寫操作,架構相對復雜
注意:首先要啟動MySQL、ZK、Hadoop
# sqoop1 導入命令 mysql=>hdfs bin/sqoop import # mysql驅動類 --driver com.mysql.cj.jdbc.Driver # 連接字符串 --connect jdbc:mysql://192.168.56.1/dbName?serverTimezone=GMT%2B8 # 從哪張表導數(shù)據(jù) --table tbName # mysql賬號 --username root # mysql 密碼 --password 123456 --verbose # 目標目錄(HDFS) --target-dir=/sqoop/a_users
# 導入數(shù)據(jù) # --query和--table是互斥的; bin/sqoop import --connect jdbc:mysql://192.168.56.1/dbName?serverTimezone=GMT%2B8 --username root --password 123456 --verbose # 獲取記錄條數(shù) --fetch-size 30 # SQL 語句 # $CONDITIONS sql語句執(zhí)行的條件,這個條件由sqoop自己控制 --query 'select * from a_users where $CONDITIONS' # 按照 id 切分 #--split-by;拆分的這一列不能重復,一般是主鍵 --split-by id # 目標目錄(HDFS) --target-dir=/sqoop/a_users
# 新建一個文件;(一行一個,使用#注釋);文件名隨便寫 import --connect jdbc:mysql://192.168.56.1/dbName?serverTimezone=GMT%2B8 --username root --password 123456 --verbose --fetch-size 30 --query 'select * from a_users where $CONDITIONS' --split-by id --target-dir=/sqoop/a_users
執(zhí)行Sqoop腳本文件的命令
bin/sqoop --options-file /root/fileName.txt
以上是“Sqoop1如何導入導出”這篇文章的所有內容,感謝各位的閱讀!希望分享的內容對大家有幫助,更多相關知識,歡迎關注創(chuàng)新互聯(lián)行業(yè)資訊頻道!