真实的国产乱ⅩXXX66竹夫人,五月香六月婷婷激情综合,亚洲日本VA一区二区三区,亚洲精品一区二区三区麻豆

成都創(chuàng)新互聯(lián)網(wǎng)站制作重慶分公司

大數(shù)據(jù)入門——搭建Hadoop處理環(huán)境-創(chuàng)新互聯(lián)

由于Hadoop需要運行在Linux環(huán)境中,而且是分布式的,因此個人學習只能裝虛擬機,本文都以VMware Workstation為準,安裝CentOS7,具體的安裝此處不作過多介紹,只作需要用到的知識介紹。

成都創(chuàng)新互聯(lián):自2013年起為各行業(yè)開拓出企業(yè)自己的“網(wǎng)站建設(shè)”服務,為近1000家公司企業(yè)提供了專業(yè)的網(wǎng)站設(shè)計制作、網(wǎng)站設(shè)計、網(wǎng)頁設(shè)計和網(wǎng)站推廣服務, 定制網(wǎng)站建設(shè)由設(shè)計師親自精心設(shè)計,設(shè)計的效果完全按照客戶的要求,并適當?shù)奶岢龊侠淼慕ㄗh,擁有的視覺效果,策劃師分析客戶的同行競爭對手,根據(jù)客戶的實際情況給出合理的網(wǎng)站構(gòu)架,制作客戶同行業(yè)具有領(lǐng)先地位的。

VMware的安裝,裝好一個虛擬機后利用復制虛擬機的方式創(chuàng)建后面幾個虛擬機,省時省力,需要注意的是需要修改每個虛擬機的IP與主機名。

所有虛擬機采用NAT模式上網(wǎng),而且要保證與物理主機的IP互相能訪問。

需要注意的幾個問題。nat如果上網(wǎng)首先需要查看物理機(pc機)這個服務器已經(jīng)啟動。上網(wǎng)的原理:流量是走的物理網(wǎng)卡,但是它的ip,卻是和物理機沒有關(guān)系的。也就是說,無論你怎么更換網(wǎng)絡(luò)環(huán)境,你的虛擬機都不需要做改變。這就是它的優(yōu)點。

大數(shù)據(jù)入門——搭建Hadoop處理環(huán)境

首先在安裝VMware 之后,我們會看到多了兩個網(wǎng)卡

這個如果經(jīng)過網(wǎng)絡(luò)配置的折磨,應該能找到著兩個網(wǎng)卡:vmnet1和vmnet8,這里講的是vmnet8。

大數(shù)據(jù)入門——搭建Hadoop處理環(huán)境

重點看右側(cè)第三圖你會看到ip地址,這個ip地址,因個人而異,也就是說不同網(wǎng)絡(luò),不同環(huán)境,這個ip變化的概率是很大的??赡苁?92.168.0.1等等。這里也相當于我們編程的一個變量,這里是需要你根據(jù)你的環(huán)境來賦值的,建議vmnet1到vmnet8分別設(shè)置192.168.10.1到192.168.80.1,好作區(qū)分。

上面我們通過看到的虛擬機網(wǎng)卡的ip,為了避免混肴,上面的虛擬網(wǎng)卡和本地網(wǎng)絡(luò)適配器處于同一界面。如下圖:

大數(shù)據(jù)入門——搭建Hadoop處理環(huán)境

而下面則是在打開虛擬機之后,通過菜單彈出

大數(shù)據(jù)入門——搭建Hadoop處理環(huán)境

彈出之后,我們在看一下虛擬機的(交換機)vmnet8.

可以看到vmnet8子網(wǎng)ip和虛擬機網(wǎng)卡是出于同一個網(wǎng)段的。

同時在右側(cè)net設(shè)置界面,我們可以看到網(wǎng)關(guān)為:192.168.106.2,改成192.168.80.2 虛擬機的設(shè)置會用到。

Linux基礎(chǔ)知識

Linux的學習也是一個過程,因為可能你連最簡單的開機和關(guān)機命令都不會,更不要談配置網(wǎng)絡(luò)。這里面給大家提供剛開始學習所查閱的資料和經(jīng)驗總結(jié)。

首先我們需要使用一些命令,進行網(wǎng)絡(luò)配置,但是在網(wǎng)絡(luò)配置中,這里面又必須懂得虛擬機的一些知識,所以前面的虛擬機知識需要掌握扎實一些。

在此注意CentOS7與CentOS6的命令有些不同,會一些常用命令是必備,每次開機或啟動解壓安裝授權(quán)都是最基本的知識,其它的可以暫時不用學。

CentOS中安裝java環(huán)境

下載對應32或64位jdk,設(shè)置好JDK環(huán)境變量PATH,具體的配置可自行Google。

環(huán)境準備

修改機器名,每個系統(tǒng)中都要修改成這樣。

打開終端,切換到root用戶下修改機器名稱。

$ sudo su

$ vim /etc/sysconfig/network

在其中添加“HOSTNAME=H32”

添加每個服務器IP對應的機器名

三個ip地址都添加到各自的/etc/hosts文件中

每個系統(tǒng)中都要修改成這樣

#編輯hosts

vim /etc/hosts

大數(shù)據(jù)入門——搭建Hadoop處理環(huán)境

關(guān)閉SELinux

#編輯 SELinux 配置文件

vim /etc/selinux/config

#改狀態(tài)

SELINUX=disabled

SSH設(shè)置

進入H30,查看ssh是否安裝,如果有,繼續(xù),沒有安裝下。

rpm -qa|grep ssh

大數(shù)據(jù)入門——搭建Hadoop處理環(huán)境

時間服務器安裝

這里需要安裝時間服務器,其他的服務器通過這個來進行多機器時間的同步,分布式部署時機器時間不一致會導致數(shù)據(jù)錯誤或組件內(nèi)通訊錯誤。

安裝httpd服務

httpd是Apache超文本傳輸協(xié)議(HTTP)服務器的主程序。被設(shè)計為一個獨立運行的后臺進程,它會建立一個處理請求的子進程或線程的池。

安裝yum-utils

yum install yum-utils 用于在線yum安裝 它是基於RPM包管理,能夠從指定的服務器自動下載RPM包并且安裝,可以自動處理依賴性關(guān)系,并且一次安裝所有依賴的軟體包,無須繁瑣地一次次下載、安裝。yum提供了查找、安裝、刪除某一個、一組甚至全部軟件包的命令,而且命令簡潔而又好記。(需要機器能訪問外網(wǎng))

準備資源和環(huán)境

下載Centos 7.2 的iso安裝鏡像,jdk1.8 for Linux壓縮包,hadoop2.7.3壓縮包(本來用hadoop3,發(fā)現(xiàn)后面不兼容hive的最新版本)

Java基礎(chǔ)知識

由于Hadoop框架源碼都是以Java來寫,因此最好都以Java作為開發(fā)的最佳語言,雖然說有些用C#做了封裝,但性能已大打折扣。(這就是為什么說Java的學大數(shù)據(jù)有很大的優(yōu)勢,其它語言的還需要重新學習Java)

Eclipse IDE使用

Linux和Windows下源碼編譯技術(shù)

還有最重要的是你的網(wǎng)速要好,因為安裝過程中會下載依賴包,網(wǎng)不好會卡到你懷疑人生。

最后還需要有耐心,每臺機子的環(huán)境都不一樣,而且每個人下載的包的版本也有可能不一樣 會導致各種問題,此時就需要耐心的去看日志,不停的嘗試和仔細的對比安裝步驟,可能就是少了個變量 或大小寫錯誤或是要重啟。

為了幫助大家讓學習變得輕松、高效,給大家免費分享一大批資料,幫助大家在成為大數(shù)據(jù)工程師,乃至架構(gòu)師的路上披荊斬棘。在這里給大家推薦一個大數(shù)據(jù)學習交流圈:658558542 歡迎大家進×××流討論,學習交流,共同進步。

當真正開始學習的時候難免不知道從哪入手,導致效率低下影響繼續(xù)學習的信心。

但最重要的是不知道哪些技術(shù)需要重點掌握,學習時頻繁踩坑,最終浪費大量時間,所以有有效資源還是很有必要的。

最后祝福所有遇到瓶疾且不知道怎么辦的大數(shù)據(jù)程序員們,祝福大家在往后的工作與面試中一切順利。

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。


新聞名稱:大數(shù)據(jù)入門——搭建Hadoop處理環(huán)境-創(chuàng)新互聯(lián)
地址分享:http://weahome.cn/article/djjeoh.html

其他資訊

在線咨詢

微信咨詢

電話咨詢

028-86922220(工作日)

18980820575(7×24)

提交需求

返回頂部