99偷拍视频精品区一区二,口述久久久久久久久久久久,国产精品夫妇激情啪发布,成人永久免费网站在线观看,国产精品高清免费在线,青青草在线观看视频观看,久久久久久国产一区,天天婷婷久久18禁,日韩动漫av在线播放直播

Hadoop3.1.2集群搭建及簡單的排序,統(tǒng)計實現(xiàn)-創(chuàng)新互聯(lián)

第一部分:Hadoop集群搭建

創(chuàng)新互聯(lián)公司是專業(yè)的欽南網(wǎng)站建設公司,欽南接單;提供成都網(wǎng)站設計、網(wǎng)站制作,網(wǎng)頁設計,網(wǎng)站設計,建網(wǎng)站,PHP網(wǎng)站建設等專業(yè)做網(wǎng)站服務;采用PHP框架,可快速的進行欽南網(wǎng)站開發(fā)網(wǎng)頁制作和功能擴展;專業(yè)做搜索引擎喜愛的網(wǎng)站,專業(yè)的做網(wǎng)站團隊,希望更多企業(yè)前來合作!

1. 安裝虛擬機Vmware

基礎的命令操作不細說,比如什么是根目錄。。。。。

1.也可以從官網(wǎng)下載最新的VMware

2. 安裝Linux系統(tǒng)

2.1 本教程用的是Linux為CentOS-7-x86,在VMware點擊新建,安裝CentOS-7-x86。

2.2 安裝完成后,

進入root用戶

開啟網(wǎng)絡

cd /etc/sysconfig/network-scripts

ls

找到第一個,我的是ifcfg-ens33,

然后vi ifcfg-ens33

將里面的ONBOOT的值由no改為yes。

重啟網(wǎng)絡service network restart

然后ping baidu.com能ping通就好了,ctrl c停止。

如果輸入(ping baidu.com),能ping通,即可安裝成功。

然后 cd ~回到根目錄,安裝tools

yum search ifconfig

yum install net-tools.x86_64

查看ip

ifconfig

2.3用XShell遠程登陸

1.新建

2.主機號為查到的ip

3.點擊確定,用root用戶登錄,即可成功。

(這時候就可以在XShell粘貼復制命令了)

3. 下載/安裝jdk

3.配置jdk

接下來的操作都在XSshell6上操作,可以直接復制。

以下操作從根目錄開始(如果不知道當前在哪里,先cd ~即可。

下載jdk

本文檔有所有所需要的資料,可以選擇性下載。(也可以官網(wǎng)可以自行下載)。

下載本文檔所需要的安裝包,xshell里點擊xftp(ctrl+Alt+F),可以直接把window里的文件傳到Linux里。

拖到根目錄下。

解壓jdk

tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/

配置環(huán)境變量(還在根目錄)

[1 ] 打開proflie文件

vi /etc/profile

[ 2] 將光標移動至文末(shift g可以到末尾),按i進入編輯模式,在文末添加以下內(nèi)容

export JAVA_HOME=/usr/local/jdk1.8.0_221

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

[ 3] 按Esc鍵退出編輯,輸入 :wq 保存并退出文件,執(zhí)行以下內(nèi)容使環(huán)境變量生效

source /etc/profile

[ 4] 檢查jdk是否安裝配置成功

java -version

出現(xiàn)java版本信息,則配置成功,例如

java version “1.8.0_221”

Java? SE Runtime Environment (build 1.8.0_221-b11)

Java HotSpot? 64-Bit Server VM (build 25.221-b11, mixed mode)

4. 配置Hadoop

4.配置Hadoop

[下載hadoop

本文檔有所有所需要的資料,可以選擇性下載。(也可以官網(wǎng)可以自行下載)。

下載本文檔所需要的安裝包,xshell里點擊xftp(ctrl+Alt+F),可以直接把window里的文件傳到Linux里。

拖到根目錄下。

解壓hadoop,解壓到哪個目錄可以自行選擇,但是要知道路徑,配置環(huán)境變量時需要

tar -zxvf hadoop-3.1.2.tar.gz -C /usr/local/

配置hadoop

[1 ] 配置環(huán)境變量

vi /etc/profile

按i進入編輯模式,在文末添加

export HADOOP_HOME=/usr/local/hadoop-3.1.2

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

按Esc退出編輯,輸入 :wq 保存并退出,執(zhí)行以下內(nèi)容使環(huán)境變量生效

source /etc/profile

[2 ] 配置hadoop-env.sh

切到/usr/local/hadoop-3.1.2/etc/hadoop目錄下(2-6同在此目錄下)

cd /usr/local/hadoop-3.1.2/etc/hadoop

進入hadoop-env.sh

vi hadoop-env.sh

找到 limitations under the License. 在其下一行添加

export JAVA_HOME=/usr/local/jdk1.8.0_181

按Esc,輸入 :wq 保存并退出

[ 3] 配置core-site.xml,修改為以下內(nèi)容,其中第5行 zz 改為自己的主機名

fs.defaultFS

hdfs://zz:9000

hadoop.tmp.dir

/usr/local/hadoop-3.1.2/data

[4 ] 配置yarn-site.xml,修改為以下內(nèi)容,zz 均改為自己的主機名

yarn.resourcemanager.hostname

zz

yarn.resourcemanager.address

zz:8032

yarn.resourcemanager.scheduler.address

zz:8030

yarn.resourcemanager.resource-tracker.address

zz:8031

yarn.resourcemanager.admin.address

zz:8033

yarn.resourcemanager.webapp.address

zz:8088

yarn.nodemanager.aux-services

mapreduce_shuffle

[ 5] 配置hdfs-site.xml,修改為以下內(nèi)容

dfs.replication

1

[6] 配置mapred-site.xml,修改為以下內(nèi)容

mapreduce.framework.name

yarn

[7 ] 配置start-dfs.sh和stop-dfs.sh

切到/usr/local/hadoop-3.1.2/sbin目錄(7-8在此目錄)

cd /usr/local/hadoop-3.1.2/sbin

在start-dfs.sh,stop-dfs.sh第二行添加以下內(nèi)容,因為是root登錄的,不配置會出現(xiàn)錯誤

HDFS_DATANODE_USER=root

HDFS_DATANODE_SECURE_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

[8 ] 配置start-yarn.sh,stop-yarn.sh,在第二行添加以下內(nèi)容

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

5. 設置免密鑰登錄

5.免密鑰登錄

[1 ] 創(chuàng)建公鑰/私鑰,一路回車

ssh-keygen -t rsa

[ 2] 創(chuàng)建authorized_keys文件并修改權限為600

cd ~/.ssh無錫婦科醫(yī)院排行 http://www.0510bhyy.com/

touch authorized_keys

chmod 600 authorized_keys

[ 3] 將公鑰追加到authorized_keys文件中

cat id_rsa.pub >> authorized_keys

嘗試能否免密登錄,能登陸就成功了,嘗試后,輸入exit退出

ssh 自己的主機名

6. 防火墻

6.防火墻

[ 1] 查看防火墻狀態(tài)

firewall-cmd --state

[ 2] 關閉防火墻

systemctl stop firewalld.service

[3 ] 禁止開機時防火墻自啟

systemctl disable firewalld.service

7. 啟動Hadoop

7.啟動Hadoop

[ 1] 格式化hadoop,不要多次格式化,多次格式化會導致DataNode無法正常啟動

hadoop namenode -format

[2] 啟動&停止hadoop

start-all.sh

stop-all.sh

啟動以后可以輸入jps,看有沒有下面這些進程

[root@zz .ssh]# jps

8467 NodeManager

7860 NameNode

7973 DataNode

8589 Jps

8127 SecondaryNameNode

8351 ResourceManager

有的話就表示配置成功!

第二部分:用MapReduce解決數(shù)據(jù)排序

8. 搭建Hadoop-3.1.2-eclipse環(huán)境

9. 在eclipse上編譯MapReduce程序

10. 打包程序,創(chuàng)建測試文本

11. 應用MapReduce進行數(shù)據(jù)排序

另外有需要云服務器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn,海內(nèi)外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。

分享題目:Hadoop3.1.2集群搭建及簡單的排序,統(tǒng)計實現(xiàn)-創(chuàng)新互聯(lián)
當前網(wǎng)址:http://www.yijiale78.com/article28/cdpjjp.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供做網(wǎng)站標簽優(yōu)化App設計響應式網(wǎng)站全網(wǎng)營銷推廣企業(yè)建站

廣告

聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)

網(wǎng)站建設網(wǎng)站維護公司