本篇內(nèi)容介紹了“Hadoop怎樣安裝”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

成都創(chuàng)新互聯(lián)公司是一家專(zhuān)業(yè)提供南豐企業(yè)網(wǎng)站建設(shè),專(zhuān)注與成都網(wǎng)站建設(shè)、成都做網(wǎng)站、H5響應(yīng)式網(wǎng)站、小程序制作等業(yè)務(wù)。10年已為南豐眾多企業(yè)、政府機(jī)構(gòu)等服務(wù)。創(chuàng)新互聯(lián)專(zhuān)業(yè)網(wǎng)站建設(shè)公司優(yōu)惠進(jìn)行中。

1、用vmware workstation建立虛擬機(jī)，開(kāi)始先不選擇安裝包

內(nèi)存選擇：如果本機(jī)是4G內(nèi)存，則分配虛擬機(jī)1G內(nèi)存

2、按默認(rèn)要求來(lái)，完成虛擬機(jī)的初步配置

【大數(shù)據(jù)開(kāi)發(fā)學(xué)習(xí)資料領(lǐng)取方式】：加入大數(shù)據(jù)技術(shù)學(xué)習(xí)交流群458345782，點(diǎn)擊加入群聊，私信管理員即可免費(fèi)領(lǐng)取

3、開(kāi)始ubuntu的安裝

選擇鏡像文件（我用的版本也在上面的網(wǎng)盤(pán)里下載），然后一步步的安裝

4、選擇電腦名稱(chēng)為hd1，密碼為123456。注意Your name設(shè)置為ubuntu

5、打開(kāi)Ubuntu虛擬機(jī)，打開(kāi)終端編輯器

6、安裝并進(jìn)入VMware Tools。安裝通過(guò)點(diǎn)擊虛擬機(jī)->安裝VMware Tools進(jìn)行安裝。

7、復(fù)制VMware Tools的壓縮包到另一個(gè)文件目錄下。這里放到了tmp目錄下。

8、解壓VMWare Tools

9、解壓后進(jìn)入vmware-tools-distrib

10、繼續(xù)編寫(xiě)命令進(jìn)行安裝 sudo./vmware-install.pl

11、安裝VMware Tools成功

12、利用 sudo aptinstall vim安裝vim。安裝完成后如下圖。

13、輸入reboot重啟，同時(shí)重啟后輸入init 0關(guān)閉虛擬機(jī)

14、復(fù)制hd1文件夾，命名為hd2，放在存虛擬機(jī)的文件夾下

15、用記事本打開(kāi)hd2文件夾下的hd1.vmx。修改其中的displayName為hd2.

再用VMware WorkStation打開(kāi)hd1.vmx

16、分別啟動(dòng)兩臺(tái)虛擬機(jī)

17、根據(jù)電腦的ip配置/etc/hosts文件，給IP地址一個(gè)別名，方便后面操作。注意ip地址為你兩臺(tái)虛擬機(jī)的ip地址。用ifconfig命令可以查看本機(jī)IP。一般是191.168.開(kāi)頭的一串IP地址。我配置如下。

sudo vim /etc/hosts

192.168.241.132 hd1

192.168.241.130 hd2

18、安裝openssh-server

19、啟動(dòng)ssh

20、保證每次開(kāi)機(jī)時(shí)自動(dòng)啟動(dòng)ssh

21、多機(jī)互信，兩臺(tái)虛擬機(jī)都要執(zhí)行ssh-keygen-t rsa命令。

22、進(jìn)行密鑰的互信，兩臺(tái)虛擬機(jī)都要執(zhí)行cat id_rsa.pub >> authorized_keys命令。

23、將hd1的文件拷到hd2上，同時(shí)把hd2的文件拷到hd1上

24、驗(yàn)證已經(jīng)實(shí)現(xiàn)雙機(jī)互信

25、在hd1上進(jìn)行hadoop的安裝

26、在hd1和hd2上進(jìn)行java的安裝。

兩臺(tái)主機(jī)都要執(zhí)行sudo apt install default-jre命令。

27、在hd1和hd2上分別進(jìn)行相關(guān)目錄的創(chuàng)建

接下來(lái)需要配置hadoop集群文件

配置文件有7個(gè)：

/home/ubuntu/hadoop/hadoop/etc/hadoop/hadoop-env.sh

/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-env.sh

/home/ubuntu/hadoop/hadoop/etc/hadoop/slaves

/home/ubuntu/hadoop/hadoop/etc/hadoop/core-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/hdfs-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/mapred-site.xml

/home/ubuntu/hadoop/hadoop/etc/hadoop/yarn-site.xml

28、配置env文件。28-34步只在hd1上完成

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/

export HADOOP_HOME=/home/hadoop/hadoop

29、配置yarn-env文件

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/

30、配置slave文件

hd1

hd2

31、配置core-site文件

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://hd1:9000</value>

</property>

<property> 

    <name>io.file.buffer.size</name>

    <value>131072</value>

</property>

<property>

    <name>hadoop.tmp.dir</name>

    <value>file:/home/ubuntu/hadoop/tmp</value>

</property>

<property>

    <name>hadoop.proxyuser.hduser.hosts</name>

    <value>*</value>

</property>

<property>

    <name>hadoop.proxyuser.hduser.groups</name>

    <value>*</value>

</property>

32、配置hdfs-site文件

<configuration>

    <property>

        <name>dfs.namenode.http-address</name>

        <value>hd1:50070</value>

    </property>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>hd1:9001</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/home/ubuntu/hadoop/namenode</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/home/ubuntu/hadoop/hdfs</value>

    </property>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.webhdfs.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.support.append</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.support.broken.append</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.permissions.enabled</name>

        <value>false</value>

    </property>

</configuration>

33、配置mapred-site文件

注意先將mapred-site.xml.template文件拷出，然后再使用vim命令

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

<property>

    <name>mapreduce.jobhistory.address</name>

    <value>hd1:10020</value>

</property>

<property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>hd1:19888</value>

</property>

【大數(shù)據(jù)開(kāi)發(fā)學(xué)習(xí)資料領(lǐng)取方式】：加入大數(shù)據(jù)技術(shù)學(xué)習(xí)交流群458345782，點(diǎn)擊加入群聊，私信管理員即可免費(fèi)領(lǐng)取

34、配置yarn-site文件

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

<property>

    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

    <name>yarn.resourcemanager.address</name>

    <value>hd1:8032</value>

</property>

<property>

    <name>yarn.resourcemanager.scheduler.address</name>

    <value>hd1:8030</value>

</property>

<property>

    <name>yarn.resourcemanager.resource-tracker.address</name>

    <value>hd1:8031</value>

</property>

<property>

    <name>yarn.resourcemanager.admin.address</name>

    <value>hd1:8033</value>

</property>

<property>

    <name>yarn.resourcemanager.webapp.address</name>

    <value>hd1:8088</value>

</property>

35、在hd1和hd2上配置路徑文件。執(zhí)行下面兩條命令

sudo vim /etc/profile

export PATH=$PATH:/home/ubuntu/hadoop/hadoop/bin:/home/ubuntu/hadoop/hadoop/sbin

36、在hd1上加入hadoop路徑到path路徑下

37、在hd1上格式化namenode，執(zhí)行hadoop namenode -format命令

38、在hd1上進(jìn)行文件的分發(fā)，注意命令行當(dāng)前所在的位置。

39、驗(yàn)證是否安裝成功

在hd1上建一個(gè)a.txt文件

拷到hdfs文件里面去

打印顯示

自此安裝成功

“Hadoop怎樣安裝”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

網(wǎng)頁(yè)題目：Hadoop怎樣安裝
路徑分享：http://www.yijiale78.com/article10/pjdddo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站內(nèi)鏈、手機(jī)網(wǎng)站建設(shè)、Google、網(wǎng)站建設(shè)、用戶(hù)體驗(yàn)、搜索引擎優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話(huà)：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)