Hadoop实践(一)环境搭建

大数据定义是:大量的非结构话的数据。量要大,要非结构化。

在新华等地区,都构建了全面的区域性战略布局,加强发展的系统性、市场前瞻性、产品创新能力,以专注、极致的服务理念,为客户提供成都做网站、网站建设 网站设计制作定制网站开发,公司网站建设,企业网站建设,成都品牌网站建设,营销型网站建设,成都外贸网站制作,新华网站建设费用合理。

Hadoop 分三部分组成,1.hdfs hadoop分布式文件系统。2.MapReduce 分布式计算。3.hive 分布式存储。

操作系统:centos6.5 64

环境搭建:1.安装Hadoop,2.安装MySQL, 3.安装hive,4,安装jdk

  1. Hadoop安装:

    下载Hadoop1.0.4,hadoop-1.0.4.tar.gz。   

 wget http://archive.apache.org/dist/hadoop/core/hadoop-1.0.4/hadoop-1.0.4.tar.gz

    解压:

    tar xzvf hadoop-1.0.4.tar.gz  -C /usr

    修改3个配置文件

    cd /usr/hadoop-1.0.4/conf/

     vi core-site.xml

       

                fs.default.name

                hdfs://localhost:9000

       

     vi mapred-site.xml

       

                mapred.job.tracker

                localhost:9001

       

     vi hdfs-site.xml

       

                dfs.name.dir

                /home/longlong/temp/log1,/home/longlong/temp/log2

       

       

                dfs.data.dir

                /home/longlong/temp/data1,/home/longlong/temp/data2

       

       

                dfs.replication

                2

       

    配置环境变量,此处粘贴了java,hive,hadoop的环境变量

    vi /etc/profile

JAVA_HOME=/home/Hadoop/jdk1.6.0_45

CLASSPATH=$JAVA_HOME/jre/lib/rt.jar

HADOOP_HOME=/usr/hadoop-1.0.4

HIVE_HOME=/usr/hive

PATH=$HADOOP_HOME/bin:$PATH:$JAVA_HOME/bin:$HIVE_HOME/bin

    安装jdk:

    下载jdk

wget http://download.oracle.com/otn-pub/java/jdk/6u45-b06/jdk-6u45-linux-x64.bin

    chmod +x jdk-6u45-linux-x64.bin

     ./jdk-6u45-linux-x64.bin

    配置 vi hadoop-env.sh,末尾添加jdkhome    

export JAVA_HOME=/home/Hadoop/jdk1.6.0_45

    

    进入bin目录配置  vi hadoop-config.sh

export HADOOP_HOME=${HADOOP_PREFIX}

export HADOOP_HOME_WARN_SUPPRESS=1

    格式化

     ./hadoop namenode -format

    

2.mysql 安装,

3.hive安装,

    下载 

 wget http://mirrors.cnnic.cn/apache/hive/hive-0.13.1/apache-hive-0.13.1-bin.tar.gz

tar -xf apache-hive-0.13.1-bin.tar.gz

 mv apache-hive-0.13.1-bin hive

更换元数据库

    cd conf/

 touch hive-site.xml

vi hive-site.xml

       

                javax.jdo.option.ConnectionURL

                jdbc:mysql://localhost:3306/hive

       

       

                javax.jdo.option.ConnectionDriverName

                com.mysql.jdbc.Driver

       

       

                javax.jdo.option.ConnectionUserName

                root

       

       

                javax.jdo.option.ConnectionPassword

                root

       

    下载mysql驱动,

 wget http://cdn.mysql.com/Downloads/Connector-J/mysql-connector-java-5.0.8.tar.gz

tar -xzvf mysql-connector-java-5.0.8.tar.gz

cd mysql-connector-java-5.0.8

cp mysql-connector-java-5.0.8-bin.jar /usr/hive/lib/

启动

1.hdfs 启动

cd /usr/hadoop-1.0.4/bin

./start-all.sh

password/操作系统密码

2.mysql 启动

service mysqld start

mysql -uroot -proot

3.hive启动

cd /usr/hive/bin

./hive


    


本文题目:Hadoop实践(一)环境搭建
本文网址:http://hxwzsj.com/article/gephoe.html

其他资讯

Copyright © 2025 青羊区翔捷宏鑫字牌设计制作工作室(个体工商户) All Rights Reserved 蜀ICP备2025123194号-14
友情链接: 成都网站制作 企业网站设计 成都网站建设公司 成都网站设计 企业网站建设公司 网站制作 成都企业网站建设公司 营销型网站建设 重庆网站设计 营销网站建设 上市集团网站建设 定制网站建设多少钱 泸州网站建设 网站建设 成都网站设计 教育网站设计方案 成都营销网站制作 成都商城网站制作 重庆企业网站建设 网站建设推广 广安网站设计 网站建设公司