Linux 下搭建 Hive 环境

Linux 下搭建 Hive 环境作者:Grey
原文地址:
博客园:Linux 下搭建 Hive 环境
CSDN:Linux 下搭建 Hive 环境
前置工作首先,需要先完成
Linux 下搭建 Kafka 环境
Linux 下搭建 Hadoop 环境
Linux 下搭建 HBase 环境
本文基于上述三个环境已经搭建完成的基础上进行 Hive 的搭建工作 。
Hive 版本:2.2.0
如果使用的软件版本不一致,请以官方搭建文档为准 。
此外,需要准备一个 MySQL 服务器,我这里准备的 MySQL 服务器 IP 是:192.168.100.129 , 端口是 3306 。
MySQL 的安装参考:CentOS 7 下安装 MySQL 8.x
这里用的 MySQL 版本是:5.7.40
下载地址
注:目前这个版本的 Hive,用 MySQL 5.7 版本不会报错,用MySQL 8.0 版本会报错,
MySQL 的 Connector 版本是:5.1.40
下载地址
注:确保 master 服务器可以访问这个 MySQL 服务器上的 MySQL 服务 。,如果用的 MySQL 版本不同,对应的 Connector 需要下载可适配 MySQL 版本的 。
安装步骤Hive 安装在 master 节点上,
将下载好的 Hive 安装包和 MySQL 对应的 Connector 包上传到 /datalake 目录下
apache-hive-2.2.0-bin.tar.gz
mysql-connector-java-5.1.40.tar.gz
解压这几个安装包
cd /datalaketar -zxvf apache-hive-2.2.0-bin.tar.gz将解压的软件移动到 /usr/local 目录
cd /datalakemv apache-hive-2.2.0-bin /usr/local/hive配置环境变量
vi /etc/profile将 Hive 添加到环境变量
export HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$JAVA_HOME/bin:$ZK_HOME/bin:$KAFKA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin应用环境变量
source /etc/profile解压 MySQL 的 Connector 包
tar -xzvf mysql-connector-java-5.1.40.tar.gz将 Connector 的 jar 拷贝到 Hive 的 lib 目录中
cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib/修改 Hive 的配置文件
cd $HIVE_HOME/conf && cp hive-default.xml.template hive-site.xml将 hive-site.xml 的内容设置为
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://192.168.100.129:3306/hive?createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>dump</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>1234</value></property><property><name>hive.metastore.schema.verification</name><value>false</value></property><property><name>datanucleus.schema.autoCreateAll</name><value>true</value></property></configuration>注:以上配置根据你自定义的 MySQL 来配置 , 例如用户名密码和连接信息 。
【Linux 下搭建 Hive 环境】启动 Hive,执行
hive查看数据库,已经新建出 Schema

Linux 下搭建 Hive 环境

文章插图
测试一下,在 hive 中执行如下命令创建一个表
CREATE TABLE t2(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
Linux 下搭建 Hive 环境

文章插图
创建成功并查看这个表的信息
访问:http://192.168.100.130:50070/explorer.html#/user/hive/warehouse
可以查看创建的 t2 表信息
Linux 下搭建 Hive 环境

文章插图

    推荐阅读