Hadoop实验—Hive的安装和实验

发表于:2017-5-26 10:26

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:Tiny_16    来源:简书

#
hadoop
分享:
  实验目的
  1、理解Hive在Hadoop体系结构中的角色。
  2、熟悉Hive的DDL命令与DML操作。
  3、区分数据仓库和数据库的概念。
  实验平台
  · 操作系统:Ubuntu-16.04
  · Hadoop版本:2.6.0
  · JDK版本:1.8
  · IDE:Eclipse
  · Hive版本:1.2.3
  实验内容和要求
  Hive的安装(安装前开启hadoop和mysql服务):
  1、把 Hive 压缩包放到 Home 文件夹中
  2、右键打开终端,解压 Hive 到/usr/local
  sudo tar zxvf apache-hive-0.13.0-bin.tar.gz -C /usr/local
  3、重命名方便后续操作
  sudo mv /usr/local/apache-hive-0.13.0-bin/ /usr/local/hive/
  4、获取文件夹权限(tiny改为你的主机名)
  sudo chown -R tiny /usr/local/hive/
  5、将MySQL驱动程序复制到/usr/local/hive/lib目录下
  cp mysql-connector-java-5.1.39-bin.jar /usr/local/hive/lib
  6、设置环境变量
  sudo vim /etc/profile
  在最后一行添加内容:
  #set hive path
  export HIVE_HOME=/usr/local/hive
  export PATH=$HIVE_HOME/bin:$PATH
  7、使环境变量生效
  source /etc/profile
  8、配置Hive的配置文件
  进入/usr/local/hive/conf/
  cd /usr/local/hive/conf
  复制hive-env.sh.template,改名为hive-env.sh
  cp hive-env.sh.template hive-env.sh
  编辑内容
  vim hive-env.sh
  新建配置文件
  vim hive-site.xml
  添加内容并填好mysql用户名和密码:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
Licensed to the Apache Software Foundation (ASF) under one or more
contributor license agreements.  See the NOTICE file distributed with
this work for additional information regarding copyright ownership.
The ASF licenses this file to You under the Apache License, Version 2.0
(the "License"); you may not use this file except in compliance with
the License.  You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
-->
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>MySQL用户名</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>MySQL密码</value>
<description>password to use against metastore database</description>
</property>
</configuration>
  9、进入Hive Shell(quit;退出)
  hive
  Hive实验:
  一. DDL命令
  数据库相关命令
  创建简单的数据库
  CREATE DATABASE testdb;
  查看数据库
  SHOW DATABASES;
  正则表达式检索
  SHOW DATABASES LIKE 't.*';
  创建数据库的同时,设置数据库的存储路径
  CREATE DATABASE testdb2 LOCATION '/user/mydb';
  在建库的同时,给数据库添加注释
  CREATE DATABASE testdb3 COMMENT 'This is a test database3';
  查看数据库的注释和存储路径
  DESCRIBE DATABASE testdb3;
  创建数据库的同时,为数据库添加键值对作为参数
  CREATE DATABASE testdb4 WITH DBPROPERTIES('creator'='tiny','date'='2016-12-21');
  查看数据参数
  DESCRIBE DATABASE EXTENDED testdb4;
  选择数据库
  USE testdb4;
  删除库
  DROP DATABASE IF EXISTS testdb3 CASCADE;
  表相关命令
  创建一个普通表:
  CREATE TABLE IF NOT EXISTS test_1
  (id INT,
  name STRING,
  address STRING);
  创建一个外部表:
  CREATE EXTERNAL TABLE external_table (dummy STRING)
  LOCATION '/user/tom/external_table';
  创建一个分区表:
  CREATE TABLE partition_table (id INT, name STRING, city STRING)
  PARTITIONED BY (pt STRING)
  ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
  创建一个与已经存在的表结构相同的表
  CREATE TABLE test_2 LIKE test_1;
  给表增加字段
  alter table test_1 add columns
  (telephone STRING,
  qq STRING,
  birthday date);
  修改表的字段名
  ALTER TABLE test_1 CHANGE address addr STRING;
  修改表名
  ALTER TABLE test_1 rename to test_table;
21/212>
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号