问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

hive1和hive2的区别

发布网友 发布时间:2022-04-23 06:28

我来回答

1个回答

热心网友 时间:2022-04-08 04:37

1.用户接口:Client
CLI(hive shell)、JDBC/ODBC(java访问hive)、WEBUI(浏览器访问hive)

2.元数据:Metastore
元数据包括:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等;
默认存储在自带的derby数据库中,推荐使用MySQL存储Metastore

3.Hadoop
使用HDFS进行存储,使用MapRece进行计算。

4.驱动器:Driver
(1)解析器(SQL Parser):将SQL字符串转换成抽象语法树AST,这一步一般都用第三方工具库完成,比如antlr;对AST进行语法分析,比如表是否存在、字段是否存在、SQL语义是否有误。
(2)编译器(Physical Plan):将AST编译生成逻辑执行计划。
(3)优化器(Query Optimizer):对逻辑执行计划进行优化。
(4)执行器(Execution):把逻辑执行计划转换成可以运行的物理计划。对于Hive来说,就是MR/Spark。

Hive通过给用户提供的一系列交互接口,接收到用户的指令(SQL),使用自己的Driver,结合元数据(MetaStore),将这些指令翻译成MapRece,提交到Hadoop中执行,最后,将执行返回的结果输出到用户交互接口。

二:Hive的作用和优势:
基于Hadoop的数据仓库解决方案
Hive是基于Hadoop的一个数据仓库工具,将结构化的数据文件映射为数据库表。

提供类sql的查询语言HQL(Hive Query Language)

数据不放在hive上,放在HDFS上

由*开源用于解决海量结构化日志的数据统计。

执行程序运行在Yarn上

优势:
提供了简单的优化模型

HQL类sql语法,简化MR开发

支持在HDFS和HBase上临时查询数据

支持用户自定义函数,格式

成熟JDBC和ODBC驱动程序,用于ETL和BI

稳定可靠的批处理

支持在不同计算框架运行

缺点:
Hive的执行延迟比较高,因此Hive常用于数据分析,对实时性要求不高的场合

迭代式算法无法表达

数据挖掘方面不擅长

Hive自动生成的MapRece作业,通常情况下不够智能化

Hive调优比较困难,粒度较粗
hive1和hive2的区别

(2)编译器(Physical Plan):将AST编译生成逻辑执行计划。(3)优化器(Query Optimizer):对逻辑执行计划进行优化。(4)执行器(Execution):把逻辑执行计划转换成可以运行的物理计划。对于Hive来说,就是MR/Spark。Hive通过给用户提供的一系列交互接口,接收到用户的指令(SQL),使用自己的Driver,结...

谁能简单的告诉我,hive1.X和2.X有什么区别

hiveserver2是hiveserver的改进版本,相比而言,hiveserver2更加稳定,支持的功能更多。 直接使用hiveserver2就可以了。与 Hive LLAP 的交互查询。LLAP 是在 Hive 2.0 中引入的,在 2.1 中得到改进,性能比 Hive 1 提升 25 倍之多.更可靠的 SQL ACID 事务支持,修复了超过 60 个稳定性相关问题....

jdbc连接串里hive2是什么

1. hive2是指连接Hive数据库的JDBC连接串中的一个参数。2. 在JDBC连接串中,hive2表示使用HiveServer2来进行连接,HiveServer2是Hive的一个服务,它提供了一个面向客户端的接口,可以通过JDBC等方式连接Hive数据库进行操作。3. 使用hive2连接串可以实现更高级的功能,如支持并发查询、安全认证等,同时...

hiveserver2是什么?

HiveServer2是Hive的第二代服务,用于允许远程客户端使用多种编程语言向Hive提交请求并检索结果。它基于Thrift构建,使得它可以从HiveServer1升级而来。HiveServer2解决了并发请求处理和多客户端支持的问题,同时提供了身份认证功能。它单进程运行,集成Thrift服务和Jetty Web服务器,通过Thrift服务提供TCP或HTTP...

CDH Hive 配置HiveServer2

HiveServer2和HiveServer1的连接URL格式和驱动程序类别不同:HiveServer2可以 配置 为验证所有连接; 默认情况下,它允许任何客户端连接。HiveServer2支持 Kerberos 或 LDAP 身份验证; 配置属性为hive.server2.authentication 。您还可以配置 可插入身份验证 ,它允许您为HiveServer2使用自定义身份验证提供...

hive1.x和2.x有什么区别

新增功能;修改,优化功能;以及可能的淘汰不合时宜的功能;

Hive分区的作用

区别: 1.静态分区是需要指定分区的(源数据中没有) 2.动态分区是利用数据中的字段坐分区的,(源数据中有的),🈲 主分区动态分区,次分区静态分区,使得每个主分区下面都要创建静态分区 不难看出,Hive分区,主要是以缩小数据查询范围,提高查询速度和性能的。Hive的静态分区,实际...

如何查看hive版本?

要查看Hive版本,可以通过以下命令在Hive命令行界面中查询:hive --version 或者在终端中执行以下命令:hive --service version 执行以上命令后,Hive将返回当前安装的版本号。

hive是什么

1. Hive的基本定义:Hive是Apache软件基金会的一个开源项目,它允许开发者使用SQL语句来查询和分析存储在Hadoop分布式文件系统上的大规模数据集。Hive将SQL查询转换为MapReduce、Tez或Spark作业来执行,并返回一个结果表,使数据分析变得简单和直观。2. Hive的数据存储与管理:Hive提供了数据存储和管理的基础...

hiveserver2是不是thrift方式

你好,很高兴为你解答 HiveServer或者HiveServer2都是基于Thrift的,但HiveSever有时被称为Thrift server,而HiveServer2却不会。既然已经存在HiveServer,为什么还需要HiveServer2呢?这是因为HiveServer不能处理多于一个客户端的并发请求,这是由于HiveServer使用的Thrift接口所导致的限制,不能通过修改Hive...

hive和impala的区别 hive和oracle的区别 hive和inceptor区别 hive与hbase的区别 spark和hive的区别 hivesql和sql的区别 hive的内部表和外部表区别 mysql和hive语法的区别 hive内外部表的区别
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
vivo y18l 死机卡在开机界面 vivoy18l手机频繁黑屏死机怎么办? vivo y18l 死机了怎么办 vivoY18l黑屏死机解决办法 vivo y18l刷机很久都开不了机怎么? 湖北自考专升本会有学籍吗? 湖北自考专升本后可以考研吗 湖北自考申请毕业证的时间在什么时候 湖北自考专升本学历怎么查询 湖北自考专升本为什么没有学籍 如何快速把hdfs数据动态导入到hive表 在Hive中如何实现数据分区 Apache Hive的工作原理是什么? 如何配置hive,使hive能使用spark引擎 苹果11要不要升级ios13.1.3? hadoop和hive之间有什么关系? hive运行sql reduce 为1 ,跑不动怎么处理? Hive几种数据导入方式和动态分区,多表插入 hive表的动态分区怎么实现 hive与beehive的区别 hive 动态分区后可以指定reduce数吗 hive启动元数据库,为什么会卡住不动 hive动态分区和静态分区的区别 hive动态分区参数配置 利用sql怎么设置 Hive 是什么意思? hive 什么意思? vivo手机系统更新后充电慢速 vivox27系统怎么恢复原来的,升级后充电不正常自动掉线,没有双引擎充电? vivo手机换系统后充电灯为什么会变成绿色? vivo x shot手机升级系统后充电速度变慢 hive表会自动缩小吗 急救包怎么用? 急救包里有什么东西? 家用急救包都需要什么药物? 家庭急救包的用途有哪些? 第一次玩吃鸡,手机版的,有个急救包怎么用 绝地求生急救包怎么用?急救包的用法 家庭急救包有什么用途? 家庭用急救包,应该装什么东西? 标准的急救箱里面应该有什么东西 急救包是什么? cataclysmdda 怎么使用急救包 什么是急救包?? 外出游玩用的急救包里都有什么? 求生之路2怎么使用急救包 急救包十大品牌 红十字会的急救包里都有什么? death park2怎么使用急救包 军用急救包有多少中使用方法? 哪个牌子车载急救包好用