hive1和hive2的区别
发布网友
发布时间:2022-04-23 06:28
我来回答
共1个回答
热心网友
时间:2022-04-08 04:37
1.用户接口:Client
CLI(hive shell)、JDBC/ODBC(java访问hive)、WEBUI(浏览器访问hive)
2.元数据:Metastore
元数据包括:表名、表所属的数据库(默认是default)、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等;
默认存储在自带的derby数据库中,推荐使用MySQL存储Metastore
3.Hadoop
使用HDFS进行存储,使用MapRece进行计算。
4.驱动器:Driver
(1)解析器(SQL Parser):将SQL字符串转换成抽象语法树AST,这一步一般都用第三方工具库完成,比如antlr;对AST进行语法分析,比如表是否存在、字段是否存在、SQL语义是否有误。
(2)编译器(Physical Plan):将AST编译生成逻辑执行计划。
(3)优化器(Query Optimizer):对逻辑执行计划进行优化。
(4)执行器(Execution):把逻辑执行计划转换成可以运行的物理计划。对于Hive来说,就是MR/Spark。
Hive通过给用户提供的一系列交互接口,接收到用户的指令(SQL),使用自己的Driver,结合元数据(MetaStore),将这些指令翻译成MapRece,提交到Hadoop中执行,最后,将执行返回的结果输出到用户交互接口。
二:Hive的作用和优势:
基于Hadoop的数据仓库解决方案
Hive是基于Hadoop的一个数据仓库工具,将结构化的数据文件映射为数据库表。
提供类sql的查询语言HQL(Hive Query Language)
数据不放在hive上,放在HDFS上
由*开源用于解决海量结构化日志的数据统计。
执行程序运行在Yarn上
优势:
提供了简单的优化模型
HQL类sql语法,简化MR开发
支持在HDFS和HBase上临时查询数据
支持用户自定义函数,格式
成熟JDBC和ODBC驱动程序,用于ETL和BI
稳定可靠的批处理
支持在不同计算框架运行
缺点:
Hive的执行延迟比较高,因此Hive常用于数据分析,对实时性要求不高的场合
迭代式算法无法表达
数据挖掘方面不擅长
Hive自动生成的MapRece作业,通常情况下不够智能化
Hive调优比较困难,粒度较粗
hive1和hive2的区别
(2)编译器(Physical Plan):将AST编译生成逻辑执行计划。(3)优化器(Query Optimizer):对逻辑执行计划进行优化。(4)执行器(Execution):把逻辑执行计划转换成可以运行的物理计划。对于Hive来说,就是MR/Spark。Hive通过给用户提供的一系列交互接口,接收到用户的指令(SQL),使用自己的Driver,结...
谁能简单的告诉我,hive1.X和2.X有什么区别
hiveserver2是hiveserver的改进版本,相比而言,hiveserver2更加稳定,支持的功能更多。 直接使用hiveserver2就可以了。与 Hive LLAP 的交互查询。LLAP 是在 Hive 2.0 中引入的,在 2.1 中得到改进,性能比 Hive 1 提升 25 倍之多.更可靠的 SQL ACID 事务支持,修复了超过 60 个稳定性相关问题....
jdbc连接串里hive2是什么
1. hive2是指连接Hive数据库的JDBC连接串中的一个参数。2. 在JDBC连接串中,hive2表示使用HiveServer2来进行连接,HiveServer2是Hive的一个服务,它提供了一个面向客户端的接口,可以通过JDBC等方式连接Hive数据库进行操作。3. 使用hive2连接串可以实现更高级的功能,如支持并发查询、安全认证等,同时...
hiveserver2是什么?
HiveServer2是Hive的第二代服务,用于允许远程客户端使用多种编程语言向Hive提交请求并检索结果。它基于Thrift构建,使得它可以从HiveServer1升级而来。HiveServer2解决了并发请求处理和多客户端支持的问题,同时提供了身份认证功能。它单进程运行,集成Thrift服务和Jetty Web服务器,通过Thrift服务提供TCP或HTTP...
CDH Hive 配置HiveServer2
HiveServer2和HiveServer1的连接URL格式和驱动程序类别不同:HiveServer2可以 配置 为验证所有连接; 默认情况下,它允许任何客户端连接。HiveServer2支持 Kerberos 或 LDAP 身份验证; 配置属性为hive.server2.authentication 。您还可以配置 可插入身份验证 ,它允许您为HiveServer2使用自定义身份验证提供...
hive1.x和2.x有什么区别
新增功能;修改,优化功能;以及可能的淘汰不合时宜的功能;
Hive分区的作用
区别: 1.静态分区是需要指定分区的(源数据中没有) 2.动态分区是利用数据中的字段坐分区的,(源数据中有的),🈲 主分区动态分区,次分区静态分区,使得每个主分区下面都要创建静态分区 不难看出,Hive分区,主要是以缩小数据查询范围,提高查询速度和性能的。Hive的静态分区,实际...
如何查看hive版本?
要查看Hive版本,可以通过以下命令在Hive命令行界面中查询:hive --version 或者在终端中执行以下命令:hive --service version 执行以上命令后,Hive将返回当前安装的版本号。
hive是什么
1. Hive的基本定义:Hive是Apache软件基金会的一个开源项目,它允许开发者使用SQL语句来查询和分析存储在Hadoop分布式文件系统上的大规模数据集。Hive将SQL查询转换为MapReduce、Tez或Spark作业来执行,并返回一个结果表,使数据分析变得简单和直观。2. Hive的数据存储与管理:Hive提供了数据存储和管理的基础...
hiveserver2是不是thrift方式
你好,很高兴为你解答 HiveServer或者HiveServer2都是基于Thrift的,但HiveSever有时被称为Thrift server,而HiveServer2却不会。既然已经存在HiveServer,为什么还需要HiveServer2呢?这是因为HiveServer不能处理多于一个客户端的并发请求,这是由于HiveServer使用的Thrift接口所导致的限制,不能通过修改Hive...