hive如何去掉重复数据,显示第一条

发布网友发布时间：2022-04-25 12:49

共2个回答

懂视网时间：2022-05-03 12:13

select count (字段1，字段2) from 表1； 2 3 结果 200条数据 4 5 select count (distinct 字段1，字段2) from 表1； 6 7 结果 100条数据 8 9 相当于后者可以实现查出来去重后的数据 10 11 create table 表1_bak as select distinct 字段1，字段2 from 表1; --备份表数据 12 13 delete from 表1; 14 15 insert into 表1 select * from 表1_bak；

hive数据库如何去重，去除相同的一模一样的数据

标签：span pre tin delete bak 实现 strong style 原理

热心网友时间：2022-05-03 09:21

去重没问题啊，distinct 就好了，显示第一条可以用row_number函数，不同版本hive的row_number有所不同，你自己查一下吧，row_number可以对同一个key从1开始编号的。