Hive几种导出数据方式
1.拷贝文件
如果数据文件恰好是用户需要的格式,那么只需要拷贝文件或文件夹就可以。
hadoop fs –cp source_path target_path
2.导出到本地文件系统
--不能使用insert into local directory来导出数据,会报错
--只能使用insert overwrite local directory来导出数据
--hive0.11版本之前,只能使用默认分隔符^A(ascii码是\00001)
insert overwrite local directory '/home/sopdm/wrk'
select id,name,tel,age from sopdm.wyp;
--hive0.11版本之后,可以指定分隔符
insert overwrite local directory '/home/sopdm/wrk'
row format delimited
fields terminated by ','
select id,name,tel,age from sopdm.wyp;
--导出数据到多个输出文件夹
from employees se
insert overwrite local directory ‘/tmp/or_employees’
select * se where se.cty=’US’ and se.st=’OR’
insert overwrite local directory ‘/tmp/ca_employees’
select * se where se.cty=’US’ and se.st=’CA’
3.导出到HDFS
--比导出文件到本地文件系统少了一个local
insert overwritedirectory '/home/sopdm/wrk'
select id,name,tel,age from sopdm.wyp;
--hive0.11版本之后,可以指定分隔符
insert overwritedirectory '/home/sopdm/wrk'
row format delimited
fields terminated by ','
select id,name,tel,age from sopdm.wyp;
4.导出到hive的另一张表
insert into table sopdm.wyp2
partition(age='25')
select id,name,tel,age from sopdm.wyp;
5.使用hive的-e和-f参数命令导出数据
--使用hive的-e参数
hive –e “select * from wyp” >> /local/wyp.txt
--使用hive的-f参数, wyp.hql中为hql语句
hive –f wyp.hql >> /local/wyp2.tx
注: 这种导出方式能够将数据导出到一个文件,前面几种导出方式是可能会生成多个文件
本文转自:http://gaoxianwei.iteye.com/blog/2158475
相关推荐
Hive几种数据导出方式,总结的几种方式希望能帮到大家
hive数据加载的几种方式、数据的导出、数据简单查询
支持hive 源数据、表结构导出
Ambari搭建hadoop环境下,hive的数据导入
《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第...
出现此问题时使用:java.lang.NullPointerException at org.json.JSONObject.(JSONObject.java:144) at org.apache.sqoop.util.SqoopJsonUtil.getJsonStringforMap(SqoopJsonUtil.java:43) at org.apache.sqoop....
1.将Mysql中的数据迁移到Hdfs文件系统中,然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点: 1.数据迁移的过程中,由于hive的Null值存储为"\N",Mysql存储为NULL值,二者...
hive造数据
datax数据从hive表导入mysql表,数据缺失解决
通过shell脚本,批量把一个库下面的表结构全部导出,在开发环境执行过。
Hive.sql
利用Hive进行复杂用户行为大数据分析及优化案例(全套视频+课件...14_Hive中的数据倾斜及解决方案-三种join方式 15_Hive中的数据倾斜及解决方案-group by 16_Hive中使用正则加载数据 17_Hive中使用Python脚本进行预处理
所以需要钉钉报警校验ElasticSearch和Hive数据仓库内的数据质量,注意,这个项目打包后,最好另起一个进程调用,并且开始时间为文章1或者2最大预估的结束时间后的10分钟后调用,这样可以校验两种情形: 1.ETL项目被...
spring-boot集成mybatis+druid实现 hive/mysql多数据源切换,用mysql数据库作为用户验证库以及用户信息库,hive作为数据可视化源库。
(3)sqoop数据迁移,完成HIve与MySQL数据库中的数据交互 (4)Echarts搭建动态可视化大屏 (5)SpringBoot搭建可视化后台系统,完成前端与后台的数据传递与交互。 (6)基于Cenots7 搭建虚拟机,配置Hadoop、HDFS、...
hive的表数据,可以到我的博客,有建表语句,我的链接是 https://blog.csdn.net/qq_43662627/article/details/121033176
实现elasticsearch与hive数据互通 环境 实验性单节点集群 vagrant.linux16.4.4(无doctor) hive2.3.3+beeline es6.2.2 kibana6.2.2 elasticsearch-hadoop-6.2.2.jar 没有doctor
python 利用pyhive 连接hiveserver2,系统linux 系统,通过pd 导出excel
林子雨Hive数据集下载
五种常见数据库(oracle,teradata,gbase,hive,db2),通过指令的方式导出csv格式文件的总结,实例.例如spool,select.. into outfile,export .... of del,fastExport.