Sqoop的简单使用案例2

网络安全邮递员 lv.1

发布时间：2022-09-21 10:41:49 324

相关标签： # mysql# sql# 数据# 脚本

Sqoop的简单使用案例

2、导出数据

在Sqoop中，"导出"概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，
即使用export关键字。
》1 HIVE/HDFS到RDBMS

$ bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--num-mappers 1 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"

提示：Mysql中如果表不存在，不会自动创建

3、脚本打包

使用opt格式的文件打包sqoop命令，然后执行

创建一个.opt文件

$ mkdir opt
$ touch opt/job_HDFS2RDBMS.opt

编写sqoop脚本

$ vi opt/job_HDFS2RDBMS.opt

添加以下内容

export
--connect
jdbc:mysql://hadoop102:3306/company
--username
root
--password
000000
--table
staff
--num-mappers
1
--export-dir
/user/hive/warehouse/staff_hive
--input-fields-terminated-by
"\t"

执行该脚本

$ bin/sqoop --options-file opt/job_HDFS2RDBMS.opt

文章来源： https://blog.51cto.com/u_12937594/5680586

特别声明：以上内容（图片及文字）均为互联网收集或者用户上传发布，本站仅提供信息存储服务！如有侵权或有涉及法律问题请联系我们。