上云无忧 > 文档中心 > 百度数据仓库 Palo 导出查询结果集
百度数据仓库 Palo Doris版
百度数据仓库 Palo 导出查询结果集

文档简介:
本文档介绍如何使用 SELECT INTO OUTFILE 命令进行查询结果的导出操作。 功能介绍: SELECT INTO OUTFILE 语句可以将查询结果导出到文件中。 目前支持通过 Broker 进程导出到远端存储,如 HDFS,S3,BOS 上。或者直接导出到 Compute Node 所在节点的本地磁盘上(云上用户不支持)。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

本文档介绍如何使用 SELECT INTO OUTFILE 命令进行查询结果的导出操作。

功能介绍

SELECT INTO OUTFILE 语句可以将查询结果导出到文件中。

目前支持通过 Broker 进程导出到远端存储,如 HDFS,S3,BOS 上。或者直接导出到 Compute Node 所在节点的本地磁盘上(云上用户不支持)。

用户可以通过这个命令,借助灵活的 SQL 语法,将期望的查询结果进行导出。

执行导出命令

SELECT INTO OUTFILE 本质上是一个同步的 SQL 查询命令。因此受到会话变量 query_timeout 的超时限制。如果导出较大结果集或 SQL 本身执行时间较长时,请先设置合理的超时时间。

  1. 导出到 BOS

    SELECT * FROM example_tbl INTO OUTFILE "bos://my_bucket/result_" FORMAT AS CSV
    PROPERTIES ( "broker.name" = "bos", "broker.bos_endpoint" = "http://bj.bcebos.com", 

    以上命令将 SQL 语句 SELECT * FROM example_tbl 的结果导出到 BOS 上。

  2. "broker.bos_accesskey" = "xxxxxxxxxxxxxxxxxxxxxxxxxx", "broker.bos_secret_accesskey" = 
  3. "yyyyyyyyyyyyyyyyyyyyyyyyyy" "column_separator" = ",", "line_delimiter" = "\n", "max_file_size" = "100MB" );
  4. 导出到 Compute Node 节点的本地磁盘

    SELECT * FROM example_tbl INTO OUTFILE "file:///home/work/path/result_" FORMAT AS CSV
    PROPERTIES ( "column_separator" = ",", "line_delimiter" = "\n", "max_file_size" = "100MB" );

    以上命令会将结果导出到某一个 Compute Node 节点的指定磁盘路径上。

    公有云 PALO 用户因无法直接访问节点,因此不支持导出到本地磁盘的功能。

  5. 导出到 BOS,并在成功后生成一个标识文件。

    SELECT * FROM example_tbl INTO OUTFILE "bos://my_bucket/result_" FORMAT AS CSV
    PROPERTIES ( "broker.name" = "bos", "broker.bos_endpoint" = "http://bj.bcebos.com", 

    以上命令将 SQL 语句 SELECT * FROM example_tbl 的结果导出到 BOS 上。并会在成功后,创建一个 result_

  6. SUCCESS 的空文件标识。用户可以通过这个标识,来判断导出是否完成。

  7. "broker.bos_accesskey" = "xxxxxxxxxxxxxxxxxxxxxxxxxx", "broker.bos_secret_accesskey" = 
  8. "yyyyyyyyyyyyyyyyyyyyyyyyyy" "column_separator" = ",", "line_delimiter" = "\n", "max_file_size" 
  9. = "100MB", "success_file_name" = "SUCCESS" );

关于语句的详细说明,请参阅 SELECT INTO OUTFILE。

查看返回结果

导出命令为同步命令。命令返回,即表示操作结束。同时会返回一行结果来展示导出的执行结果。

如果正常导出并返回,则结果如下:

mysql> select * from tbl1 limit 10 into outfile "file:///home/work/path/result_"; +----------
--+-----------+----------+--------------+ | FileNumber | TotalRows | FileSize | URL | +---------
---+-----------+----------+--------------+ | 1 | 2 | 8 | 192.168.1.10 | +------------+-----
------+----------+--------------+ 1 row in set (0.05 sec)

  • FileNumber:最终生成的文件个数。
  • TotalRows:结果集行数。
  • FileSize:导出文件总大小。单位字节。
  • URL:如果是导出到本地磁盘,则这里显示具体导出到哪个 Compute Node。

如果执行错误,则会返回错误信息,如:

mysql> SELECT * FROM tbl INTO OUTFILE ... ERROR 1064 (HY000): errCode = 2, detailMessage = Open broker writer failed ...

相似文档
  • Sugar 是百度智能云推出的敏捷BI和数据可视化平台,组件丰富,开箱即用,无需SQL和任何编码。PALO完美兼容云可视化平台Sugar,PALO和Sugar配合,可以实现高性能的可视化图表分析及强大的交互分析。
  • Palo支持连接Navicat,您可以根据以下的指导步骤来连接您的数据库管理工具Navicat。 准备工作: 安装Navicat。 为Palo集群的Leader Node绑定EIP。 连接Palo。 新建连接,选择MySQL。 然后配置连接信息: 连接名:用户自定义即可。 IP地址:填写Palo的Leader Node绑定的EIP地址(LeaderNode协议公网地址)。 端口:填写MySQL协议连接目标的端口号,一般默认为9030。
  • Palo支持连接Tableau,您可以根据以下的指导步骤来连接您的Tableau。 准备工作: 安装Tableau。 为Palo集群的Leader Node绑定EIP。 连接Palo: 在任意位置新建文件:mysql.tdc,并在文件内,添加下述内容:
  • Palo支持连接DBeaver,您可以根据以下的指导步骤来连接您的数据库管理工具DBeaver。 准备工作: 安装DBeaver。 为Palo集群的Leader Node绑定EIP。 连接Palo。 新建连接,选择MySQL,点击下一步。 然后配置连接信息:
  • Palo支持连接永洪BI,您可以根据以下的指导步骤来连接您的永洪BI。 准备工作: 安装并登录永洪BI。 为Palo集群的Leader Node绑定EIP。 连接Palo。 启动永洪BI,点击左上方新建,在连接数据源处选择 MySQL。 然后按照如下方式,填写数据源配置: 驱动:选择 默认驱动:com.mysql.jdbc.Driver 即可。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部