数据来源

1 概述

1.1 版本

1.2 功能简介

本文针对[单表同步-数据来源]Tab界面中的配置项进行说明，包括：数据源和配置方式。如下图：

2 功能说明

需要抽取的数据来源支持两种：数据连接和数据集，对应类型的配置方式不同，具体如下：

2.1 数据连接

2.1.1 数据源

仅展示当前应用内已配置过的数据连接且当前用户有使用权限的选项。

目前支持的数据连接类型包括：MySQL、SQL Server、Oracle、达梦、PostgreSql、PolarDB O、ClickHouse，后续将逐步进行扩充。

数据连接配置参考“数据接入>数据连接”章节说明。

2.1.2 配置方式

来源于数据连接时，支持两种配置方式：表/视图、SQL。

2.1.1.1 表/视图

该方式是直接选择对应数据库中的表或视图进行取数，支持对数据进行简单的过滤。

1）选表/视图
显示所选数据连接中对应的表和视图，用户可搜索需要的表或视图，选择即可。

2）数据过滤
可过滤来源表的数据，内容为：使用所选数据库的语法编写 WHERE 条件语句（无需填写 WHERE 关键字）。

支持情况如下：

①支持引用自定义变量和任务参数
②支持引用数据表中字段

2.1.1.2 SQL

该方式是通过SQL语句从源数据库的表中查询取数，且支持引用任务参数，参数的写法为：${参数名称}。

左侧显示所选数据连接中对应的表和视图，用户可选择指定的表添加到右侧的SQL输入框中，如下图所示：

SQL语句支持最大化窗口进行编辑，点击SQL输入框中右下角的最大化按钮，即可进入，如下图：

2.1.3 数据预览

数据来源配置好后，可点击“数据预览”查看下获取的数据是否正确：

效果如下图：

此处仅展示前1000条数据供用户参考。
若取数异常，将显示错误信息，协助用户快速定位出错原因并修正。

2.1.2 数据集

2.1.2.1 数据源

仅展示当前应用内已配置过的数据视图且当前用户有使用权限的选项，包括JDBC数据、存储过程、MongoDB、Redis、接口数据等。

数据集配置参考“[数据接入>数据集]”章节说明。

2.1.2.2 参数

若所选数据集中有参数，此处可按需选择是否启用对应的参数并为其设置参数值。

参数值支持使用常量和表达式，表达式可引用函数、变量和任务参数。

最终获取的数据将根据参数配置过滤出对应的数据，同样，也可以通过“数据预览”查看获取的最终数据。

2.1.2.3 分页读取数据

若所选数据视图支持分页取数，则可选择分页读取数据，设置每页行数即可。