1 概述

1.1 版本

服务器版本
v7.2.0及之后版本

1.2 功能简介

数据开发面向各引擎提供可视化开发的主界面,赋予用户任务开发、参数配置、任务发布等强大功能,让用户轻松构建离线数仓,保证数据生产的高效与稳定。

2 功能概述

数据开发功能具有丰富的功能并且操作简单、易上手。

  • 能力丰富
    1)提供通用的同步节点,支持跨库数据同步、数据清洗计算
    2)提供多种脚本类节点,例如调用SQL脚本、Python 脚本等
    3)提供条件分支等处理复杂逻辑的流程类节点,可结合通用节点进行复杂逻辑处理
    4)支持多数据来源并发执行
  • 操作简单
    通过拖拽节点方式快速实现任务的混合编排,流程化任务开发,快速上手。

3 支持的节点

数据开发模块提供多种类型的节点,多种节点配合使用,可以满足您不同的数据处理需求。
将多个节点通过连接线连接确定任务的执行流程,数据开发目前提供的节点如下:

节点对应说明如下:

节点 作用
单表同步 将一个数据库表中的单张表抽取出来同步到另一个数据库表中
批量同步 一个数据库表中的全部表或部分表批量抽取出来同步到另一个数据库表中
数据转换 可进行数据关联、分组汇总、行列转换等复制的数据处理
SQL脚本 通过写 SQL 语句对数据库中的数据进行处理
Python脚本 支持直接引用 Python 脚本进行数据处理
条件分支 根据条件判断来决定流程的流转方向
并行分支 可实现多个节点并行运行后再并行运行多个下游节点的场景
参数赋值 通过自定义参数解决流程中需要动态改变参数值的场景
子任务 调用其他任务在当前任务中进行编排

4 任务设计步骤

任务设计步骤如下:

1、按照业务需要先选择适合的节点并进行相关的配置;
2、通过连接线将多个节点进行连接并排版,完成任务的完整流程设计;
3、通过多种调试方法对任务进行调试确保任务能够正常运行;
4、调试通过后可将任务设计文件一键发布为正式文件。

作者:fancy  创建时间:2024-06-13 11:06
最后编辑:fancy  更新时间:2025-03-27 15:47