批量同步

1 概述

1.1 版本

1.2 应用场景

【批量同步】即多表批量进行数据同步，在数据开发平台中应用比较广泛，涉及数据仓库构建、迁移、备份、分发、实时分析、清洗、多数据中心同步、归档、集成及测试等多个场景，确保数据在不同系统间高效、准确地流动。

1.3业务场景

1. 客户数据整合
   企业从多个渠道（CRM、客服系统、电商平台、社交媒体）获取客户信息，但数据分散、格式不统一（如手机号格式差异、地址冗余、重复记录）。需要将客户基本信息表（CRM）、订单表（电商）、投诉记录表（客服系统）同步后去重、标准化、关联补充后生成完整的客户360视图。

2. 跨系统报表生成
   企业需从多个业务系统（财务、HR、销售）抽取数据生成管理报表。需要将财务科目余额表（财务系统）、员工绩效表（HR系统）、销售目标达成表（BI平台）同步后数据补全、校验生成合规的合并报表。

1.4 功能简介

“数据同步”节点通过定义数据来源、数据去向、同步策略，可快速完成数据的同步。

2 功能说明

通过“数据来源”、“数据去向”和“同步策略”配置，将源数据中的全部表或部分表直接抽取并写入到目标数据库中。

2.1 数据来源

支持数据库、API等多种数据源，可以选择多个表进行同步，也可以整个库同步。
目前支持的数据连接类型包括：MySQL、SQL Server、Oracle、达梦、PostgreSql、PolarDB O、ClickHouse，后续将逐步进行扩充。

选择“自定义”时可点击“选择表”进入选择界面，可按需选择需要进行同步的多张表，如下图：

2.2 数据去向

将数据写入到指定的数据库中，选择目标数据库即可，无需逐个进行目标表以及表字段映射的配置，默认同步到目标数据库对应表中（已存在同名表直接同步到对应表，不存在则自动创建对应表，保持和源表相同的结构）。
目前支持的数据连接类型包括：MySQL、SQL Server、Oracle、达梦、PostgreSql、PolarDB O、ClickHouse，后续将逐步进行扩充。

2.3 同步策略

按需配置批量同步的同步策略，包括是否允许并行同步、是否进行数据完整校验、写入模式配置等。

1）并行同步
是否允许多张表同一时间同时进行同步，允许时可设置并行度（线程数量限制，最大64个，超出限制数量时剩余表则处于等待状态）。
2）数据完整校验
同步过程结束后是否进行同步表的数量以及表的总行数是否相等的校验，校验失败时可在日志中查看错误日志。
3）写入模式
支持支持三种模式：插入/更新、清空目标表后再添加、清空目标表结构和数据后再添加。
具体说明如下：

4）表失败策略
表数据同步时若某张表同步失败，则其他表数据同步支持“中止”和“继续”两种策略。
中止：当前同步任务异常中止。
继续：失败表跳过，其他表正常进行同步。