WhaleStudio Demo：如何从Aurora CDC 实时数据同步到Redshift详细演示

视频演示：https://weixin.qq.com/sph/AQ0oGKk12
今天我将向大家详细介绍 如何使用 WhaleStudio 将数据从 Aurora CDC（Change Data Capture）实时同步至 Redshift 的功能。这是一个强大的数据同步功能，它支持多种数据源，包括文件、非结构化数据以及多样化的接口。
数据支持范围

首先，WhaleStudio 支持的数据类型非常广泛，涵盖了约 200 种（视频种 160 多种为口误）不同的数据源。无论是结构化还是非结构化的数据，我们都能够进行有效的处理和同步。
开启CDC功能

在我们开始数据同步之前，有一个重要的步骤需要完成，那就是开启 CDC 的 Binlog 功能。这是因为我们的工作流程是基于读取 Binlog 来进行的。一旦成功连接到 Binlog，就可以继续进行下一步操作。
数据同步流程

接下来，我们将进入项目管理，创建实施的任务定义。这里我们支持多表同步，这意味着我们可以同时处理多个数据表的同步工作。
数据源

Source 指的是数据的来源。我们在这里选择 Aurora CDC，大家可以根据需要选择提前创建的数据源和数据库。
数据分片

在处理大量数据时，我们可能需要关注数据的分片能力。例如，如果有几十亿条数据，我们需要根据数据量进行切片处理。Aurora CDC 支持数据分片，以更好地处理数据，包括主键等信息。这对于处理大量数据时尤为重要，因为它可以帮助我们更有效地管理和同步数据。具体可以参考视频中所示的配置。
数据类型转换与目标设置

在数据同步过程中，我们需要将数据转换成 SeaTunnel 的数据类型，因为不同数据库的数据类型需要统一。这是一个模型推演，Sink 指的是数据的目的地。我们可以自定义表名，例如，源表名为 A，目标表名为 B。同时，我们可以使用内置变量来保持表名在多表同步时的一致性。
数据同步配置中有两个重要的部分：表结构处理方式和数据处理方式。
表结构处理方式

• 如果表不存在，我们将创建表。
  
• 如果表存在，我们可以选择删除并重建表，或者跳过不处理。
  

数据处理方式

• 直接删除数据。
  
• 保持表结构并删除数据。
  

我们还可以自定义路径和临时路径，因为每次写入都会先写到临时文件中，然后再加载，这是对 Redshift 数据库来说最快的方式。
任务运行与数据检验

设置完成后，我们可以进行数据同步。选择运行任务的工作流程，我们可以查看任务是否已经运行，以及读取了多少数据。例如这里，我们已经读取了1,460条数据。
实时数据插入

为了演示，我们来插入更多的数据，因为 CDC 任务可以实时读取数据。通过 SQL 任务，我们试试看插入 100 条数据，并检查 Redshift 中最终的数据量，以进行数据质量检验。
结果验证

运行任务后，我们可以检查工作流中的日志，查看读取了多少数据。这里可以看到，数据已经成功插入。
通过 Demo 我们可以了解到，WhaleStudio 数据同步的功能非常丰富，欢迎大家尝试使用，有意向者可添加小助手咨询详细信息。

本文由 白鲸开源 提供发布支持！

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

过来提前占个楼

新版吗？好像是停更了吧。

很好很强大  我过来先占个楼 待编辑

喜欢鼓捣这些软件，现在用得少，谢谢分享！

新版吗？好像是停更了吧。

感谢，下载保存了

这个有用。

感谢分享，学习下。

谢谢分享，辛苦了

感谢，下载保存了

感谢分享，下载保存了，貌似很强大

谢谢楼主提供！

感谢分享，学习下。

这个有用。

用心讨论，共获提升！

不错，里面软件多更新就更好了

谢谢楼主提供！

懂技术并乐意极积无私分享的人越来越少。珍惜

过来提前占个楼