Releases · qlangtech/flink-cdc

Abstract

TIS的v4.2.0版本终于完成了开发，v4.2.0在以下几方面进行了功能加强和升级。https://github.com/datavane/tis/milestone/8?closed=1

在v4.1.0发布后，用户使用过程中发现的一些bug及缺陷进行修复
针对本地CSV文件导入到hive数仓中无法设置主键这一问题进行改造，添加了自动生成主键的Transformer功能
对离线分析功能进行了完善，由于之前版本中添加了别名表及Transformer功能，并且由于离线分析EMR没有进行全面回归测试，在v4.1.0版本中不可用，在此版本中进行了修复并且成功经过全链路集成测试
针对SqlServer数据库监听获取到的同步时间会比数据库实际时间晚8个小时进行了改造，确保两者时间一致。

SqlServer -> MySQL 增量，起始位点使用Initial，报异常：Caused by: java.lang.IllegalStateException: invalid op:READ#438
从sqlserver2016增量数据同步到pg13时，时间列会加8小时。#437
创建 Hive数据源时时候，支持指定路径HDFS路径与dbName不一致#436
建表任务和DataX任务都执行成功，但是表中没数据，报错：table ftp_datax shall have create in 'createPreExecuteTask'#435
4.1.0上使用离线分析时，出现异常#429
Oracle ->Doris设置了dataMasking Transformer执行出错#425
迁移oracle数据源设置时区设置#424
MySQL同步StarRocks，批量构建同步，设置执行presql报错#423
Oracle->Doris 增量实时同步失败#421
MySQL同步StarRocks，创建实时任务报错。#418
[Bug][Tis]任务描述：执行Hive2Doris导入，传递SelectedTab的cols结构体中type: null，导致校验不通过，无法创建同步管道任务。#391

TIS的v4.1.0版本终于要与大家见面了，v4.1.0在以下几方面进行了功能加强和升级。

扩展TIS生态，新增多个实时 CDC Connector，如SqlServer，MongoDB，Oracle，人大金仓KingBase，Kafka，PostgreSQL。
支持源表列注释同步到目标表列，该功能在AI Chat-DB的场景中尤为重要。例如，用户将数据同步到 OLAP 库Doris中，Chat-DB需要依赖目标表的列注释来自动生成SQL，如用户手动同步会非常繁琐。
为Doris 添加了多个实用的功能，支持Doris 同步目标表DDL自动生成参数化，如：用户可以指定副本数、分桶数，另外，用户可批量添加目标表前缀，如：“ods_”
优化了Hive表导入、导出功能，增加了多种主流文件格式，如：Parquet、OCR、HFile，并且支持非分区表读取。
为了繁荣TIS生态构建，实现TIS社区良性发展，引入众包协作机制，让第三方开发者与TIS的用户有效互动、相互协助，TIS实现社区协作机制 https://tis.pub/community-collaboration
去除了之前添加的Zeppelin Notebook相关功能模块，实际使用下来使用者寥寥，切会增大TIS发布包体积，因此在该版本中将其去除。

由于flink 类更改导致序列化版本不一致错误，而客户端界面无法感知到错误#406
利用FTP将CSV文件导入doris 配置流程出错#404
4.0.1版本MySQL--> Doris，数据管道中的 Writer部分的 maxBatchSize 参数修改不生效#392
使用JSON Splitter拆分记录中的JSON字段内容出错#390
使用sqlserver2008创建数据源时，出现报错java.lang.RuntimeException: java.lang.NoClassDefFoundError: javax/xml/bind/DatatypeConverter#381
MongoDB作为数据源不支持Transformer功能#371
MongoDB 作为source源执行预览查看报错#370