SeaTunnel SelectDB Sink

SeaTunnel SelectDB Sink 支持通过 SeaTunnel 将上游的数据写入到SelectDB中。

版本支持

SeaTunnel 2.3.1以上，支持connector-v2中的Flink、Spark以及ST Engine

使用方法

Json写入

sink {
  SelectDBCloud {
    load-url="warehouse_ip:http_port"
    jdbc-url="warehouse_ip:mysql_port"
    cluster-name="Cluster"
    table.identifier="test.test"
    username="admin"
    password="******"
    selectdb.config {
        file.type="json"
    }
  }
}

CSV写入

sink {
  SelectDBCloud {
    load-url="warehouse_ip:http_port"
    jdbc-url="warehouse_ip:mysql_port"
    cluster-name="Cluster"
    table.identifier="test.test"
    username="admin"
    password="******"
    selectdb.config {
        file.type="csv"
        file.column_separator=","
        file.line_delimiter="\n" 
    }
  }
}

配置项

name	type	Required	defaultvalue	Description
load-url	string	Y	-	SelectDB Cloud warehouse http地址，格式为warehouse_ip:http_port
jdbc-url	string	Y	-	SelectDB Cloud warehouse jdbc地址，格式为warehouse_ip:mysql_port
cluster-name	string	Y	-	SelectDB Cloud 集群名称
username	string	Y	-	SelectDB Cloud 用户名
password	string	Y	-	SelectDB Cloud 密码
table.identifier	string	Y	-	写入的表，例：db.table
selectdb.config	map	Y	-	写入属性配置 CSV 写入： selectdb.config { file.type='csv' file.column_separator=',' file.line_delimiter='\n' } JSON 写入: selectdb.config { file.type="json" file.strip_outer_array="false" }
sink.enable-delete	bool	N	false	是否开启批量删除功能（仅支持unique表）
sink.buffer-size	int	N	10 * 1024 * 1024 (10MB)	缓存的最大容量，单位字节，超过会flush到对象存储上，默认10MB,不建议修改。
sink.buffer-count	int	N	10000	缓存的最大条数，超过会flush到对象存储上，默认10000，不建议修改。
sink.max-retries	int	N	3	Commit阶段的最大重试次数，默认3次

DataX SelectDB Writer BitSail SelectDB Sink