内核发布记录

本文介绍 SelectDB 内核的发布记录。

3.0

说明 SelectDB Core 3.0 基于 Apache Doris 2.0 开发。

2024年03月31日（3.0.7）

新增功能

• 支持了审计日志插件（需要手动建审计日志表）。

改进优化

• 合入了 Apache Doris 2.0.6 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
• 执行 query 时如果 user 没设置 default cluster，则按照 cluster 名称词典顺序选取可用的（活的、有权限的）cluster。
• 集群自动停机之后，触发自动启动集群不再需要显式 use cluster。
• 优化了反向索引/日志场景的可用性和性能。
• 新优化器优化了歧义的 projection having 语法。

问题修复

• 修复了大量 delete 触发导入失败的问题。
• 修复了统计信息逻辑重复触发 SQL 导致集群自动停机逻辑失效的问题。
• 修复了导入指定 UTC 时区转换错误的问题。

2024年02月05日（3.0.6）

新增功能

• 支持了自动 analyze。
• 支持了宽表导入。
• 支持了 group commit（攒批/实时 导入）。
• 支持了 in left join infer。

改进优化

• 合入了 Apache Doris 2.0.4 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
• 优化了导入失败时的错误提示。

问题修复

• 修复了集群重启可能会导致 cluster 权限失效的问题。
• 修复了从 2.4.x 系列版本升级到 3.0.x 系列版本失败的问题。
• 修复了 show processlist 指令输出排版错位的问题。
• 修复了 alter table TTL 属性可能不生效（show 出来是 0 ）的问题。
• 修复了查询偶尔报 failed to initialize storage reader 的问题。
• 修复了 parquet reader 异常路径可能会导致内存泄漏的问题。
• 修复了外表 date_sub, data_add, to_date 函数下推的问题。
• 修复了 colocate 因为参与 balance 导致 colocate jion 规划失效的问题。
• 修复了 alter colocate 属性 replay 失败的问题。
• 修复了 delete 条件带特殊字符导致不能查询数据的问题。
• 修复了读查询小概率报 NOT_IMPLEMENTED_ERROR 的问题。
• 修复了导入时区转换导致数据不正确的问题。
• 修复了 substr() 传入负值会导致 coredump 的问题。
• 修复了若干稳定性问题。

2023年12月20日（3.0.5）

新增功能

• 提供了 stream load 兼容 API。

/api/{db}/{table}/_stream_load_2pc

• 开放了 show /proc/statistic 的白名单。

改进优化

• 合入了 Apache Doris 2.0.3 (opens in a new tab) 版本的所有功能（不建议开启自动 analyze 功能）、改进优化和问题修复。
• 提升了 mow 表导入的稳定性。
• 提升了 dynamic table 建表速度。
• 提升了生成 plan 的性能。
• 优化了 decimal 运算行为。
• 提升了稳定性。

问题修复

• 修复了 S3 buffer 不够可能会导致写入卡住的问题。
• 修复了多 cluster 场景下查询可能会报 “failed to find version path” 的问题。
• 修复了多 cluster 场景下 plan 可能会跨 cluster 的问题。
• 修复了因为改变 varchar 长度导致 dynamic partition 不能新建 partition 的问题。
• 修复了 show create table decimal 不兼容 SmartBI 的问题。
• 修复了列类型转换功能可能会不可用的问题。
• 修复了行存表属性不生效的问题。
• 修复了 base compaction 可能会失败的问题。
• 修复了点查可能查不到最新数据的问题。
• 修复了 copy into 重复文件需要等待超时的问题。
• 修复了 query_parallel_instance_num 可能会除以 0 的问题。
• 修复了 cache 命中率计算可能会不准确的问题。
• 修复了 ngram 索引不生效的问题。

2023年11月23日（3.0.4）

新增功能

• 支持了 show proc current_stmt。

改进优化

• 增强了访问控制安全性。
• 增强了上传数据校验可靠性。
• 提升了 warehouse 元数据服务可用性。
• 优化了建表 dynamic_partition.replication_num 的错误提示。

问题修复

• 修复了 SelectDB Core 2.4 升级到 3.0 可能会导致 copy into 失败的问题。
• 修复了使用 external stage 导入授权可能会失败的问题。
• 修复了 routine load 导入可能会失败的问题。
• 修复了 mow 表导入可能会失败的问题。
• 修复了实时写 insert 语句可能会失败的问题。
• 修复了 tpcds 性能下降的问题。
• 修复了非 global 的 session variable 可能不生效的问题。
• 修复了 query 中 where 大量条件使 CPU 消耗高而执行慢的问题。

2023年11月02日（3.0.3）

新增功能

• 支持了 Doris Clean Label。
• Stream Load 云上 API 兼容了 Doris 社区行为。
• 仓库内置了 JDBC Driver。

改进优化

• 新优化器 top n 默认支持了 runtime filter 裁剪。

问题修复

• 修复了仓库因为资源泄漏导致查询响应慢的问题。
• 修复了 function 语句禁用不生效的问题。
• 修复了重排列 schema change 会失败的问题。

2023年10月17日（3.0.2）

新增功能

• 增加了 S3 协议导入的 JDBC Driver URL 白名单功能。

改进优化

• 合入了 Apache Doris 2.0.2 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
• 合入了 SelectDB Core 2.3.10、2.4.4 版本的所有功能、改进优化和问题修复。
• 减少了 plan 时获取元数据的时间，加快了 plan 生成速度。
• 增加了 Query Profile 访问元数据的耗时统计。
• 均衡优化了资源利用率。

问题修复

• 修复了设置 File Cache TTL 之后读写出错的问题。
• 修复了查询 backends 表或 rowsets 表导致的服务不可用的问题。

2023年9月18日（3.0.1-beta）

改进优化

• 合入了 Apache Doris 2.0.1 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
• 合入了 SelectDB Core 2.4.3 版本的所有功能、改进优化和问题修复。
• 优化了 get version 的耗时。

2.4

说明 SelectDB Core 2.4 基于 Apache Doris 1.2 开发。

2023年11月14日（2.4.6）

问题修复

• 修复了若干计算节点内存泄漏的问题。

2023年11月06日（2.4.5）

改进优化

• 优化了 balance 的策略。

问题修复

• 修复了 replace tmp partition 导致的查询失败问题。
• 修复了 pthread 和 bthread 混用导致的死锁问题。

2023年9月20日（2.4.4）

改进优化

• 合入了 SelectDB Core 2.3.9、2.3.10 版本的所有功能、改进优化和问题修复。
• 提升了导入功能的可用性。

问题修复

• 修复了 mysql session (请求 truncate table，该 table 包含大量 partition ) 无响应的问题。

2023年9月11日（2.4.3）

新增功能

• 支持了欠费停服。

改进优化

• 合入了 SelectDB Core 2.3.8 版本的所有功能、改进优化和问题修复。
• 兼容了带 http 字符串的 s3 load endpoint。

问题修复

• 修复了 docker 环境时区的问题。

2023年8月28日（2.4.2）

新增功能

• 支持了 copy into 导入方法设置常量值。

改进优化

• 提升了存储信息统计的准确性。

问题修复

• 修复了 cloud stream load 有可能失败的问题。

2023年8月3日（2.4.1）

新增功能

• 支持了按量计费 cluster 接到请求时自动启动。
• 支持了 stream load。

改进优化

• 合入了 SelectDB Core 2.3.5、2.3.6、2.3.7 版本的所有功能、改进优化和问题修复。

问题修复

• 修复了倒排索引查询可能会失败的问题。

2023年7月3日（2.4.0）

新增功能

• 支持了通过 session variable 控制 SQL 是否使用 cache。
• 支持了 cluster 之间导入数据增量数据同步。
• 支持了基于 table cluster 的 cache 数据预热功能。
• 支持了通过 SQL 查询 cache 的使用情况。
• 支持了按量计费 cluster 闲置时自动停机。

改进优化

• 增强了数据安全。
• 提升了查询未命中 cache 时的响应速度。

问题修复

• 修复了 set default cluster 可能会失败的问题。
• 修复了升级过程可能会失败的问题。

2.3

说明 SelectDB Core 2.3 基于 Apache Doris 1.2 开发。

2023年10月16日（2.3.11）

改进优化

• 优化了 balance 的策略。

问题修复

• 修复了 replace tmp partition 导致的查询失败问题。

2023年9月20日（2.3.10）

问题修复

• 修复了 copy into 导入时延长尾的问题。

2023年9月11日（2.3.9）

问题修复

• 修复了 bitmap 类型列 in 算子导致查询不可用的问题。
• 修复了 decimal 计算精度的问题。
• 修复了在 alter 语句变更多列时，key 列变更也会走轻量级 schema change 的 bug。

2023年8月29日（2.3.8）

改进优化

• 优化了导入上传小对象的速度。

问题修复

• 修复了 decimal v3 某些情况下除法精度不对的问题（提升了 100 倍精度）。

2023年8月2日（2.3.7）

问题修复

• 修复了 decimal v2 计算的类型推断有误导致精度不准确的问题。
• 修复了 create catalog 依赖外部 driver 导致 warehouse 启动失败的问题。
• 修复了增加 bitmap index 时会给所有列创建索引的问题（可能会导致数据导入失败）。
• 修复了 copy into 导入方法的默认值不生效的问题。

2023年7月25日（2.3.6）

改进优化

• 提升了导入功能的可用性。
• 支持了 decimal v2 的 round 精度行为兼容 decimal v3。

问题修复

• 修复了查询可能卡住的问题。
• 修复了导入 error_log 可能报 403 的访问失败问题。

2023年7月19日（2.3.5）

改进优化

• 降低了小批量数据导入有 partition 倾斜时的时延。
• 增加了 audit log insert into 语句长度的限制配置，默认 4KB 截断。
• 提升了远端 IO 效率，加快了查询速度。

问题修复

• 修复了 delete 语句条件里列名大写报错的问题。
• 修复了已知的内存泄漏问题。
• 修复了 tablet balance 可能不均匀的问题。
• 修复了节点重启可能导致查询失败的问题。
• 修复了 OSS S3 load 报错的问题，增加 AWS_PROVIDER 属性。

2023年7月7日（2.3.4）

问题修复

• 修复了查询有可能不可用的问题。

2023年7月3日（2.3.3）

改进优化

• 加快了节点重启速度，提升了可用性。

问题修复

• 修复了内存泄漏的若干问题。

2023年6月27日（2.3.2）

改进优化

• 升级了仓库 mariadb client 版本。
• 减少了 file cache metrics 的维度统计。
• 新增了仓库 Fragment 执行的指标。

问题修复

• 修复了 query 执行时查询取消但 hash table 没有释放的问题。
• 修复了 compaction 之后没有回收 inverted index 文件的 bug。
• 对 sql parser 增加了 null check。
• 修复了 limit 优化后，部分 segment 无法打开的 bug。

2023年5月16日（2.3.0）

新增功能

• 支持了 MySQL TLS 连接 (默认关闭，开启需要单独配置，并且需要 mysql client 5.0.38 以上版本)。
• 支持了 Prepare stmt。
• 支持了平滑减节点，减小缩减集群规模过程中查询性能抖动。
• 支持了平滑升级，提高了版本升级过程中导入成功率。

改进优化

• 进一步提高了数据的安全性。
• 提升了 Copy into 导入方法的稳定性。
• 提供了更好的账户/数据隔离机制。

问题修复

• 同步了 doris-1.2-lts 的若干 bug fixs。
• 修复了硬盘空间不能及时清理的问题。

2.2

说明 SelectDB Core 2.2 基于 Apache Doris 1.2 开发。

2023年6月1日（2.2.34）

问题修复

• 修复了对象存储 size 不一致导致导入卡住的问题。

2023年5月15日（2.2.33）

问题修复

• 修复了 JDBC URL 或 mysql -D 带上 cluster 之后导致不可访问的问题。

2023年4月27日（2.2.32）

改进优化

• 增加了 file cache 的 metrics。

问题修复

• 同步了 doris-1.2-lts 的若干 bug fixs。
• 修复了 segment file size 乱序的问题。

2023年4月19日（2.2.31）

新增功能

• 支持了配置外部资源（HMS, external stage）时进行 dryrun 测试。
• 支持了轻量级 schema change 修改 Varchar 列的长度。
• 支持了 split compressed file 的 copy into 导入方法 。

改进优化

• 禁用了 routine load。
• 加强了数据安全。

问题修复

• 修复了查询 topn 相关的问题。
• 修复了因为淘汰 file cache 而导致查询失败的问题。
• 修复了单次导入大量 tablet 可能会失败的问题。
• 修复了倒排索引内存不稳定的问题。
• 修复了倒排索引可能会导致查询失败的问题。
• 修复了 copy into 期间文件被覆盖导致导入卡住的问题。
• 修复了重命名同名 cluster 导致 "no backend" 的问题。

2023年3月21日（2.2.21）

问题修复

• 修复了 cumulative compaction 可能不能被触发的问题。
• 修复了纯计算 plan node 可能会跨 cluster 的问题。
• 修复了执行 rename cluster 之后名称不一致的问题。
• 修复了在执行 drop cluster 时 schema change job 不能主动失败的问题。
• 修复了因 delete predicate 导致 base compaction 失败的问题。
• 修复了 create table like 的问题。

2023年2月28日（2.2.20）

改进优化

• 实现了若干个 cache 优化。
• 提升了 copy into 导入吞吐。
• 优化了空表查询性能。

问题修复

• 修复了执行 add inverted index 时数据不正确的 bug。
• 修复了 parquet 导入可能会卡住的问题。
• 修复了 Apache Doris 1.2.4 若干个跟数据湖分析有关的问题。

2023年2月9日（2.2.1）

新增功能

• 支持了 external stage 跨账号授权。

改进优化

• 优化了 copy into 上传速度。
• 优化了 show roles 对于 cluster 和 stage 权限展示。

问题修复

• 修复了计算节点可能卡死的问题。
• 修复了 temp partition 可能导致的资源泄漏的问题。
• 修复了除 admin 用户之外不能执行 show cluster 的问题。

2023年1月17日（2.2.0）

新增功能

• 支持了 String 类型的倒排索引。
• 支持了数值、日期类型的 BKD 多维数值索引。
• 支持了数组类型的倒排索引、BKD 多维数值索引。
• 支持了 dynamic table 动态修改 schema。

改进优化

• 优化了增量 ADD/DROP INDEX。
• 优化了 Index searcher cache。
• 优化了 Topn 查询（ORDER BY c1, c2 LIMIT n）性能。

问题修复

• 修复了索引过滤时不读原始列的问题。

2.0

说明 SelectDB Core 2.0 基于 Apache Doris 1.1 开发。

2023年1月5日（2.0.15）

新增功能

• 支持了 rename warehouse。

改进优化

• 优化了 Copy into delete sign。
• 支持了在执行 Copy into 创建 stage 时能够自动判断对象信息是否有效。
• 优化了 Tablet balance partition 级别。
• 增加了对 cache 的配置参数类型的检查。
• 优化了 tablet sink profile。
• 完善了权限体系。

问题修复

• 修复了 sync_tablet_rowsets 里面误判 stale request 的问题。
• 修复了 load job 泄露的问题。
• 修复了 partition 级别的 balance 的 bug。

2022年12月14日（2.0.14）

新增功能

• 支持了 Select 语句通过 hint 设置 cluster。
• 支持了每个表保留若干个 copy job。

改进优化

• 优化了导入写 s3 的性能。
• 导入的 Segment index 上传到对象存储之后，会提前进到 read cache。

问题修复

• 修复了导入 parquet 时规划和执行的数据类型不匹配导致日志导入失败的问题。
• 修复了导入跨 cluster 的问题。

2022年12月2日（2.0.13）

新增功能

• 支持了 copy into 语句附加条件 delete on。
• 支持了 show data 语句显示整个 warehouse 的数据量。

改进优化

• 恢复了 show processlist 语句的使用。
• 提升了回收已 drop 的 stage 的速度。
• 提升了 cache 数据落盘的速度。

问题修复

• 修复了在执行 drop cluster 时 warehouse 行为不一致的问题。

2022年11月26日（2.0.12）

改进优化

• 支持了 Create stage 时校验对象存储信息的有效性。

问题修复

• 修复了 write cache 可能被提前删除的问题。
• 修复了 cache 可能不被命中的问题。
• 修复了非 colocate 表 tablet 可能分布不均的问题。