SelectDB Cloud
动态与公告
内核发布记录

内核发布记录

本文介绍 SelectDB 内核的发布记录。


4.0

说明 SelectDB Core 4.0 基于 Apache Doris 2.1 开发。

2024年05月15日(4.0.0)

新增功能

  • 支持了多表物化视图(MTMV),支持透明改写加速、自动刷新、外表到内表的物化视图以及物化视图直查,基于这一能力,物化视图也可用于数据仓库分层建模、作业调度和数据加工。
  • 支持了全新的 Variant 和 IP 数据类型,完善了一系列分析函数,使得面向复杂半结构化数据的存储和分析处理变得更加轻松。
  • 支持了自增列、自动分区、服务端积攒批量请求后集中提交的能力,提高了大规模数据实时写入的效率。
  • 支持了基于 Arrow Flight 的高速读取接口,使得数据传输效率增加了 100 倍,轻松面向数据科学以及其他形式的大规模数据读取场景。

改进优化

  • 合入了 Apache Doris 2.1.0 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
  • 大幅提升了开箱盲测查询性能,在不做调优的情况下取得较好的性能表现,包含了对复杂 SQL 查询性能的进一步提升,在 TPC-DS 1TB 测试数据集上获得超过 100% 的性能提升,查询性能在业界处于先进位置。
  • 大幅提升了数据湖分析方面的性能,相对于 Trino 和 Spark 分别有 4 到 6 倍的性能提升,并引入了多 SQL 方言兼容、便于用户从原有系统无缝切换至 SelectDB Cloud 数据仓库。

3.0

说明 SelectDB Core 3.0 基于 Apache Doris 2.0 开发。

2024年05月15日(3.0.8)

新增功能

  • 支持了 recycler 限速。
  • 支持了 show proc 语句。

改进优化

  • 合入了 Apache Doris 2.0.10 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
  • 优化了建表耗时。
  • 优化了 mow 表 delete bitmap 计算速度,提高导入吞吐。
  • 优化了 mow 表高频导入(版本多)查询速度。

问题修复

  • 修复了 rename cluster 之后指标不正确的问题。
  • 修复了 rename cluster 之后流量统计不准确的问题。
  • 修复了 show processlist 格式不对的问题。
  • 修复了 schema change 内存不够导致失败的问题。
  • 修复了 audit log 组件导入权限的问题。

2024年03月31日(3.0.7)

新增功能

  • 支持了审计日志插件(需要手动建审计日志表)。

改进优化

  • 合入了 Apache Doris 2.0.6 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
  • 执行 query 时如果 user 没设置 default cluster,则按照 cluster 名称词典顺序选取可用的(活的、有权限的)cluster。
  • 集群自动停机之后,触发自动启动集群不再需要显式 use cluster。
  • 优化了反向索引/日志场景的可用性和性能。
  • 新优化器优化了歧义的 projection having 语法。
  • 提升了反向索引 compound in list 性能。

问题修复

  • 修复了大量 delete 触发导入失败的问题。
  • 修复了统计信息逻辑重复触发 SQL 导致集群自动停机逻辑失效的问题。
  • 修复了导入指定 UTC 时区转换错误的问题。
  • 从 JDBC 修复了 show process list 报错的问题。
  • 修复了表属性 ttl_seconds 在做完 checkpoint 之后重启清 0 的问题。
  • 修复了 date/month/year add function。
  • 修复了 datetimev2 round 函数出错的问题。

2024年02月05日(3.0.6)

新增功能

  • 支持了自动 analyze。
  • 支持了宽表导入。
  • 支持了 group commit(攒批/实时 导入)。
  • 支持了 in left join infer。

改进优化

问题修复

  • 修复了集群重启可能会导致 cluster 权限失效的问题。
  • 修复了从 2.4.x 系列版本升级到 3.0.x 系列版本失败的问题。
  • 修复了 show processlist 指令输出排版错位的问题。
  • 修复了 alter table TTL 属性可能不生效(show 出来是 0 )的问题。
  • 修复了查询偶尔报 failed to initialize storage reader 的问题。
  • 修复了 parquet reader 异常路径可能会导致内存泄漏的问题。
  • 修复了外表 date_sub, data_add, to_date 函数下推的问题。
  • 修复了 colocate 因为参与 balance 导致 colocate jion 规划失效的问题。
  • 修复了 alter colocate 属性 replay 失败的问题。
  • 修复了 delete 条件带特殊字符导致不能查询数据的问题。
  • 修复了读查询小概率报 NOT_IMPLEMENTED_ERROR 的问题。
  • 修复了导入时区转换导致数据不正确的问题。
  • 修复了 substr() 传入负值会导致 coredump 的问题。
  • 修复了若干稳定性问题。

2023年12月20日(3.0.5)

新增功能

  • 提供了 stream load 兼容 API。
/api/{db}/{table}/_stream_load_2pc
  • 开放了 show /proc/statistic 的白名单。

改进优化

  • 合入了 Apache Doris 2.0.3 (opens in a new tab) 版本的所有功能(不建议开启自动 analyze 功能)、改进优化和问题修复。
  • 提升了 mow 表导入的稳定性。
  • 提升了 dynamic table 建表速度。
  • 提升了生成 plan 的性能。
  • 优化了 decimal 运算行为。
  • 提升了稳定性。

问题修复

  • 修复了 S3 buffer 不够可能会导致写入卡住的问题。
  • 修复了多 cluster 场景下查询可能会报 “failed to find version path” 的问题。
  • 修复了多 cluster 场景下 plan 可能会跨 cluster 的问题。
  • 修复了因为改变 varchar 长度导致 dynamic partition 不能新建 partition 的问题。
  • 修复了 show create table decimal 不兼容 SmartBI 的问题。
  • 修复了列类型转换功能可能会不可用的问题。
  • 修复了行存表属性不生效的问题。
  • 修复了 base compaction 可能会失败的问题。
  • 修复了点查可能查不到最新数据的问题。
  • 修复了 copy into 重复文件需要等待超时的问题。
  • 修复了 query_parallel_instance_num 可能会除以 0 的问题。
  • 修复了 cache 命中率计算可能会不准确的问题。
  • 修复了 ngram 索引不生效的问题。

2023年11月23日(3.0.4)

新增功能

  • 支持了 show proc current_stmt。

改进优化

  • 增强了访问控制安全性。
  • 增强了上传数据校验可靠性。
  • 提升了 warehouse 元数据服务可用性。
  • 优化了建表 dynamic_partition.replication_num 的错误提示。

问题修复

  • 修复了 SelectDB Core 2.4 升级到 3.0 可能会导致 copy into 失败的问题。
  • 修复了使用 external stage 导入授权可能会失败的问题。
  • 修复了 routine load 导入可能会失败的问题。
  • 修复了 mow 表导入可能会失败的问题。
  • 修复了实时写 insert 语句可能会失败的问题。
  • 修复了 tpcds 性能下降的问题。
  • 修复了非 global 的 session variable 可能不生效的问题。
  • 修复了 query 中 where 大量条件使 CPU 消耗高而执行慢的问题。

2023年11月02日(3.0.3)

新增功能

  • 支持了 Doris Clean Label。
  • Stream Load 云上 API 兼容了 Doris 社区行为。
  • 仓库内置了 JDBC Driver。

改进优化

  • 新优化器 top n 默认支持了 runtime filter 裁剪。

问题修复

  • 修复了仓库因为资源泄漏导致查询响应慢的问题。
  • 修复了 function 语句禁用不生效的问题。
  • 修复了重排列 schema change 会失败的问题。

2023年10月17日(3.0.2)

新增功能

  • 增加了 S3 协议导入的 JDBC Driver URL 白名单功能。

改进优化

  • 合入了 Apache Doris 2.0.2 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
  • 合入了 SelectDB Core 2.3.10、2.4.4 版本的所有功能、改进优化和问题修复。
  • 减少了 plan 时获取元数据的时间,加快了 plan 生成速度。
  • 增加了 Query Profile 访问元数据的耗时统计。
  • 均衡优化了资源利用率。

问题修复

  • 修复了设置 File Cache TTL 之后读写出错的问题。
  • 修复了查询 backends 表或 rowsets 表导致的服务不可用的问题。

2023年9月18日(3.0.1-beta)

改进优化

  • 合入了 Apache Doris 2.0.1 (opens in a new tab) 版本的所有功能、改进优化和问题修复。
  • 合入了 SelectDB Core 2.4.3 版本的所有功能、改进优化和问题修复。
  • 优化了 get version 的耗时。

2.4

说明 SelectDB Core 2.4 基于 Apache Doris 1.2 开发。

2023年11月14日(2.4.6)

问题修复

  • 修复了若干计算节点内存泄漏的问题。

2023年11月06日(2.4.5)

改进优化

  • 优化了 balance 的策略。

问题修复

  • 修复了 replace tmp partition 导致的查询失败问题。
  • 修复了 pthread 和 bthread 混用导致的死锁问题。

2023年9月20日(2.4.4)

改进优化

  • 合入了 SelectDB Core 2.3.9、2.3.10 版本的所有功能、改进优化和问题修复。
  • 提升了导入功能的可用性。

问题修复

  • 修复了 mysql session (请求 truncate table,该 table 包含大量 partition ) 无响应的问题。

2023年9月11日(2.4.3)

新增功能

  • 支持了欠费停服。

改进优化

  • 合入了 SelectDB Core 2.3.8 版本的所有功能、改进优化和问题修复。
  • 兼容了带 http 字符串的 s3 load endpoint。

问题修复

  • 修复了 docker 环境时区的问题。

2023年8月28日(2.4.2)

新增功能

  • 支持了 copy into 导入方法设置常量值。

改进优化

  • 提升了存储信息统计的准确性。

问题修复

  • 修复了 cloud stream load 有可能失败的问题。

2023年8月3日(2.4.1)

新增功能

  • 支持了按量计费 cluster 接到请求时自动启动。
  • 支持了 stream load。

改进优化

  • 合入了 SelectDB Core 2.3.5、2.3.6、2.3.7 版本的所有功能、改进优化和问题修复。

问题修复

  • 修复了倒排索引查询可能会失败的问题。

2023年7月3日(2.4.0)

新增功能

  • 支持了通过 session variable 控制 SQL 是否使用 cache。
  • 支持了 cluster 之间导入数据增量数据同步。
  • 支持了基于 table cluster 的 cache 数据预热功能。
  • 支持了通过 SQL 查询 cache 的使用情况。
  • 支持了按量计费 cluster 闲置时自动停机。

改进优化

  • 增强了数据安全。
  • 提升了查询未命中 cache 时的响应速度。

问题修复

  • 修复了 set default cluster 可能会失败的问题。
  • 修复了升级过程可能会失败的问题。

2.3

说明 SelectDB Core 2.3 基于 Apache Doris 1.2 开发。

2023年10月16日(2.3.11)

改进优化

  • 优化了 balance 的策略。

问题修复

  • 修复了 replace tmp partition 导致的查询失败问题。

2023年9月20日(2.3.10)

问题修复

  • 修复了 copy into 导入时延长尾的问题。

2023年9月11日(2.3.9)

问题修复

  • 修复了 bitmap 类型列 in 算子导致查询不可用的问题。
  • 修复了 decimal 计算精度的问题。
  • 修复了在 alter 语句变更多列时,key 列变更也会走轻量级 schema change 的 bug。

2023年8月29日(2.3.8)

改进优化

  • 优化了导入上传小对象的速度。

问题修复

  • 修复了 decimal v3 某些情况下除法精度不对的问题(提升了 100 倍精度)。

2023年8月2日(2.3.7)

问题修复

  • 修复了 decimal v2 计算的类型推断有误导致精度不准确的问题。
  • 修复了 create catalog 依赖外部 driver 导致 warehouse 启动失败的问题。
  • 修复了增加 bitmap index 时会给所有列创建索引的问题(可能会导致数据导入失败)。
  • 修复了 copy into 导入方法的默认值不生效的问题。

2023年7月25日(2.3.6)

改进优化

  • 提升了导入功能的可用性。
  • 支持了 decimal v2 的 round 精度行为兼容 decimal v3。

问题修复

  • 修复了查询可能卡住的问题。
  • 修复了导入 error_log 可能报 403 的访问失败问题。

2023年7月19日(2.3.5)

改进优化

  • 降低了小批量数据导入有 partition 倾斜时的时延。
  • 增加了 audit log insert into 语句长度的限制配置,默认 4KB 截断。
  • 提升了远端 IO 效率,加快了查询速度。

问题修复

  • 修复了 delete 语句条件里列名大写报错的问题。
  • 修复了已知的内存泄漏问题。
  • 修复了 tablet balance 可能不均匀的问题。
  • 修复了节点重启可能导致查询失败的问题。
  • 修复了 OSS S3 load 报错的问题,增加 AWS_PROVIDER 属性。

2023年7月7日(2.3.4)

问题修复

  • 修复了查询有可能不可用的问题。

2023年7月3日(2.3.3)

改进优化

  • 加快了节点重启速度,提升了可用性。

问题修复

  • 修复了内存泄漏的若干问题。

2023年6月27日(2.3.2)

改进优化

  • 升级了仓库 mariadb client 版本。
  • 减少了 file cache metrics 的维度统计。
  • 新增了仓库 Fragment 执行的指标。

问题修复

  • 修复了 query 执行时查询取消但 hash table 没有释放的问题。
  • 修复了 compaction 之后没有回收 inverted index 文件的 bug。
  • 对 sql parser 增加了 null check。
  • 修复了 limit 优化后,部分 segment 无法打开的 bug。

2023年5月16日(2.3.0)

新增功能

  • 支持了 MySQL TLS 连接 (默认关闭,开启需要单独配置,并且需要 mysql client 5.0.38 以上版本)。
  • 支持了 Prepare stmt。
  • 支持了平滑减节点,减小缩减集群规模过程中查询性能抖动。
  • 支持了平滑升级,提高了版本升级过程中导入成功率。

改进优化

  • 进一步提高了数据的安全性。
  • 提升了 Copy into 导入方法的稳定性。
  • 提供了更好的账户/数据隔离机制。

问题修复

  • 同步了 doris-1.2-lts 的若干 bug fixs。
  • 修复了硬盘空间不能及时清理的问题。

2.2

说明 SelectDB Core 2.2 基于 Apache Doris 1.2 开发。

2023年6月1日(2.2.34)

问题修复

  • 修复了对象存储 size 不一致导致导入卡住的问题。

2023年5月15日(2.2.33)

问题修复

  • 修复了 JDBC URL 或 mysql -D 带上 cluster 之后导致不可访问的问题。

2023年4月27日(2.2.32)

改进优化

  • 增加了 file cache 的 metrics。

问题修复

  • 同步了 doris-1.2-lts 的若干 bug fixs。
  • 修复了 segment file size 乱序的问题。

2023年4月19日(2.2.31)

新增功能

  • 支持了配置外部资源(HMS, external stage)时进行 dryrun 测试。
  • 支持了轻量级 schema change 修改 Varchar 列的长度。
  • 支持了 split compressed file 的 copy into 导入方法 。

改进优化

  • 禁用了 routine load。
  • 加强了数据安全。

问题修复

  • 修复了查询 topn 相关的问题。
  • 修复了因为淘汰 file cache 而导致查询失败的问题。
  • 修复了单次导入大量 tablet 可能会失败的问题。
  • 修复了倒排索引内存不稳定的问题。
  • 修复了倒排索引可能会导致查询失败的问题。
  • 修复了 copy into 期间文件被覆盖导致导入卡住的问题。
  • 修复了重命名同名 cluster 导致 "no backend" 的问题。

2023年3月21日(2.2.21)

问题修复

  • 修复了 cumulative compaction 可能不能被触发的问题。
  • 修复了纯计算 plan node 可能会跨 cluster 的问题。
  • 修复了执行 rename cluster 之后名称不一致的问题。
  • 修复了在执行 drop cluster 时 schema change job 不能主动失败的问题。
  • 修复了因 delete predicate 导致 base compaction 失败的问题。
  • 修复了 create table like 的问题。

2023年2月28日(2.2.20)

改进优化

  • 实现了若干个 cache 优化。
  • 提升了 copy into 导入吞吐。
  • 优化了空表查询性能。

问题修复

  • 修复了执行 add inverted index 时数据不正确的 bug。
  • 修复了 parquet 导入可能会卡住的问题。
  • 修复了 Apache Doris 1.2.4 若干个跟数据湖分析有关的问题。

2023年2月9日(2.2.1)

新增功能

  • 支持了 external stage 跨账号授权。

改进优化

  • 优化了 copy into 上传速度。
  • 优化了 show roles 对于 cluster 和 stage 权限展示。

问题修复

  • 修复了计算节点可能卡死的问题。
  • 修复了 temp partition 可能导致的资源泄漏的问题。
  • 修复了除 admin 用户之外不能执行 show cluster 的问题。

2023年1月17日(2.2.0)

新增功能

  • 支持了 String 类型的倒排索引。
  • 支持了数值、日期类型的 BKD 多维数值索引。
  • 支持了数组类型的倒排索引、BKD 多维数值索引。
  • 支持了 dynamic table 动态修改 schema。

改进优化

  • 优化了增量 ADD/DROP INDEX。
  • 优化了 Index searcher cache。
  • 优化了 Topn 查询(ORDER BY c1, c2 LIMIT n)性能。

问题修复

  • 修复了索引过滤时不读原始列的问题。

2.0

说明 SelectDB Core 2.0 基于 Apache Doris 1.1 开发。

2023年1月5日(2.0.15)

新增功能

  • 支持了 rename warehouse。

改进优化

  • 优化了 Copy into delete sign。
  • 支持了在执行 Copy into 创建 stage 时能够自动判断对象信息是否有效。
  • 优化了 Tablet balance partition 级别。
  • 增加了对 cache 的配置参数类型的检查。
  • 优化了 tablet sink profile。
  • 完善了权限体系。

问题修复

  • 修复了 sync_tablet_rowsets 里面误判 stale request 的问题。
  • 修复了 load job 泄露的问题。
  • 修复了 partition 级别的 balance 的 bug。

2022年12月14日(2.0.14)

新增功能

  • 支持了 Select 语句通过 hint 设置 cluster。
  • 支持了每个表保留若干个 copy job。

改进优化

  • 优化了导入写 s3 的性能。
  • 导入的 Segment index 上传到对象存储之后,会提前进到 read cache。

问题修复

  • 修复了导入 parquet 时规划和执行的数据类型不匹配导致日志导入失败的问题。
  • 修复了导入跨 cluster 的问题。

2022年12月2日(2.0.13)

新增功能

  • 支持了 copy into 语句附加条件 delete on。
  • 支持了 show data 语句显示整个 warehouse 的数据量。

改进优化

  • 恢复了 show processlist 语句的使用。
  • 提升了回收已 drop 的 stage 的速度。
  • 提升了 cache 数据落盘的速度。

问题修复

  • 修复了在执行 drop cluster 时 warehouse 行为不一致的问题。

2022年11月26日(2.0.12)

改进优化

  • 支持了 Create stage 时校验对象存储信息的有效性。

问题修复

  • 修复了 write cache 可能被提前删除的问题。
  • 修复了 cache 可能不被命中的问题。
  • 修复了非 colocate 表 tablet 可能分布不均的问题。
© 2023 北京飞轮数据科技有限公司 京ICP备2022004029号 | Apache、Apache Doris 以及相关开源项目名称均为 Apache 基金会商标