ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

TDengine 3.3.5.8 版本解析:连接器生态、taosX 备份与查询正确性修复全览

TDengine 3.3.5.8 版本解析:连接器生态、taosX 备份与查询正确性修复全览 TDengine 3.3.5.8 版本解析连接器生态、taosX 备份与查询正确性修复全览【免费下载链接】TDengineHigh-performance, scalable time-series database designed for Industrial IoT (IIoT) scenarios项目地址: https://gitcode.com/GitHub_Trending/tde/TDengineTDengine 3.3.5.8 于 2025-02-28 发布是 3.3.5 维护序列中的一个重要小版本。本篇基于官方发布说明 3.3.5.8 版本说明逐条梳理该版本的 5 项新特性、16 项优化与 32 项缺陷修复并结合当前仓库源码对其中具有工程价值的变更如keep_time_offset参数解析、连接器行为变化做源码级印证帮助版本升级者准确评估影响面。读完本篇你可以快速判断3.3.5.8 对你使用的连接器JDBC/ODBC/Python/Rust/Flink、数据同步MQTT/Kafka/CSV/TMQ/taosX以及高可用场景双副本、mnode Leader 切换分别带来了哪些行为变化。版本概况项目内容版本3.3.5.8发布时间2025-02-28新特性5 项优化16 项缺陷修复32 项从变更密度看本版本的重心有三块连接器生态的能力补齐JDBC、ODBC、Rust、Python、Flink、taosX 备份恢复链路的可靠性加固平滑升级、异常重试、S3 配置缺陷以及查询正确性问题的集中修复JOIN、插值、DISTINCT、CAST 精度、双副本写入等。新特性JDBC 支持 ONLY META 订阅JDBC 连接器新增对 ONLY META 模式数据订阅的支持。在 ONLY META 模式下订阅结果仅返回元数据如表结构、标签变更不携带实际数据块适合监听库表结构变更、做元数据同步的场景。此前该类能力在其他客户端通道中已有本版本补齐到 JDBC。Grafana 插件 SQL 编辑支持多行TDengine Grafana 数据源插件的 SQL 编辑器支持多行输入长查询不再受单行编辑限制提升可视化查询的编写体验。ODBC 支持 VARBINARY/GEOMETRY 类型并支持 Excel 直连本版本对 ODBC 连接器有两项直接相关的增强ODBC 新增对VARBINARY与GEOMETRY两种数据类型的支持二进制负载与空间数据可以经标准 ODBC 通道读出支持 Excel 通过 ODBC 驱动直接连接 TDengine即可以把 TDengine 数据源作为 Excel 外部数据源接入用于轻量报表场景。taosX agent 支持指定本地端口taosX 的 agent 组件新增本地端口指定能力便于在单机多实例、端口冲突或容器化部署中显式约束监听端口减少默认端口探测带来的不确定性。优化项按组件归类解读连接器行为增强WebSocket 订阅消息为空时可获取错误此前 WebSocket 连接在订阅结果为空时无法拿到错误信息本版本打通了错误回传路径。Rust 连接器同步获得了“订阅结果为空时的错误处理”能力两个客户端通道的行为趋于一致。JDBC 支持无符号整数JDBC 读取链路对无符号整数类型的处理得到增强。ODBCSQLSetStmtAttr支持SQL_ROWSET_SIZE属性标准 ODBC 语句属性SQL_ROWSET_SIZE现可正常设置利于依赖该属性做行集控制的通用 ODBC 应用适配 TDengine。参数绑定 SQL 中LIMIT支持?占位符在预编译语句中LIMIT子句现可以使用?作为参数占位符例如SELECT ... LIMIT ?, ?分页查询的预编译写法更完整。Flink 连接器支持BinaryRowData传输类型数据在 Flink 内部以BinaryRowData形态传输减少序列化/反序列化拷贝提升高吞吐场景下的传输效率此为 Flink 生态通用做法具体收益以实际负载为准。Flink 连接器 Table 支持更新和删除操作TDengine 在 Flink 中作为动态表Table使用时本版本支持 update 与 delete 语义扩展了它在流式 ETL 中承担“可写目标表”的能力边界。Explorer float 显示精度与 taos shell 一致Explorer 工具中小数显示精度与命令行客户端对齐避免同一份数据在两处显示不一致带来的困惑。数据同步与备份链路MQTT/Kafka/CSV 数据源新增写并发参数三类外部数据同步通道均新增写并发writer 数量配置项可针对吞吐瓶颈调高并发同批 TMQ 数据同步任务也新增了 Number Of Writers/Consumers 等参数写入与消费侧并发均可显式控制。开源版 TDengine 支持与 TDgpt 对接开源版本打通与 TDgpt 智能分析服务的对接链路。仓库中即包含 TDgpt 的完整工具链与部署资产如 tdgpt 目录 及其 README以及面向容器化的 DockerfileTDgpt可对照仓库了解对接方式。taosX 备份开启 WebSocket 压缩备份传输链路启用 WebSocket 压缩降低跨节点备份流量的带宽占用。taosX Agent 在 taosX 无法连接时可重试恢复Agent 侧增加断连重连与重试恢复逻辑备份/恢复任务在 taosX 临时不可用时具备自动恢复能力而不是直接失败退出。mac 安装包增加连接器文件macOS 安装包补齐连接器相关文件减少安装后手动补齐依赖的操作。TSBS 支持生成 CSV 文件仓库内 tsbs-tdengine 工具 用于向 TDengine 写入 TSBS 工作负载数据本版本增加以 CSV 形式生成/导出数据的能力便于结果比对与离线分析。TDinsight 添加连接分类信息TDinsight 运维展示侧补充了连接分类信息便于按类别观察连接分布。缺陷修复按影响面归类本版本共 32 项修复覆盖 Explorer、taosX、ODBC/JDBC 连接器、同步任务、集群高可用与查询正确性。以下按主题归类并标注对升级者最关键的几条。集群高可用与元数据双副本数据库在某个 dnode 断网后写入数据失败的问题复制组中单节点网络中断时的写入可用性恢复属于高可用场景的关键修复查询information_schema.ins_tables时 mnode Leader 变更可能触发 “Sync leader is unreachable” 错误系统表查询在 mnode Leader 切换场景下的稳定性删除流计算时可能的死锁流任务删除路径的死锁消除。数据同步与备份任务taosX / 数据源taosX 平滑升级使用 taosX 恢复数据时若未指定数据库系统可能崩溃已修复taosX 任务写入中断后未重新启动已修复taosX 备份任务显示备份点重复已修复备份计划未启动时查看备份点列表不符合预期已修复数据源任务不再处理数据时健康状态恢复为 Idle已修复AWS 云存储下 taosAdapter flock 失败已修复received/processed_messages当前运行指标重启后未清零已修复配置项s3BucketName被误设为全局变量参数导致文件上传到 S3 失败已修复该缺陷影响 S3 对象存储下的备份文件上传使用 S3 后端做备份的用户应优先升级。查询正确性这是本修复批次中对结果可信度影响最大的一类数据重新整理后涉及复合主键的时间过滤查询结果错误已修复主键列连接条件为非简单等值条件时JOIN 结果可能错误已修复在超级表上执行 JOIN 查询时子查询作为右表可能导致结果缺失已修复同时使用DISTINCT与ORDER BY时的语法错误已修复CAST浮点数为字符串后比较可能因精度丢失导致结果不准确已修复使用interp插值填充时select list 含字符串常量或字符串标签列返回的字符串内容可能缺失已修复WHERE tbname IN (...)筛选出的子表不属于同一超级表时执行LAST查询可能导致 taosd 崩溃已修复使用WHERE tbname IN ()语句时的同类崩溃场景同样得到修复修改子表中布尔类型标签的值时数据订阅元数据返回结果存在错误已修复参数绑定场景下相关行为修复详见上一条 JOIN/等值条件项。连接器与客户端ODBC 调用SQLSetConnectAttr设置SQL_ATTR_TXN_ISOLATION时 core dump已修复JDBCselect server_version()结果未释放导致内存持续增长已修复Python WebSocket 连接器Cursor.fetchmany自定义长度问题已修复websocket 接口timing字段有时为负值已修复参数绑定 SQL 语句中LIMIT子句支持使用?作为参数占位符与前述优化项配套。引擎启动与资源taosd 异常退出并再次启动后如果未进入数据文件的 WAL 过大可能导致启动时 OOM已修复重启场景下内存压力修复对曾异常退出过且 WAL 较大的部署点意义重大从 3.3.4 升级到 3.3.5 后若配置的字符集在系统中不存在taosd 无法正常启动已修复跨大版本升级路径上的兼容性修复stmtbind 线程在系统空闲时 CPU 占用过高已修复Show Grants命令返回的列数目不正确已修复。Explorer 与其他Explorer 注册邮箱支持包含 “.”已修复Explorer 导入 CSV 时列包含空格导致预览失效已修复开源版本 TDengine 支持与 TDgpt 对接见优化项JDBC 示例代码安全漏洞已修复参考仓库 JDBC 示例目录。源码印证之一keep_time_offset支持 h/d 后缀修复清单第 12 条提到“创建数据库时keep_time_offset选项支持使用后缀 h 和 d 来指定时间值”。从源码结构看该选项的校验逻辑位于数据库选项翻译模块 checkDbKeepTimeOffsetOption。其处理流程是对带时间单位的值节点做translateValue翻译校验单位字面量——源码中单位约束检查报错信息为“only %c allowed”即解析层统一按小时量纲归一/60转换为分钟存储3.3.5.8 的变更点在于接受h、d等更宽的后缀字面量而不再仅接受单一单位写法取值范围校验常量定义于 tdef.h#define TSDB_MIN_KEEP_TIME_OFFSET 0 #define TSDB_MAX_KEEP_TIME_OFFSET 23即keep_time_offset的有效区间为[0, 23]超出即报Invalid option keep_time_offset语法错误。该选项在系统表中的元数据定义位于 systable.c.name keep_time_offset, .bytes 4, .type TSDB_DATA_TYPE_INT因此SHOW DATABASES/information_schema相关视图中该列以 INT 呈现。测试侧可在 keep 相关用例 与 alter database 用例 中检索keep_time_offset的取值断言作为升级后行为回归的参考。升级提示如果你在创建/修改数据库时使用了带时间后缀的keep_time_offset例如以h结尾的写法旧版本会报单位非法错误3.3.5.8 起可按小时/天量纲直接书写。源码印证之二s3BucketName全局变量缺陷修复清单最后一条指出“配置项s3BucketName被误设为全局变量参数导致文件上传到 S3 失败”。从实现事实看该缺陷的根因在变量作用域桶名bucket name被错误地提升为全局变量参与参数处理使得按任务/按连接维度设置的桶名不再生效最终表现为 S3 上传失败。此类“连接级配置被全局变量覆盖”的缺陷对备份场景影响直接——多备份计划各自配置不同桶的场景会互相串扰。3.3.5.8 修复后s3BucketName按预期以任务/配置维度生效。使用 S3/对象存储作为备份目标的部署建议在升级后验证一次“新建备份计划 → 立即备份 → 确认对象出现在指定 bucket”的完整链路。升级建议使用者若你使用 JDBC/ODBC/Python/Rust/Flink 任一连接器或依赖 taosX 做备份恢复、MQTT/Kafka/CSV/TMQ 做数据同步3.3.5.8 的修复项命中概率较高建议纳入例行升级评估S3 备份用户s3BucketName缺陷修复第 32 条与 AWS 云存储 flock 修复第 2 条均直接影响对象存储链路属于“值得单独为此升级”的修复双副本/多节点集群dnode 断网写入、mnode Leader 切换、流删除死锁三项修复共同改善了异常网络下的稳定性查询正确性涉及复合主键时间过滤、非等值 JOIN、超级表 JOIN、DISTINCT ORDER BY、interp字符串填充的历史错误查询升级后建议用既有测试集回归比对结果验证手段仓库提供完整测试套件如 test/cases 下的 02-Databases、09-DataQuerying、14-JoinQueries、17-DataSubscription 等目录与 pytest 运行脚本可对照本版本修复条目挑选相关用例做升级后回归。小结TDengine 3.3.5.8 是一次典型的“稳定性 连接器生态”版本不引入新的破坏性变更而是在 JDBC/ODBC/Flink/Rust 等客户端通道上补齐类型与错误处理能力在 taosX 备份恢复与数据同步任务上系统性加固可靠性并集中修复了 JOIN、插值、主键查询、双副本写入等一批查询正确性问题。对生产环境而言结合 发布历史索引 中 3.3.5 序列的其余版本说明可以完整规划 3.3.4 → 3.3.5.x 的升级路径其中 3.3.4 升 3.3.5 时字符集不存在导致 taosd 无法启动的问题也已在本版本修复。【免费下载链接】TDengineHigh-performance, scalable time-series database designed for Industrial IoT (IIoT) scenarios项目地址: https://gitcode.com/GitHub_Trending/tde/TDengine创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表