尧图网页设计 
StarRocks xx_hash32 哈希函数详解语法、示例与 XXH32 底层实现【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocksxx_hash32 是 StarRocks 内置的哈希函数之一基于业界知名的 xxHash 算法家族中的 XXH3232 位变体将任意 VARCHAR 字符串输入映射为一个 32 位有符号整数常用于数据分桶、去重预筛、随机采样等需要快速、稳定散列的场景。本文以 官方文档 为主体结合 StarRocks 后端BE源码完整讲解其语法、参数行为、返回类型、多参数组合哈希逻辑、NULL 语义以及与 xx_hash64、xx_hash3_64、murmur_hash3_32 等兄弟哈希函数的选型差异帮助你在实战中正确、高效地使用该函数。函数概述xx_hash32 返回输入字符串的32 位 XXH32 哈希值。它以INT类型即 StarRocks 中的 32 位有符号整数返回结果属于确定性哈希——相同输入在相同环境下必然产生相同输出因此可以放心用于需要对同一批数据反复计算的场景。该函数由 StarRocks 官方文档正式收录其功能定位与项目中 xx_hash6464 位、xx_hash3_64基于 XXH3 算法的 64 位形成互补共同构成 StarRocks 的 xxHash 系列哈希函数家族。语法详解函数语法定义如下INT XX_HASH32(VARCHAR input, ...)要点说明项目说明返回值类型INT32 位有符号整数值域约为 -2147483648 ~ 2147483647参数类型VARCHAR且支持可变参数...表示可传入一个或多个 VARCHAR 参数函数名大小写函数名不区分大小写xx_hash32与XX_HASH32等价NULL 语义只要任一参数为 NULL整体结果即为 NULL见下文NULL 处理从源码实现看函数签名中的可变参数在 BE 侧被实现为接收一个starrocks::Columns容器逐个参数参与哈希累加计算具体见 hash_functions.cpp。参数行为与核心语义单参数对单个字符串取 XXH32 哈希将单个 VARCHAR 字符串作为输入返回其 XXH32 哈希值。这是最基础的使用方式适用于单列的分桶键计算或数据打散。多参数级联组合哈希当传入多个 VARCHAR 参数时StarRocks 会按参数顺序将前一个参数的哈希结果作为后一个参数的种子seed形成级联哈希以默认种子XXHASH32_SEED源码中定义为 0见 hash_util.hpp开始对第一个参数计算 XXH32得到中间哈希值将该中间值作为种子对第二个参数继续计算 XXH32依此类推直到所有参数处理完毕最终结果即函数返回值。这一实现细节在 hash_functions.cpp 中有清晰的代码佐证每一行数据维护一个seeds_vec[row]对每个 viewer参数列逐行执行HashUtil::xx_hash32(slice.data, slice.size, seed)并回写新种子。NULL 处理任一参数为 NULL整体结果为 NULL参数列全部为 NULL如对整列调用且该列全空同样整体返回 NULL 列。源码中通过is_null_vec标记位实现一旦某行任一参数为 NULL该行的 NULL 标记置位并跳过后续参数的计算最终由ColumnBuilderTYPE_INT统一输出 NULL见 hash_functions.cpp。完整示例以下是官方文档给出的三组典型示例可以直接在 StarRocks 的 MySQL 兼容客户端中执行验证。示例一NULL 输入MySQL select xx_hash32(null); ----------------- | xx_hash32(NULL) | ----------------- | NULL | -----------------任一参数为 NULL 时函数直接返回 NULL。示例二单个字符串参数MySQL select xx_hash32(hello); -------------------- | xx_hash32(hello) | -------------------- | -83855367 | --------------------输入字符串hello的 XXH32 哈希值映射为 32 位有符号整数-83855367。注意哈希结果本身是 32 位无符号位模式但 StarRocks 以有符号INT类型呈现因此可能表现为负数。示例三多个字符串参数MySQL select xx_hash32(hello, world); ----------------------------- | xx_hash32(hello, world) | ----------------------------- | -920844969 | -----------------------------两个参数hello、world级联哈希后结果为-920844969。多参数形式适合对多个列组合取哈希例如xx_hash32(col_a, col_b)可一次得到两列联合分布的散列值。实战用法参考结合示例可以将该函数应用到真实查询中例如-- 基于字符串列计算分桶键 SELECT xx_hash32(user_id) % 64 AS bucket_id, COUNT(*) FROM user_events GROUP BY bucket_id; -- 对多列联合哈希实现组合维度打散 SELECT xx_hash32(region, device_type) AS combo_hash FROM events;说明上述 SQL 仅为常见用法示意具体取模与分桶策略请结合业务数据分布自行设计。底层实现与源码级原理实现入口xx_hash32 的 BE 侧实现位于 hash_functions.cpp 的HashFunctions::xx_hash32方法整体流程如下为每个参数列创建ColumnViewerTYPE_VARCHAR用于逐行读取字符串值及其 NULL 标记初始化每行的种子向量seeds_vec为默认值HashUtil::XXHASH32_SEED遍历每个参数列、每一行跳过已标记为 NULL 的行对非 NULL 值调用HashUtil::xx_hash32(data, size, seed)并更新该行种子通过ColumnBuilderTYPE_INT构造结果列NULL 行输出 NULL若所有输入列均为常量列则自动折叠为常量列返回ColumnHelper::is_all_const优化。默认种子XXH32 算法允许指定自定义种子StarRocks 将默认种子固定为 0static const uint32_t XXHASH32_SEED 0;定义于 hash_util.hpp。由于种子固定为 0同一输入的哈希结果在 StarRocks 全局范围内是确定且稳定的这保证了跨查询、跨批次结果的一致性——这是将其用于数据分桶、Join 前哈希预筛的前提。与 xx_hash64 / xx_hash3_64 的对比同样在 hash_functions.cpp 中实现的还有函数返回类型底层算法默认种子位宽xx_hash32INTXXH32032 位xx_hash64BIGINTXXH64064 位xx_hash3_64BIGINTXXH3-64064 位三者默认种子均为 0见 hash_util.hpp区别在于算法版本与输出位宽。官方文档 xx_hash3_64 指出xx_hash3_64 通过 AVX2 指令集可获得比 murmur_hash3_32 更优的性能与更现代的哈希质量且该函数自 v3.2.0 起支持。选型建议仅需 32 位散列、追求最小结果集占用时选用xx_hash32需要 64 位更低冲突概率如大规模 Join 哈希键、去重场景时选用xx_hash64追求最优性能且环境支持v3.2.0时优先考虑xx_hash3_64。使用注意事项哈希不等于加密XXH32 是散列函数而非密码学安全哈希结果可逆性虽差但并非为防碰撞攻击设计切勿用于安全敏感场景。结果可能为负数底层 32 位位模式以有符号INT呈现大数可能显示为负数属正常现象。NULL 传播多参数场景下任一参数为 NULL 即整体为 NULL处理含 NULL 数据时需在 SQL 层面自行兜底如使用COALESCE预处理。分布质量XXH32 散列分布均匀适合取模分桶但取模前建议结合业务基数评估是否会产生倾斜。相关函数xx_hash64返回 64 位 XXH64 哈希值xx_hash3_64返回基于 XXH3 算法的 64 位哈希值性能更优murmur_hash3_32同属 32 位非加密散列Seed 默认为 104729可与 xx 系列按需互换。延伸阅读函数实现源码hash_functions.cppxx_hash32 及 xx_hash64、xx_hash3_64、xx_hash3_128、murmur_hash3_32 等同源实现种子常量定义hash_util.hppxxHash 系列函数文档docs/en/sql-reference/sql-functions/hash-functions/目录下xx_hash32.md、xx_hash64.md、xx_hash3_64.md【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocks创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 StarRocks xx_hash32 哈希函数详解：语法、示例与 XXH32 底层实现
StarRocks xx_hash32 哈希函数详解语法、示例与 XXH32 底层实现【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocksxx_hash32 是 StarRocks 内置的哈希函数之一基于业界知名的 xxHash 算法家族中的 XXH3232 位变体将任意 VARCHAR 字符串输入映射为一个 32 位有符号整数常用于数据分桶、去重预筛、随机采样等需要快速、稳定散列的场景。本文以 官方文档 为主体结合 StarRocks 后端BE源码完整讲解其语法、参数行为、返回类型、多参数组合哈希逻辑、NULL 语义以及与 xx_hash64、xx_hash3_64、murmur_hash3_32 等兄弟哈希函数的选型差异帮助你在实战中正确、高效地使用该函数。函数概述xx_hash32 返回输入字符串的32 位 XXH32 哈希值。它以INT类型即 StarRocks 中的 32 位有符号整数返回结果属于确定性哈希——相同输入在相同环境下必然产生相同输出因此可以放心用于需要对同一批数据反复计算的场景。该函数由 StarRocks 官方文档正式收录其功能定位与项目中 xx_hash6464 位、xx_hash3_64基于 XXH3 算法的 64 位形成互补共同构成 StarRocks 的 xxHash 系列哈希函数家族。语法详解函数语法定义如下INT XX_HASH32(VARCHAR input, ...)要点说明项目说明返回值类型INT32 位有符号整数值域约为 -2147483648 ~ 2147483647参数类型VARCHAR且支持可变参数...表示可传入一个或多个 VARCHAR 参数函数名大小写函数名不区分大小写xx_hash32与XX_HASH32等价NULL 语义只要任一参数为 NULL整体结果即为 NULL见下文NULL 处理从源码实现看函数签名中的可变参数在 BE 侧被实现为接收一个starrocks::Columns容器逐个参数参与哈希累加计算具体见 hash_functions.cpp。参数行为与核心语义单参数对单个字符串取 XXH32 哈希将单个 VARCHAR 字符串作为输入返回其 XXH32 哈希值。这是最基础的使用方式适用于单列的分桶键计算或数据打散。多参数级联组合哈希当传入多个 VARCHAR 参数时StarRocks 会按参数顺序将前一个参数的哈希结果作为后一个参数的种子seed形成级联哈希以默认种子XXHASH32_SEED源码中定义为 0见 hash_util.hpp开始对第一个参数计算 XXH32得到中间哈希值将该中间值作为种子对第二个参数继续计算 XXH32依此类推直到所有参数处理完毕最终结果即函数返回值。这一实现细节在 hash_functions.cpp 中有清晰的代码佐证每一行数据维护一个seeds_vec[row]对每个 viewer参数列逐行执行HashUtil::xx_hash32(slice.data, slice.size, seed)并回写新种子。NULL 处理任一参数为 NULL整体结果为 NULL参数列全部为 NULL如对整列调用且该列全空同样整体返回 NULL 列。源码中通过is_null_vec标记位实现一旦某行任一参数为 NULL该行的 NULL 标记置位并跳过后续参数的计算最终由ColumnBuilderTYPE_INT统一输出 NULL见 hash_functions.cpp。完整示例以下是官方文档给出的三组典型示例可以直接在 StarRocks 的 MySQL 兼容客户端中执行验证。示例一NULL 输入MySQL select xx_hash32(null); ----------------- | xx_hash32(NULL) | ----------------- | NULL | -----------------任一参数为 NULL 时函数直接返回 NULL。示例二单个字符串参数MySQL select xx_hash32(hello); -------------------- | xx_hash32(hello) | -------------------- | -83855367 | --------------------输入字符串hello的 XXH32 哈希值映射为 32 位有符号整数-83855367。注意哈希结果本身是 32 位无符号位模式但 StarRocks 以有符号INT类型呈现因此可能表现为负数。示例三多个字符串参数MySQL select xx_hash32(hello, world); ----------------------------- | xx_hash32(hello, world) | ----------------------------- | -920844969 | -----------------------------两个参数hello、world级联哈希后结果为-920844969。多参数形式适合对多个列组合取哈希例如xx_hash32(col_a, col_b)可一次得到两列联合分布的散列值。实战用法参考结合示例可以将该函数应用到真实查询中例如-- 基于字符串列计算分桶键 SELECT xx_hash32(user_id) % 64 AS bucket_id, COUNT(*) FROM user_events GROUP BY bucket_id; -- 对多列联合哈希实现组合维度打散 SELECT xx_hash32(region, device_type) AS combo_hash FROM events;说明上述 SQL 仅为常见用法示意具体取模与分桶策略请结合业务数据分布自行设计。底层实现与源码级原理实现入口xx_hash32 的 BE 侧实现位于 hash_functions.cpp 的HashFunctions::xx_hash32方法整体流程如下为每个参数列创建ColumnViewerTYPE_VARCHAR用于逐行读取字符串值及其 NULL 标记初始化每行的种子向量seeds_vec为默认值HashUtil::XXHASH32_SEED遍历每个参数列、每一行跳过已标记为 NULL 的行对非 NULL 值调用HashUtil::xx_hash32(data, size, seed)并更新该行种子通过ColumnBuilderTYPE_INT构造结果列NULL 行输出 NULL若所有输入列均为常量列则自动折叠为常量列返回ColumnHelper::is_all_const优化。默认种子XXH32 算法允许指定自定义种子StarRocks 将默认种子固定为 0static const uint32_t XXHASH32_SEED 0;定义于 hash_util.hpp。由于种子固定为 0同一输入的哈希结果在 StarRocks 全局范围内是确定且稳定的这保证了跨查询、跨批次结果的一致性——这是将其用于数据分桶、Join 前哈希预筛的前提。与 xx_hash64 / xx_hash3_64 的对比同样在 hash_functions.cpp 中实现的还有函数返回类型底层算法默认种子位宽xx_hash32INTXXH32032 位xx_hash64BIGINTXXH64064 位xx_hash3_64BIGINTXXH3-64064 位三者默认种子均为 0见 hash_util.hpp区别在于算法版本与输出位宽。官方文档 xx_hash3_64 指出xx_hash3_64 通过 AVX2 指令集可获得比 murmur_hash3_32 更优的性能与更现代的哈希质量且该函数自 v3.2.0 起支持。选型建议仅需 32 位散列、追求最小结果集占用时选用xx_hash32需要 64 位更低冲突概率如大规模 Join 哈希键、去重场景时选用xx_hash64追求最优性能且环境支持v3.2.0时优先考虑xx_hash3_64。使用注意事项哈希不等于加密XXH32 是散列函数而非密码学安全哈希结果可逆性虽差但并非为防碰撞攻击设计切勿用于安全敏感场景。结果可能为负数底层 32 位位模式以有符号INT呈现大数可能显示为负数属正常现象。NULL 传播多参数场景下任一参数为 NULL 即整体为 NULL处理含 NULL 数据时需在 SQL 层面自行兜底如使用COALESCE预处理。分布质量XXH32 散列分布均匀适合取模分桶但取模前建议结合业务基数评估是否会产生倾斜。相关函数xx_hash64返回 64 位 XXH64 哈希值xx_hash3_64返回基于 XXH3 算法的 64 位哈希值性能更优murmur_hash3_32同属 32 位非加密散列Seed 默认为 104729可与 xx 系列按需互换。延伸阅读函数实现源码hash_functions.cppxx_hash32 及 xx_hash64、xx_hash3_64、xx_hash3_128、murmur_hash3_32 等同源实现种子常量定义hash_util.hppxxHash 系列函数文档docs/en/sql-reference/sql-functions/hash-functions/目录下xx_hash32.md、xx_hash64.md、xx_hash3_64.md【免费下载链接】starrocksThe worlds fastest open query engine for sub-second analytics both on and off the data lakehouse. With the flexibility to support nearly any scenario, StarRocks provides best-in-class performance for multi-dimensional analytics, real-time analytics, and ad-hoc queries. A Linux Foundation project.项目地址: https://gitcode.com/GitHub_Trending/st/starrocks创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考