尧图网页设计 
1. 分库分表之后分页为什么突然变慢了分库分表解决的是单表数据量过大导致的写入瓶颈和索引膨胀但它顺手把「分页查询」这件原本很简单的事变成了一个跨节点归并问题。单库单表时SELECT * FROM orders ORDER BY id LIMIT 100000, 20虽然也不快但至少数据库知道从哪个位置开始扫。分片之后这条 SQL 会被改写成对每个分片执行LIMIT 0, 100020然后把所有分片的前 100020 条拉到聚合层做全局排序再截取最后 20 条。问题就出在这里你只要 20 条系统却搬运了分片数 × 100020条记录。分片越多、页码越深内存、网络、CPU 的浪费越夸张。这就是深度分页的典型症状——页码翻到后面响应时间从几十毫秒涨到几秒甚至超时。这篇面向的是在 API 聚合层做分页路由的后端工程师。核心思路是把 offset 翻页改造成游标分页用 Sort Key 主键组成复合游标让每个分片都能走索引定位聚合层只做小规模归并。同时我会给出 TaoToken 统一 Key 通道下的配置骨架让多个模型/服务在调试分页链路时共用一套鉴权入口减少环境切换成本。适合谁看正在用 ShardingSphere、MyCAT 或自研分片中间件且已经遇到深分页性能问题的同学以及需要在聚合层统一管理多个下游服务 Key 的团队。2. TaoToken 前置统一 Key 通道解决什么问题在分页链路的调试阶段聚合层往往要同时调用多个下游分片查询服务、排序服务、缓存服务有时还要接一个模型服务来做查询改写或结果校验。每个服务一套 Key、一套环境变量切换起来很烦排查问题时容易搞混是哪个 Key 失效了。TaoToken 在这里的角色是统一 Key 通道你申请一个 Key通过兼容 OpenAI 风格的接口去访问不同模型聚合层的配置里只维护一个base_url和一个api_key。这样分页链路的验证脚本、压测脚本、线上服务可以共用同一套鉴权配置出问题时定位范围也小。需要先拿到 Key。进入控制台创建https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite创建完成后在 API Keys 页面复制https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite接口地址统一用https://taotoken.net/api注意这个地址不加 UTM 参数直接作为base_url写进配置。模型对话调试入口在https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite如果你是要长期跑编码任务或 Agent 链路可以看 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite接入文档在https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewriteClaude Code 相关配置参考https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_contentclaudecodeutm_campaignrewrite提示统一 Key 的价值在于「一处配置、多处复用」。分页链路的验证脚本、聚合层服务、本地调试都指向同一个base_url避免因为 Key 不一致导致的 401 排查困难。3. 可复制配置settings.json 与 config.toml 骨架下面给出两套配置骨架。settings.json用于 Node/前端工具链或 VS Code 类环境config.toml用于 Python/Go 服务或命令行工具。两者都只维护一个统一 Key。3.1 settings.json 骨架{ taotoken: { base_url: https://taotoken.net/api, api_key: sk-你的统一Key, default_model: gpt-4o-mini, timeout_ms: 30000, max_retries: 2 }, pagination: { mode: cursor, page_size: 20, max_page_size: 100, sort_key: created_at, tie_breaker: id, cursor_encoding: base64, shard_count: 8, merge_strategy: k-way-heap }, sharding: { table_prefix: orders_, shard_key: user_id, sort_key_index: idx_created_at_id } }关键字段说明mode设为cursor表示走游标分页sort_key是业务排序字段tie_breaker是主键两者组成复合游标merge_strategy用k-way-heap表示聚合层用最小堆做多路归并而不是全量排序。3.2 config.toml 骨架[taotoken] base_url https://taotoken.net/api api_key sk-你的统一Key default_model gpt-4o-mini timeout_ms 30000 max_retries 2 [pagination] mode cursor page_size 20 max_page_size 100 sort_key created_at tie_breaker id cursor_encoding base64 shard_count 8 merge_strategy k-way-heap [sharding] table_prefix orders_ shard_key user_id sort_key_index idx_created_at_id3.3 复合游标的 SQL 改写游标分页的核心是把LIMIT offset, size换成WHERE (sort_key, id) (?, ?) ORDER BY sort_key, id LIMIT size。每个分片执行这条改写后的 SQL聚合层拿到shard_count个小结果集用最小堆归并后取前size条。-- 第一页无游标 SELECT id, user_id, created_at, amount FROM orders_0 ORDER BY created_at, id LIMIT 20; -- 后续页带复合游标 SELECT id, user_id, created_at, amount FROM orders_0 WHERE (created_at, id) (2024-06-01 10:00:00, 100234) ORDER BY created_at, id LIMIT 20;这里要求created_at和id上建联合索引idx_created_at_id否则WHERE (created_at, id) (?, ?)无法走索引定位退化成全表扫描。3.4 聚合层归并伪代码import heapq def merge_shards(shard_results, page_size): # shard_results: List[List[Row]]每个分片已按 (sort_key, id) 升序 heap [] for shard_idx, rows in enumerate(shard_results): if rows: row rows[0] heapq.heappush(heap, (row.sort_key, row.id, shard_idx, 0)) merged [] while heap and len(merged) page_size: sort_key, row_id, shard_idx, pos heapq.heappop(heap) row shard_results[shard_idx][pos] merged.append(row) next_pos pos 1 if next_pos len(shard_results[shard_idx]): nxt shard_results[shard_idx][next_pos] heapq.heappush(heap, (nxt.sort_key, nxt.id, shard_idx, next_pos)) return merged这个归并只处理shard_count × page_size量级的数据和 offset 方案里shard_count × (offset page_size)完全不是一个数量级。4. 验证请求跨库游标推进与排序一致性配置写完之后必须验证两件事游标能否正确推进、多分片归并后的排序是否全局一致。下面给出可执行的验证动作。4.1 用 curl 验证统一 Key 通道先确认 TaoToken 通道本身是通的curl -s https://taotoken.net/api/chat/completions \ -H Authorization: Bearer sk-你的统一Key \ -H Content-Type: application/json \ -d { model: gpt-4o-mini, messages: [{role: user, content: ping}], max_tokens: 8 }返回里能看到choices字段就说明 Key 和base_url配置正确。这一步是排除鉴权问题避免后面分页验证时把 401 误判成游标逻辑错误。4.2 游标推进验证写一个脚本连续翻 5 页每页记录首尾游标检查下一页的WHERE条件是否严格大于上一页末尾def fetch_page(cursorNone, size20): where params [] if cursor: where WHERE (created_at, id) (%s, %s) params [cursor[created_at], cursor[id]] sql f SELECT id, created_at FROM orders_0 {where} ORDER BY created_at, id LIMIT {size} rows db.query(sql, params) next_cursor None if rows: last rows[-1] next_cursor {created_at: last[created_at], id: last[id]} return rows, next_cursor cursor None seen_ids set() for page in range(5): rows, cursor fetch_page(cursor) ids [r[id] for r in rows] assert not (set(ids) seen_ids), f第 {page} 页出现重复 ID seen_ids.update(ids) print(fpage{page} first{ids[0]} last{ids[-1]} next_cursor{cursor})验证点每页 ID 不重复、游标严格递增、最后一页返回空时游标为None。4.3 排序一致性验证多分片归并最容易出的问题是「分片内有序但全局无序」。验证方法是把归并结果和单库全量排序结果对比def assert_global_order(merged_rows): keys [(r[created_at], r[id]) for r in merged_rows] assert keys sorted(keys), 归并结果未按 (created_at, id) 全局有序 # 模拟两个分片的结果 shard_a [{created_at: 2024-06-01 10:00:00, id: 100}, {created_at: 2024-06-01 10:00:02, id: 102}] shard_b [{created_at: 2024-06-01 10:00:01, id: 101}, {created_at: 2024-06-01 10:00:03, id: 103}] merged merge_shards([shard_a, shard_b], page_size4) assert_global_order(merged) print([r[id] for r in merged]) # 期望 [100, 101, 102, 103]如果created_at存在相同值必须靠id做 tie-breaker否则不同分片返回的顺序可能不稳定导致翻页时漏数据或重复。4.4 成功结果对照验证项期望结果失败表现统一 Key 通道返回 choices 字段401 或连接超时游标推进每页 ID 不重复、游标递增出现重复 ID 或游标回退全局排序归并结果按 (sort_key, id) 有序分片间顺序错乱深分页耗时第 100 页与第 1 页耗时接近页码越深耗时越长5. 本篇常见错排查5.1 游标字段类型不一致导致比较失效created_at在数据库里是datetime但游标经过 base64 编码再解码后可能变成字符串WHERE (created_at, id) (2024-06-01 10:00:00, 100)在部分数据库里会做隐式转换结果不符合预期。解决方式是解码后显式转回datetime类型再传参。5.2 联合索引缺失导致退化成全表扫描只建了created_at单列索引没有把id加进去WHERE (created_at, id) (?, ?)无法走索引。用EXPLAIN确认EXPLAIN SELECT id, created_at FROM orders_0 WHERE (created_at, id) (2024-06-01 10:00:00, 100234) ORDER BY created_at, id LIMIT 20;type应该是rangekey应该是idx_created_at_id。如果是ALL说明索引没生效。5.3 分片间排序规则不一致不同分片的字符集或排序规则不同created_at相同、id相同时字符串比较结果可能不一致。统一在配置里指定collation或者干脆用数值型id做 tie-breaker。5.4 游标编码后长度膨胀base64 编码复合游标后如果字段多、值长游标字符串会很长放在 URL 里可能超长。建议只编码必要字段或者用短哈希映射。实测下来created_at id两个字段编码后通常在 40 字符以内可以接受。5.5 统一 Key 配置被环境变量覆盖聚合层服务里同时存在TAOTOKEN_API_KEY和旧的OPENAI_API_KEY代码里读取顺序不对导致实际用的是旧 Key。排查时打印实际生效的base_url和 Key 前缀确认指向https://taotoken.net/api。6. 把分页链路固定成可验证的骨架游标分页改造完成后建议把验证脚本纳入 CI每次改分片逻辑或索引都跑一遍。核心断言就三条游标严格递增、全局排序一致、深分页耗时稳定。这三条过了分页链路基本不会出大问题。统一 Key 通道在这里的作用是让验证脚本、聚合层服务、模型调试入口共用一套配置减少环境变量污染导致的误判。如果你还在用 offset 翻页可以先从「按 ID 排序 只提供下一页」的场景切入改造成本最低收益最明显。等这条链路跑稳了再扩展到 Sort Key 主键的复合游标。接入文档和 API Keys 管理入口放在下面配置时对照着改https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite模型对话调试用https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite长期跑编码或 Agent 任务看 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 分库分表下如何实现分页查询功能：TaoToken 统一 Key 通道下的游标与 Sort Key 配置骨架
1. 分库分表之后分页为什么突然变慢了分库分表解决的是单表数据量过大导致的写入瓶颈和索引膨胀但它顺手把「分页查询」这件原本很简单的事变成了一个跨节点归并问题。单库单表时SELECT * FROM orders ORDER BY id LIMIT 100000, 20虽然也不快但至少数据库知道从哪个位置开始扫。分片之后这条 SQL 会被改写成对每个分片执行LIMIT 0, 100020然后把所有分片的前 100020 条拉到聚合层做全局排序再截取最后 20 条。问题就出在这里你只要 20 条系统却搬运了分片数 × 100020条记录。分片越多、页码越深内存、网络、CPU 的浪费越夸张。这就是深度分页的典型症状——页码翻到后面响应时间从几十毫秒涨到几秒甚至超时。这篇面向的是在 API 聚合层做分页路由的后端工程师。核心思路是把 offset 翻页改造成游标分页用 Sort Key 主键组成复合游标让每个分片都能走索引定位聚合层只做小规模归并。同时我会给出 TaoToken 统一 Key 通道下的配置骨架让多个模型/服务在调试分页链路时共用一套鉴权入口减少环境切换成本。适合谁看正在用 ShardingSphere、MyCAT 或自研分片中间件且已经遇到深分页性能问题的同学以及需要在聚合层统一管理多个下游服务 Key 的团队。2. TaoToken 前置统一 Key 通道解决什么问题在分页链路的调试阶段聚合层往往要同时调用多个下游分片查询服务、排序服务、缓存服务有时还要接一个模型服务来做查询改写或结果校验。每个服务一套 Key、一套环境变量切换起来很烦排查问题时容易搞混是哪个 Key 失效了。TaoToken 在这里的角色是统一 Key 通道你申请一个 Key通过兼容 OpenAI 风格的接口去访问不同模型聚合层的配置里只维护一个base_url和一个api_key。这样分页链路的验证脚本、压测脚本、线上服务可以共用同一套鉴权配置出问题时定位范围也小。需要先拿到 Key。进入控制台创建https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite创建完成后在 API Keys 页面复制https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite接口地址统一用https://taotoken.net/api注意这个地址不加 UTM 参数直接作为base_url写进配置。模型对话调试入口在https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite如果你是要长期跑编码任务或 Agent 链路可以看 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite接入文档在https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewriteClaude Code 相关配置参考https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_contentclaudecodeutm_campaignrewrite提示统一 Key 的价值在于「一处配置、多处复用」。分页链路的验证脚本、聚合层服务、本地调试都指向同一个base_url避免因为 Key 不一致导致的 401 排查困难。3. 可复制配置settings.json 与 config.toml 骨架下面给出两套配置骨架。settings.json用于 Node/前端工具链或 VS Code 类环境config.toml用于 Python/Go 服务或命令行工具。两者都只维护一个统一 Key。3.1 settings.json 骨架{ taotoken: { base_url: https://taotoken.net/api, api_key: sk-你的统一Key, default_model: gpt-4o-mini, timeout_ms: 30000, max_retries: 2 }, pagination: { mode: cursor, page_size: 20, max_page_size: 100, sort_key: created_at, tie_breaker: id, cursor_encoding: base64, shard_count: 8, merge_strategy: k-way-heap }, sharding: { table_prefix: orders_, shard_key: user_id, sort_key_index: idx_created_at_id } }关键字段说明mode设为cursor表示走游标分页sort_key是业务排序字段tie_breaker是主键两者组成复合游标merge_strategy用k-way-heap表示聚合层用最小堆做多路归并而不是全量排序。3.2 config.toml 骨架[taotoken] base_url https://taotoken.net/api api_key sk-你的统一Key default_model gpt-4o-mini timeout_ms 30000 max_retries 2 [pagination] mode cursor page_size 20 max_page_size 100 sort_key created_at tie_breaker id cursor_encoding base64 shard_count 8 merge_strategy k-way-heap [sharding] table_prefix orders_ shard_key user_id sort_key_index idx_created_at_id3.3 复合游标的 SQL 改写游标分页的核心是把LIMIT offset, size换成WHERE (sort_key, id) (?, ?) ORDER BY sort_key, id LIMIT size。每个分片执行这条改写后的 SQL聚合层拿到shard_count个小结果集用最小堆归并后取前size条。-- 第一页无游标 SELECT id, user_id, created_at, amount FROM orders_0 ORDER BY created_at, id LIMIT 20; -- 后续页带复合游标 SELECT id, user_id, created_at, amount FROM orders_0 WHERE (created_at, id) (2024-06-01 10:00:00, 100234) ORDER BY created_at, id LIMIT 20;这里要求created_at和id上建联合索引idx_created_at_id否则WHERE (created_at, id) (?, ?)无法走索引定位退化成全表扫描。3.4 聚合层归并伪代码import heapq def merge_shards(shard_results, page_size): # shard_results: List[List[Row]]每个分片已按 (sort_key, id) 升序 heap [] for shard_idx, rows in enumerate(shard_results): if rows: row rows[0] heapq.heappush(heap, (row.sort_key, row.id, shard_idx, 0)) merged [] while heap and len(merged) page_size: sort_key, row_id, shard_idx, pos heapq.heappop(heap) row shard_results[shard_idx][pos] merged.append(row) next_pos pos 1 if next_pos len(shard_results[shard_idx]): nxt shard_results[shard_idx][next_pos] heapq.heappush(heap, (nxt.sort_key, nxt.id, shard_idx, next_pos)) return merged这个归并只处理shard_count × page_size量级的数据和 offset 方案里shard_count × (offset page_size)完全不是一个数量级。4. 验证请求跨库游标推进与排序一致性配置写完之后必须验证两件事游标能否正确推进、多分片归并后的排序是否全局一致。下面给出可执行的验证动作。4.1 用 curl 验证统一 Key 通道先确认 TaoToken 通道本身是通的curl -s https://taotoken.net/api/chat/completions \ -H Authorization: Bearer sk-你的统一Key \ -H Content-Type: application/json \ -d { model: gpt-4o-mini, messages: [{role: user, content: ping}], max_tokens: 8 }返回里能看到choices字段就说明 Key 和base_url配置正确。这一步是排除鉴权问题避免后面分页验证时把 401 误判成游标逻辑错误。4.2 游标推进验证写一个脚本连续翻 5 页每页记录首尾游标检查下一页的WHERE条件是否严格大于上一页末尾def fetch_page(cursorNone, size20): where params [] if cursor: where WHERE (created_at, id) (%s, %s) params [cursor[created_at], cursor[id]] sql f SELECT id, created_at FROM orders_0 {where} ORDER BY created_at, id LIMIT {size} rows db.query(sql, params) next_cursor None if rows: last rows[-1] next_cursor {created_at: last[created_at], id: last[id]} return rows, next_cursor cursor None seen_ids set() for page in range(5): rows, cursor fetch_page(cursor) ids [r[id] for r in rows] assert not (set(ids) seen_ids), f第 {page} 页出现重复 ID seen_ids.update(ids) print(fpage{page} first{ids[0]} last{ids[-1]} next_cursor{cursor})验证点每页 ID 不重复、游标严格递增、最后一页返回空时游标为None。4.3 排序一致性验证多分片归并最容易出的问题是「分片内有序但全局无序」。验证方法是把归并结果和单库全量排序结果对比def assert_global_order(merged_rows): keys [(r[created_at], r[id]) for r in merged_rows] assert keys sorted(keys), 归并结果未按 (created_at, id) 全局有序 # 模拟两个分片的结果 shard_a [{created_at: 2024-06-01 10:00:00, id: 100}, {created_at: 2024-06-01 10:00:02, id: 102}] shard_b [{created_at: 2024-06-01 10:00:01, id: 101}, {created_at: 2024-06-01 10:00:03, id: 103}] merged merge_shards([shard_a, shard_b], page_size4) assert_global_order(merged) print([r[id] for r in merged]) # 期望 [100, 101, 102, 103]如果created_at存在相同值必须靠id做 tie-breaker否则不同分片返回的顺序可能不稳定导致翻页时漏数据或重复。4.4 成功结果对照验证项期望结果失败表现统一 Key 通道返回 choices 字段401 或连接超时游标推进每页 ID 不重复、游标递增出现重复 ID 或游标回退全局排序归并结果按 (sort_key, id) 有序分片间顺序错乱深分页耗时第 100 页与第 1 页耗时接近页码越深耗时越长5. 本篇常见错排查5.1 游标字段类型不一致导致比较失效created_at在数据库里是datetime但游标经过 base64 编码再解码后可能变成字符串WHERE (created_at, id) (2024-06-01 10:00:00, 100)在部分数据库里会做隐式转换结果不符合预期。解决方式是解码后显式转回datetime类型再传参。5.2 联合索引缺失导致退化成全表扫描只建了created_at单列索引没有把id加进去WHERE (created_at, id) (?, ?)无法走索引。用EXPLAIN确认EXPLAIN SELECT id, created_at FROM orders_0 WHERE (created_at, id) (2024-06-01 10:00:00, 100234) ORDER BY created_at, id LIMIT 20;type应该是rangekey应该是idx_created_at_id。如果是ALL说明索引没生效。5.3 分片间排序规则不一致不同分片的字符集或排序规则不同created_at相同、id相同时字符串比较结果可能不一致。统一在配置里指定collation或者干脆用数值型id做 tie-breaker。5.4 游标编码后长度膨胀base64 编码复合游标后如果字段多、值长游标字符串会很长放在 URL 里可能超长。建议只编码必要字段或者用短哈希映射。实测下来created_at id两个字段编码后通常在 40 字符以内可以接受。5.5 统一 Key 配置被环境变量覆盖聚合层服务里同时存在TAOTOKEN_API_KEY和旧的OPENAI_API_KEY代码里读取顺序不对导致实际用的是旧 Key。排查时打印实际生效的base_url和 Key 前缀确认指向https://taotoken.net/api。6. 把分页链路固定成可验证的骨架游标分页改造完成后建议把验证脚本纳入 CI每次改分片逻辑或索引都跑一遍。核心断言就三条游标严格递增、全局排序一致、深分页耗时稳定。这三条过了分页链路基本不会出大问题。统一 Key 通道在这里的作用是让验证脚本、聚合层服务、模型调试入口共用一套配置减少环境变量污染导致的误判。如果你还在用 offset 翻页可以先从「按 ID 排序 只提供下一页」的场景切入改造成本最低收益最明显。等这条链路跑稳了再扩展到 Sort Key 主键的复合游标。接入文档和 API Keys 管理入口放在下面配置时对照着改https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite模型对话调试用https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite长期跑编码或 Agent 任务看 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite