边缘 L7 限流的尾延迟代价
Edge L7 rate-limiting & tail latency
CC 防护要在每秒数十万 request 维度做精细限流。token bucket / sliding window 在大并发下的 P99 表现常被低估。我们在寻找更稳定的数据结构,以及衡量它们的诚实方法。
01 · about
MathU is a small group of engineers studying network edges and systems performance.
Edge L7 rate-limiting & tail latency
CC 防护要在每秒数十万 request 维度做精细限流。token bucket / sliding window 在大并发下的 P99 表现常被低估。我们在寻找更稳定的数据结构,以及衡量它们的诚实方法。
LLM reverse-proxy: limits, caches, edges
AI Gateway 不只是 CDN 套壳 —— token-aware 限流、prompt 缓存、上游故障切换、跨模型 fallback。把 CDN 圈子十年攒下的工程经验搬过来,在哪些地方需要重新发明?
Skewed keys, without sampling
Skewed key 的主流方案依赖采样 + repartition,但采样本身有代价。能不能在执行计划阶段做更聪明的事情,而不是事后补救?
WAFs, extended to LLM traffic
Prompt injection、jailbreak、PII leak —— 这些是不是 WAF 在下个十年要做的新作业?
还没有笔记 —— 第一篇预计 2026 年底。