尧图网页设计 
简介这份PDF资料面向希望夯实计算机底层基础的程序员与计算机专业学习者系统梳理了从硬件到软件交互的关键概念帮助读者建立完整的知识框架应对面试与日常开发中的原理性问题。资源为单个PDF文件压缩包约19.81MB内容围绕CPU结构、内存管理、进制转换、操作系统原理、BIOS与引导过程、汇编语言、调用约定、DMA等主题展开并延伸至RLE压缩、DLL复用、Java跨平台等实用技术点。目前已有1279人学习下载说明其在基础原理学习群体中具有一定认可度。读者可借此理清CPU控制器、运算器与寄存器的协作方式掌握二进制与十六进制转换技巧理解MBR、GRUB引导流程及系统调用与硬件交互机制从而在性能优化、系统级编程和复杂问题排查中更有底气。1. 程序员必知的硬核知识大全从“能跑就行”到“知道为什么能跑”你有没有遇到过这种场景线上服务突然 CPU 飙到 100%日志里只有一行connection reset by peer团队里没人说得清是内核参数、GC 还是连接池的问题。能改的配置都改了能重启的都重启了问题却像幽灵一样时隐时现。这时候你会发现平时背的八股文、收藏的“面试宝典”几乎派不上用场——真正卡住你的是那些藏在语言运行时、操作系统和网络协议底层的硬核知识。“程序员必知的硬核知识大全”这个标题说的不是让你去背更多结论而是建立一套从现象反推底层机制的排查能力。它适合已经能独立写业务代码、但一遇到性能瓶颈或诡异 bug 就抓瞎的开发者也适合想从“调包侠”往系统方向走的工程师。接下来我会按“先立认知、再动手验证、最后避坑”的顺序把 CPU 缓存、内存模型、IO 多路复用、锁与并发这几块最常被考也最常被误用的知识拆成能复现的实验和能直接抄的参数。2. CPU 缓存与伪共享为什么你的多线程程序越跑越慢2.1 从一次压测翻车说起8 线程比 1 线程还慢我最早接触 CPU 缓存是因为一个计数服务。单线程压测 QPS 能到 12 万改成 8 线程后不升反降掉到 9 万而且 CPU 利用率只有 40%。当时第一反应是锁竞争把锁去掉换成AtomicLong结果更差。后来用perf一看cache-misses高得离谱才意识到问题出在缓存行上。现代 CPU 读取内存不是按字节而是按缓存行Cache Line为单位典型大小 64 字节。当两个线程分别修改位于同一缓存行的不同变量时硬件会认为整个缓存行失效导致两个核心反复从内存重新加载。这就是伪共享False Sharing。它不会报错只会让你的多线程程序“玄学”变慢。验证方法很简单定义两个相邻的volatile long开两个线程各写各的跑一亿次记录耗时再给每个变量加上 7 个long填充让它们落在不同缓存行再跑一次。下面是我常用的测试代码。public class FalseSharingTest { // 未填充版本a 和 b 极可能在同一缓存行 static class Unpadded { volatile long a; volatile long b; } // 填充版本用 7 个 long 把 a 和 b 隔开到不同缓存行 static class Padded { volatile long a; long p1, p2, p3, p4, p5, p6, p7; volatile long b; } public static void main(String[] args) throws InterruptedException { // 分别替换为 Unpadded 和 Padded 运行 Unpadded obj new Unpadded(); Thread t1 new Thread(() - { for (long i 0; i 100_000_000L; i) obj.a i; }); Thread t2 new Thread(() - { for (long i 0; i 100_000_000L; i) obj.b i; }); long start System.currentTimeMillis(); t1.start(); t2.start(); t1.join(); t2.join(); System.out.println(耗时: (System.currentTimeMillis() - start) ms); } }逻辑说明两个线程分别写a和b逻辑上无任何共享但物理上如果它们在同一缓存行就会触发缓存一致性协议MESI的频繁失效。填充后每个变量独占缓存行耗时通常能下降 30% 到 60%。参数上填充长度取决于 CPU 缓存行大小x86 通常是 64 字节一个long是 8 字节所以填 7 个刚好把下一个变量推到新行。注意 Java 8 之后有Contended注解但需要开启-XX:-RestrictContended生产环境更推荐手动填充或直接用LongAdder。2.2 用 perf 定位缓存未命中三个必看指标光靠猜不行得让数据说话。Linux 下perf stat是最直接的入口。我一般会跑下面这条命令重点看三个指标。# -e 指定事件-p 指定进程号sleep 10 表示采样 10 秒 perf stat -e cache-references,cache-misses,LLC-load-misses -p pid sleep 10cache-references是缓存访问总次数cache-misses是未命中次数两者比值就是未命中率。如果cache-misses占比超过 10%基本可以怀疑伪共享或数据局部性差。LLC-load-misses是最后一级缓存未命中这个数高说明数据已经频繁落到内存延迟从几纳秒变成上百纳秒。参数怎么调采样时间别太短10 秒起步否则噪声大如果进程是多线程加-a看全局但要注意会混入其他进程。失败时先看perf是否被内核perf_event_paranoid限制用cat /proc/sys/kernel/perf_event_paranoid确认值大于 2 时普通用户无法采样需要 root 或调低该值。2.3 缓存行对齐的工程取舍不是所有场景都值得填填充会浪费内存一个long变成 64 字节如果对象数量巨大内存占用会翻几倍。我的经验是只有高频写且确实观测到伪共享的字段才填。比如并发计数器、RingBuffer 的游标、线程私有的统计变量。普通业务对象完全没必要。另一个常见误区是以为volatile能解决可见性就能解决性能。实际上volatile写会强制刷新缓存行如果多个线程写同一volatile变量性能比伪共享还差。正确做法是用LongAdder这类分散热点的结构或者让每个线程写自己的局部变量最后再合并。3. 内存模型与可见性从 JMM 到 CPU 乱序的完整链路3.1 happens-before 不是口号用代码验证指令重排Java 内存模型JMM里最容易被背成口诀的就是 happens-before但很多人说不清它到底约束了什么。简单说它保证前一个操作的结果对后一个操作可见且前一个操作按顺序排在后面之前。但 CPU 和编译器为了性能会乱序执行如果没有同步手段你看到的执行顺序可能和代码顺序完全不同。下面这段代码是我用来给新人演示重排的经典例子两个线程分别写a和b然后读对方的值理论上x0, y0不应该同时出现但实际跑几万次就能抓到。public class ReorderTest { static int a 0, b 0; static int x 0, y 0; public static void main(String[] args) throws InterruptedException { for (int i 0; i 100_000; i) { a 0; b 0; x 0; y 0; Thread t1 new Thread(() - { a 1; // 写 a x b; // 读 b }); Thread t2 new Thread(() - { b 1; // 写 b y a; // 读 a }); t1.start(); t2.start(); t1.join(); t2.join(); if (x 0 y 0) { System.out.println(发生重排第 i 次); break; } } } }逻辑说明如果严格按代码顺序执行a1和b1至少有一个先发生那么x和y不可能同时为 0。但实际运行中CPU 可能把x b提到a 1之前导致两个读都拿到 0。参数上循环次数越多越容易复现通常几万次内就能命中。要禁止这种重排给写操作加volatile即可因为volatile写会插入内存屏障阻止前面的写被重排到后面。3.2 volatile 的底层内存屏障与缓存一致性协议volatile在 JMM 里保证两点可见性和禁止重排。可见性靠的是写后立即刷回主内存、读前从主内存加载禁止重排靠的是内存屏障。x86 架构下volatile写会插入Lock前缀指令它同时完成两件事把当前缓存行写回内存并使其他核心的该缓存行失效。但要注意volatile不保证原子性。i这种读-改-写操作即使i是volatile多线程下依然会丢更新。正确做法是用AtomicInteger或加锁。我见过太多人在这里翻车以为加了volatile就万事大吉。验证volatile可见性的最小实验一个线程循环读flag主线程睡 1 秒后写flagtrue。如果flag不加volatile读线程可能永远看不到变化JIT 会把读优化到寄存器加了之后立刻退出。这个实验能直观感受到 JIT 优化的威力也能理解为什么“能跑”和“正确”是两回事。3.3 用 jcstress 做并发正确性验证比手写测试靠谱手写并发测试有两个问题一是复现难二是容易误判。OpenJDK 的 jcstress 就是专门解决这个的。它用大量线程和不同内存屏障组合去压你的代码最后给出一个通过/失败矩阵。使用步骤引入依赖org.openjdk.jcstress:jcstress-core写一个带JCStressTest的类用State定义共享变量Actor定义并发操作Outcome声明预期结果。跑mvn clean install后它会生成一个 HTML 报告里面用表格列出每种结果出现的次数。如果出现了你没声明为Outcome的组合就说明有并发缺陷。参数上-m指定模式-t指定线程数-f指定 fork 次数。我一般用默认配置先跑一轮如果结果不稳定再加-f 10。这个工具的好处是把“玄学”变成可量化的概率适合在代码合并前做一轮回归。4. IO 多路复用与网络参数从 select 到 epoll 的选型与调优4.1 五种 IO 模型的本质区别别再把同步阻塞和异步混为一谈网络编程里最常被混淆的就是同步/异步、阻塞/非阻塞。用一句话区分阻塞非阻塞看“调用后是否立即返回”同步异步看“数据拷贝由谁完成”。按这个标准IO 模型分五类阻塞 IO、非阻塞 IO、IO 多路复用、信号驱动 IO、异步 IO。前四种都是同步因为数据从内核拷贝到用户态这一步都需要自己参与只有异步 IO 是内核拷完再通知你。实际工程中Linux 下用得最多的是 IO 多路复用也就是 select/poll/epoll。select 有文件描述符数量限制通常 1024poll 解决了数量问题但仍是线性扫描epoll 用红黑树加就绪链表做到 O(1) 事件通知。下面是一个 epoll 的 C 语言最小示例展示核心调用链。#include sys/epoll.h #include stdio.h #include unistd.h int main() { int epfd epoll_create1(0); // 创建 epoll 实例 struct epoll_event ev, events[10]; ev.events EPOLLIN; // 关注可读事件 ev.data.fd STDIN_FILENO; epoll_ctl(epfd, EPOLL_CTL_ADD, STDIN_FILENO, ev); // 注册 fd int n epoll_wait(epfd, events, 10, -1); // -1 表示永久阻塞 for (int i 0; i n; i) { if (events[i].data.fd STDIN_FILENO) { char buf[1024]; read(STDIN_FILENO, buf, sizeof(buf)); printf(读到数据\n); } } close(epfd); return 0; }逻辑说明epoll_create1创建实例epoll_ctl注册感兴趣的文件描述符epoll_wait阻塞等待事件。参数上events数组大小决定一次最多返回多少就绪事件太小会多次调用太大会浪费内存一般设 1024 到 4096。timeout设 -1 永久阻塞设 0 立即返回设正数表示毫秒超时。失败时先检查epoll_ctl返回值常见错误是EBADFfd 无效或EEXIST重复注册。4.2 epoll 的 LT 与 ET一个参数决定你的 CPU 占用epoll 有两种触发模式水平触发LT和边缘触发ET。LT 是默认模式只要缓冲区有数据就一直通知ET 只在状态变化时通知一次必须一次把数据读完否则剩余数据不会再触发。很多高性能框架用 ET 来减少系统调用次数但代价是代码复杂度上升。我一般这样选如果业务逻辑简单、每次读固定长度用 LT 省心如果追求极致吞吐、能保证循环读到EAGAIN用 ET。下面是一个 ET 模式下的读循环写法。// 假设 fd 已注册为 EPOLLIN | EPOLLET while (1) { ssize_t n read(fd, buf, sizeof(buf)); if (n -1) { if (errno EAGAIN || errno EWOULDBLOCK) { break; // 数据读完退出循环 } else { // 处理错误 break; } } else if (n 0) { // 对端关闭 break; } // 处理 buf 中的 n 字节 }关键点ET 模式下必须循环读到EAGAIN否则残留数据会导致连接“假死”。参数上buf大小建议设为 4KB 到 64KB太小系统调用多太大内存浪费。另外 ET 通常要配合非阻塞 fd否则最后一次read会阻塞住。4.3 生产环境必调的四个内核参数光写对代码不够内核参数不调高并发下照样丢连接。下面四个是我在压测中必看的。参数默认值建议值作用net.core.somaxconn12832768全连接队列最大长度太小会导致握手被丢弃net.ipv4.tcp_max_syn_backlog102416384半连接队列长度防 SYN Floodnet.ipv4.tcp_tw_reuse01允许复用 TIME_WAIT 连接缓解端口耗尽net.ipv4.tcp_keepalive_time7200600缩短保活探测间隔及时清理死连接修改方式sysctl -w net.core.somaxconn32768永久生效写进/etc/sysctl.conf。注意tcp_tw_reuse只在客户端主动发起连接时生效服务端被动关闭的连接仍会进入 TIME_WAIT。如果发现ss -s里 TIME_WAIT 数量持续上万先查是不是短连接太多再考虑调这个参数。5. 锁与并发避坑那些让你加班到凌晨的细节5.1 避坑一锁粒度过大导致吞吐上不去现象一个订单服务压测 QPS 只有 2000CPU 却跑不满。用jstack抓线程栈发现大量线程 BLOCKED 在同一个synchronized方法上。原因方法里除了修改共享状态还包含了 RPC 调用和日志打印锁持有时间被拉长到几十毫秒。解决把锁范围缩小到只包住共享变量的读写RPC 和日志移到锁外。改完后 QPS 涨到 1.2 万。5.2 避坑二死锁的四个必要条件与排查命令现象服务运行几小时后无响应日志停止输出。用jstack pid抓栈搜索 “deadlock” 能看到互相等待的线程和锁地址。原因两个线程以相反顺序获取两把锁。解决统一加锁顺序或者用tryLock带超时。排查命令除了jstack还可以用jconsole的“检测死锁”按钮更直观。5.3 避坑三读写锁的写饥饿现象用ReentrantReadWriteLock后读请求源源不断写请求迟迟拿不到锁导致数据更新延迟越来越大。原因读写锁默认非公平读锁可以插队。解决构造函数传true启用公平模式或者用StampedLock的乐观读。公平模式会降低吞吐但能保证写不被饿死适合写少读多且写延迟敏感的场景。5.4 避坑四CAS 自旋导致 CPU 空转现象用AtomicInteger做计数器并发高时 CPU 使用率飙升但 QPS 没涨。原因CAS 失败后不断重试大量 CPU 花在自旋上。解决换成LongAdder它把热点分散到多个 Cell最后再汇总写性能在高并发下明显更好。读多写少用AtomicLong写多用LongAdder这是我的一般原则。5.5 避坑五线程池参数拍脑袋设置现象线程池队列设成LinkedBlockingQueue无界任务堆积到内存溢出。原因无界队列导致maximumPoolSize形同虚设任务全进队列。解决用有界队列明确corePoolSize、maxPoolSize、队列容量和拒绝策略。我通常按“CPU 核数 1”设核心线程队列容量按峰值 QPS 乘以可接受延迟来估算拒绝策略用CallerRunsPolicy做背压。6. 用 eBPF 做无侵入观测把黑匣子变成透明玻璃前面讲的都是“改代码、调参数”但生产环境往往不允许你重启服务。这时候 eBPF 就是后悔药——它能在内核里挂探针不改一行代码就看到函数调用、延迟分布和错误码。我最早用它排查一个“偶发超时”问题应用日志只记了超时但不知道卡在哪。用bpftrace挂上tcp_retransmit_skb和tcp_sendmsg发现是重传率在特定时段飙升最终定位到网卡队列溢出。下面是一个用bpftrace统计进程 IO 延迟的脚本直接命令行执行。# 统计 pid 为 1234 的进程read 系统调用耗时分布 bpftrace -e tracepoint:syscalls:sys_enter_read /pid 1234/ { start[tid] nsecs; } tracepoint:syscalls:sys_exit_read /pid 1234 start[tid]/ { $delta nsecs - start[tid]; us hist($delta / 1000); delete(start[tid]); } interval:s:10 { exit(); } 逻辑说明进入read时记录时间戳退出时算差值最后用直方图输出微秒级分布。参数上pid 1234是过滤条件改成comm nginx可以按进程名过滤hist的桶是 2 的幂次能快速看出长尾。失败时先确认内核版本支持 eBPF4.9 以上以及bpftrace是否安装。这个脚本跑 10 秒自动退出对生产影响极小。进阶用法是结合perf和flamegraph生成火焰图把 CPU 热点和 IO 等待放在一张图里看。我一般先用perf record -F 99 -p pid -g -- sleep 30采样再用FlameGraph脚本生成 SVG。看火焰图时重点找“平顶”——那些宽而扁的栈往往就是优化点。最后说个我自己的习惯每次上线前用stress-ng或wrk做一轮基线压测把 CPU、内存、网络、锁竞争的关键指标记下来。等线上出问题时先对比基线看哪个指标偏离最大再顺着那个方向用 eBPF 或perf深挖。这套流程帮我省掉了无数次“重启试试”的无效操作。希望帮到你。本文还有配套的精品资源点击获取 程序员必知的硬核知识大全：从CPU缓存到eBPF性能排查实战
简介这份PDF资料面向希望夯实计算机底层基础的程序员与计算机专业学习者系统梳理了从硬件到软件交互的关键概念帮助读者建立完整的知识框架应对面试与日常开发中的原理性问题。资源为单个PDF文件压缩包约19.81MB内容围绕CPU结构、内存管理、进制转换、操作系统原理、BIOS与引导过程、汇编语言、调用约定、DMA等主题展开并延伸至RLE压缩、DLL复用、Java跨平台等实用技术点。目前已有1279人学习下载说明其在基础原理学习群体中具有一定认可度。读者可借此理清CPU控制器、运算器与寄存器的协作方式掌握二进制与十六进制转换技巧理解MBR、GRUB引导流程及系统调用与硬件交互机制从而在性能优化、系统级编程和复杂问题排查中更有底气。1. 程序员必知的硬核知识大全从“能跑就行”到“知道为什么能跑”你有没有遇到过这种场景线上服务突然 CPU 飙到 100%日志里只有一行connection reset by peer团队里没人说得清是内核参数、GC 还是连接池的问题。能改的配置都改了能重启的都重启了问题却像幽灵一样时隐时现。这时候你会发现平时背的八股文、收藏的“面试宝典”几乎派不上用场——真正卡住你的是那些藏在语言运行时、操作系统和网络协议底层的硬核知识。“程序员必知的硬核知识大全”这个标题说的不是让你去背更多结论而是建立一套从现象反推底层机制的排查能力。它适合已经能独立写业务代码、但一遇到性能瓶颈或诡异 bug 就抓瞎的开发者也适合想从“调包侠”往系统方向走的工程师。接下来我会按“先立认知、再动手验证、最后避坑”的顺序把 CPU 缓存、内存模型、IO 多路复用、锁与并发这几块最常被考也最常被误用的知识拆成能复现的实验和能直接抄的参数。2. CPU 缓存与伪共享为什么你的多线程程序越跑越慢2.1 从一次压测翻车说起8 线程比 1 线程还慢我最早接触 CPU 缓存是因为一个计数服务。单线程压测 QPS 能到 12 万改成 8 线程后不升反降掉到 9 万而且 CPU 利用率只有 40%。当时第一反应是锁竞争把锁去掉换成AtomicLong结果更差。后来用perf一看cache-misses高得离谱才意识到问题出在缓存行上。现代 CPU 读取内存不是按字节而是按缓存行Cache Line为单位典型大小 64 字节。当两个线程分别修改位于同一缓存行的不同变量时硬件会认为整个缓存行失效导致两个核心反复从内存重新加载。这就是伪共享False Sharing。它不会报错只会让你的多线程程序“玄学”变慢。验证方法很简单定义两个相邻的volatile long开两个线程各写各的跑一亿次记录耗时再给每个变量加上 7 个long填充让它们落在不同缓存行再跑一次。下面是我常用的测试代码。public class FalseSharingTest { // 未填充版本a 和 b 极可能在同一缓存行 static class Unpadded { volatile long a; volatile long b; } // 填充版本用 7 个 long 把 a 和 b 隔开到不同缓存行 static class Padded { volatile long a; long p1, p2, p3, p4, p5, p6, p7; volatile long b; } public static void main(String[] args) throws InterruptedException { // 分别替换为 Unpadded 和 Padded 运行 Unpadded obj new Unpadded(); Thread t1 new Thread(() - { for (long i 0; i 100_000_000L; i) obj.a i; }); Thread t2 new Thread(() - { for (long i 0; i 100_000_000L; i) obj.b i; }); long start System.currentTimeMillis(); t1.start(); t2.start(); t1.join(); t2.join(); System.out.println(耗时: (System.currentTimeMillis() - start) ms); } }逻辑说明两个线程分别写a和b逻辑上无任何共享但物理上如果它们在同一缓存行就会触发缓存一致性协议MESI的频繁失效。填充后每个变量独占缓存行耗时通常能下降 30% 到 60%。参数上填充长度取决于 CPU 缓存行大小x86 通常是 64 字节一个long是 8 字节所以填 7 个刚好把下一个变量推到新行。注意 Java 8 之后有Contended注解但需要开启-XX:-RestrictContended生产环境更推荐手动填充或直接用LongAdder。2.2 用 perf 定位缓存未命中三个必看指标光靠猜不行得让数据说话。Linux 下perf stat是最直接的入口。我一般会跑下面这条命令重点看三个指标。# -e 指定事件-p 指定进程号sleep 10 表示采样 10 秒 perf stat -e cache-references,cache-misses,LLC-load-misses -p pid sleep 10cache-references是缓存访问总次数cache-misses是未命中次数两者比值就是未命中率。如果cache-misses占比超过 10%基本可以怀疑伪共享或数据局部性差。LLC-load-misses是最后一级缓存未命中这个数高说明数据已经频繁落到内存延迟从几纳秒变成上百纳秒。参数怎么调采样时间别太短10 秒起步否则噪声大如果进程是多线程加-a看全局但要注意会混入其他进程。失败时先看perf是否被内核perf_event_paranoid限制用cat /proc/sys/kernel/perf_event_paranoid确认值大于 2 时普通用户无法采样需要 root 或调低该值。2.3 缓存行对齐的工程取舍不是所有场景都值得填填充会浪费内存一个long变成 64 字节如果对象数量巨大内存占用会翻几倍。我的经验是只有高频写且确实观测到伪共享的字段才填。比如并发计数器、RingBuffer 的游标、线程私有的统计变量。普通业务对象完全没必要。另一个常见误区是以为volatile能解决可见性就能解决性能。实际上volatile写会强制刷新缓存行如果多个线程写同一volatile变量性能比伪共享还差。正确做法是用LongAdder这类分散热点的结构或者让每个线程写自己的局部变量最后再合并。3. 内存模型与可见性从 JMM 到 CPU 乱序的完整链路3.1 happens-before 不是口号用代码验证指令重排Java 内存模型JMM里最容易被背成口诀的就是 happens-before但很多人说不清它到底约束了什么。简单说它保证前一个操作的结果对后一个操作可见且前一个操作按顺序排在后面之前。但 CPU 和编译器为了性能会乱序执行如果没有同步手段你看到的执行顺序可能和代码顺序完全不同。下面这段代码是我用来给新人演示重排的经典例子两个线程分别写a和b然后读对方的值理论上x0, y0不应该同时出现但实际跑几万次就能抓到。public class ReorderTest { static int a 0, b 0; static int x 0, y 0; public static void main(String[] args) throws InterruptedException { for (int i 0; i 100_000; i) { a 0; b 0; x 0; y 0; Thread t1 new Thread(() - { a 1; // 写 a x b; // 读 b }); Thread t2 new Thread(() - { b 1; // 写 b y a; // 读 a }); t1.start(); t2.start(); t1.join(); t2.join(); if (x 0 y 0) { System.out.println(发生重排第 i 次); break; } } } }逻辑说明如果严格按代码顺序执行a1和b1至少有一个先发生那么x和y不可能同时为 0。但实际运行中CPU 可能把x b提到a 1之前导致两个读都拿到 0。参数上循环次数越多越容易复现通常几万次内就能命中。要禁止这种重排给写操作加volatile即可因为volatile写会插入内存屏障阻止前面的写被重排到后面。3.2 volatile 的底层内存屏障与缓存一致性协议volatile在 JMM 里保证两点可见性和禁止重排。可见性靠的是写后立即刷回主内存、读前从主内存加载禁止重排靠的是内存屏障。x86 架构下volatile写会插入Lock前缀指令它同时完成两件事把当前缓存行写回内存并使其他核心的该缓存行失效。但要注意volatile不保证原子性。i这种读-改-写操作即使i是volatile多线程下依然会丢更新。正确做法是用AtomicInteger或加锁。我见过太多人在这里翻车以为加了volatile就万事大吉。验证volatile可见性的最小实验一个线程循环读flag主线程睡 1 秒后写flagtrue。如果flag不加volatile读线程可能永远看不到变化JIT 会把读优化到寄存器加了之后立刻退出。这个实验能直观感受到 JIT 优化的威力也能理解为什么“能跑”和“正确”是两回事。3.3 用 jcstress 做并发正确性验证比手写测试靠谱手写并发测试有两个问题一是复现难二是容易误判。OpenJDK 的 jcstress 就是专门解决这个的。它用大量线程和不同内存屏障组合去压你的代码最后给出一个通过/失败矩阵。使用步骤引入依赖org.openjdk.jcstress:jcstress-core写一个带JCStressTest的类用State定义共享变量Actor定义并发操作Outcome声明预期结果。跑mvn clean install后它会生成一个 HTML 报告里面用表格列出每种结果出现的次数。如果出现了你没声明为Outcome的组合就说明有并发缺陷。参数上-m指定模式-t指定线程数-f指定 fork 次数。我一般用默认配置先跑一轮如果结果不稳定再加-f 10。这个工具的好处是把“玄学”变成可量化的概率适合在代码合并前做一轮回归。4. IO 多路复用与网络参数从 select 到 epoll 的选型与调优4.1 五种 IO 模型的本质区别别再把同步阻塞和异步混为一谈网络编程里最常被混淆的就是同步/异步、阻塞/非阻塞。用一句话区分阻塞非阻塞看“调用后是否立即返回”同步异步看“数据拷贝由谁完成”。按这个标准IO 模型分五类阻塞 IO、非阻塞 IO、IO 多路复用、信号驱动 IO、异步 IO。前四种都是同步因为数据从内核拷贝到用户态这一步都需要自己参与只有异步 IO 是内核拷完再通知你。实际工程中Linux 下用得最多的是 IO 多路复用也就是 select/poll/epoll。select 有文件描述符数量限制通常 1024poll 解决了数量问题但仍是线性扫描epoll 用红黑树加就绪链表做到 O(1) 事件通知。下面是一个 epoll 的 C 语言最小示例展示核心调用链。#include sys/epoll.h #include stdio.h #include unistd.h int main() { int epfd epoll_create1(0); // 创建 epoll 实例 struct epoll_event ev, events[10]; ev.events EPOLLIN; // 关注可读事件 ev.data.fd STDIN_FILENO; epoll_ctl(epfd, EPOLL_CTL_ADD, STDIN_FILENO, ev); // 注册 fd int n epoll_wait(epfd, events, 10, -1); // -1 表示永久阻塞 for (int i 0; i n; i) { if (events[i].data.fd STDIN_FILENO) { char buf[1024]; read(STDIN_FILENO, buf, sizeof(buf)); printf(读到数据\n); } } close(epfd); return 0; }逻辑说明epoll_create1创建实例epoll_ctl注册感兴趣的文件描述符epoll_wait阻塞等待事件。参数上events数组大小决定一次最多返回多少就绪事件太小会多次调用太大会浪费内存一般设 1024 到 4096。timeout设 -1 永久阻塞设 0 立即返回设正数表示毫秒超时。失败时先检查epoll_ctl返回值常见错误是EBADFfd 无效或EEXIST重复注册。4.2 epoll 的 LT 与 ET一个参数决定你的 CPU 占用epoll 有两种触发模式水平触发LT和边缘触发ET。LT 是默认模式只要缓冲区有数据就一直通知ET 只在状态变化时通知一次必须一次把数据读完否则剩余数据不会再触发。很多高性能框架用 ET 来减少系统调用次数但代价是代码复杂度上升。我一般这样选如果业务逻辑简单、每次读固定长度用 LT 省心如果追求极致吞吐、能保证循环读到EAGAIN用 ET。下面是一个 ET 模式下的读循环写法。// 假设 fd 已注册为 EPOLLIN | EPOLLET while (1) { ssize_t n read(fd, buf, sizeof(buf)); if (n -1) { if (errno EAGAIN || errno EWOULDBLOCK) { break; // 数据读完退出循环 } else { // 处理错误 break; } } else if (n 0) { // 对端关闭 break; } // 处理 buf 中的 n 字节 }关键点ET 模式下必须循环读到EAGAIN否则残留数据会导致连接“假死”。参数上buf大小建议设为 4KB 到 64KB太小系统调用多太大内存浪费。另外 ET 通常要配合非阻塞 fd否则最后一次read会阻塞住。4.3 生产环境必调的四个内核参数光写对代码不够内核参数不调高并发下照样丢连接。下面四个是我在压测中必看的。参数默认值建议值作用net.core.somaxconn12832768全连接队列最大长度太小会导致握手被丢弃net.ipv4.tcp_max_syn_backlog102416384半连接队列长度防 SYN Floodnet.ipv4.tcp_tw_reuse01允许复用 TIME_WAIT 连接缓解端口耗尽net.ipv4.tcp_keepalive_time7200600缩短保活探测间隔及时清理死连接修改方式sysctl -w net.core.somaxconn32768永久生效写进/etc/sysctl.conf。注意tcp_tw_reuse只在客户端主动发起连接时生效服务端被动关闭的连接仍会进入 TIME_WAIT。如果发现ss -s里 TIME_WAIT 数量持续上万先查是不是短连接太多再考虑调这个参数。5. 锁与并发避坑那些让你加班到凌晨的细节5.1 避坑一锁粒度过大导致吞吐上不去现象一个订单服务压测 QPS 只有 2000CPU 却跑不满。用jstack抓线程栈发现大量线程 BLOCKED 在同一个synchronized方法上。原因方法里除了修改共享状态还包含了 RPC 调用和日志打印锁持有时间被拉长到几十毫秒。解决把锁范围缩小到只包住共享变量的读写RPC 和日志移到锁外。改完后 QPS 涨到 1.2 万。5.2 避坑二死锁的四个必要条件与排查命令现象服务运行几小时后无响应日志停止输出。用jstack pid抓栈搜索 “deadlock” 能看到互相等待的线程和锁地址。原因两个线程以相反顺序获取两把锁。解决统一加锁顺序或者用tryLock带超时。排查命令除了jstack还可以用jconsole的“检测死锁”按钮更直观。5.3 避坑三读写锁的写饥饿现象用ReentrantReadWriteLock后读请求源源不断写请求迟迟拿不到锁导致数据更新延迟越来越大。原因读写锁默认非公平读锁可以插队。解决构造函数传true启用公平模式或者用StampedLock的乐观读。公平模式会降低吞吐但能保证写不被饿死适合写少读多且写延迟敏感的场景。5.4 避坑四CAS 自旋导致 CPU 空转现象用AtomicInteger做计数器并发高时 CPU 使用率飙升但 QPS 没涨。原因CAS 失败后不断重试大量 CPU 花在自旋上。解决换成LongAdder它把热点分散到多个 Cell最后再汇总写性能在高并发下明显更好。读多写少用AtomicLong写多用LongAdder这是我的一般原则。5.5 避坑五线程池参数拍脑袋设置现象线程池队列设成LinkedBlockingQueue无界任务堆积到内存溢出。原因无界队列导致maximumPoolSize形同虚设任务全进队列。解决用有界队列明确corePoolSize、maxPoolSize、队列容量和拒绝策略。我通常按“CPU 核数 1”设核心线程队列容量按峰值 QPS 乘以可接受延迟来估算拒绝策略用CallerRunsPolicy做背压。6. 用 eBPF 做无侵入观测把黑匣子变成透明玻璃前面讲的都是“改代码、调参数”但生产环境往往不允许你重启服务。这时候 eBPF 就是后悔药——它能在内核里挂探针不改一行代码就看到函数调用、延迟分布和错误码。我最早用它排查一个“偶发超时”问题应用日志只记了超时但不知道卡在哪。用bpftrace挂上tcp_retransmit_skb和tcp_sendmsg发现是重传率在特定时段飙升最终定位到网卡队列溢出。下面是一个用bpftrace统计进程 IO 延迟的脚本直接命令行执行。# 统计 pid 为 1234 的进程read 系统调用耗时分布 bpftrace -e tracepoint:syscalls:sys_enter_read /pid 1234/ { start[tid] nsecs; } tracepoint:syscalls:sys_exit_read /pid 1234 start[tid]/ { $delta nsecs - start[tid]; us hist($delta / 1000); delete(start[tid]); } interval:s:10 { exit(); } 逻辑说明进入read时记录时间戳退出时算差值最后用直方图输出微秒级分布。参数上pid 1234是过滤条件改成comm nginx可以按进程名过滤hist的桶是 2 的幂次能快速看出长尾。失败时先确认内核版本支持 eBPF4.9 以上以及bpftrace是否安装。这个脚本跑 10 秒自动退出对生产影响极小。进阶用法是结合perf和flamegraph生成火焰图把 CPU 热点和 IO 等待放在一张图里看。我一般先用perf record -F 99 -p pid -g -- sleep 30采样再用FlameGraph脚本生成 SVG。看火焰图时重点找“平顶”——那些宽而扁的栈往往就是优化点。最后说个我自己的习惯每次上线前用stress-ng或wrk做一轮基线压测把 CPU、内存、网络、锁竞争的关键指标记下来。等线上出问题时先对比基线看哪个指标偏离最大再顺着那个方向用 eBPF 或perf深挖。这套流程帮我省掉了无数次“重启试试”的无效操作。希望帮到你。本文还有配套的精品资源点击获取