perf简介

1. centos环境 yum install perf
2. ubuntu环境 apt-get install linux-tools-common linux-tools-generic linux-tools-$(uname -r)

1、通过event的名称

perf list 用于列出所有的event，这个列表很长（取绝于perf的版本）

2、通过pmu事件号

例如： cpu/event=0xd3,umask=0x2,name=remote_dram/ 用于intel skylake架构，采集跨socket内存访问的次数。

perfmon 可以查到INTEL支持的事件，各个事件的含义。

如前所讲，PMU可能会分时复用，可以控制每个分时的event， -e '{event1,event2,event3,event4}' 。

1. perf stat -p <pid> --timeout <ms> 采集pid的基本信息，采集时长ms;
2. perf stat -e cycles:k,instructions:k -p <pid> -- sleep <sec> 采集pid内核的指令，采集时长sec;
3. perf stat -- test 运行test，采集基本信息。

下面是采集进程3926信息10秒的情况，整体分三部分：

1. #号前是采集的值、名称，是从PMU读取的;
2. #号后是计算的值，是根据PMU和其它信息计算的值;
3. 括号中表示分时复用的情况。

例如：2.882 GHz 是CPU的频率，这个是计算的，不是采集的。

$ sudo perf stat -p 3926 -- sleep 10

 Performance counter stats for process id '261662':

      18810.424285      task-clock (msec)         #    1.875 CPUs utilized
            95,633      context-switches          #    0.005 M/sec
            19,360      cpu-migrations            #    0.001 M/sec
           149,140      page-faults               #    0.008 M/sec
    54,206,371,162      cycles                    #    2.882 GHz                      (98.05%)
    41,497,287,682      instructions              #    0.77  insn per cycle           (98.84%)
     7,903,861,194      branches                  #  420.185 M/sec                    (97.91%)
       140,183,559      branch-misses             #    1.77% of all branches          (97.12%)

      10.033397285 seconds time elapsed

备注

1. 因为要操作硬件 perf stat 和内核版本关系密切，在新CPU上perf stat的（一些）功能可能无法使用;

采样程序的运行情况，常用参数：

1. -g 记录程序调用栈;
2. -o 指定输出文件，默认是perf.data;
3. -F 采用频率。

查看perf record的结果，常用参数：

1. -g none --no-children 不查看调用栈
2. -d <dso> 查看该dso的符号

搜索特定符号的占比 perf report | grep -F'%' | tr -d'%' | awk '{sum += $1} END {print sum}'

函数调用top（类比top命令），相当于一边record一边report，比较消耗资源。

查看函数内部热点，例如：perf report显示foo函数占比大，可以用 perf annotate foo 显示函数foo内部哪段代码占比多，默认显示汇编，如果有源码，也会关联上源码。

但通常不怎么用，在使用perf record时，移动光标到foo函数，敲enter，就可以对foo做annotate。

解码、输出 perf record 的数据。

如果不习惯perf report的文本界面，可以转成火焰图，（perf record时需要-g参数）。

# 需要用到火焰图工具：https://github.com/brendangregg/FlameGraph.git

# 采集30秒
perf record -g -p <pid> -o perfdata -- sleep 30

# perf script 解码perfdata
# stackcollapse-perf.pl（来自FlameGraph），把perf script的输出转成火焰图需要的文本格式
# flamegraph.pl 把火焰图文本转成火焰图
perf script -i perfdata | stackcollapse-perf.pl | flamegraph.pl > perf.svg

# 可以在stackcollapse之前，加工文本
# 例如：删除unknow栈，不区分线程
perf script -i perfdata | grep -vF '[unknown]' | sed -E 's/^[a-zA-Z0-9:_-]+/thread/' | stackcollapse-perf.pl | flamegraph.pl > perf.svg

注意事项：

1. 为了展示内联函数， 为 perf record 指定 --call-graph dwarf 参数，使用dwarf来爬栈。但是会导致 perf.data 文件巨大，可用通过-F降低采样频率;

perf stat 观察的是程序运行时，pmu计数器的值，这是个旁路流程，对程序影响很小。

perf record 观察的是程序运行时，程序的调用（函数、或栈），这个信息只有程序自己知道。程序需要响应中断，进入内核态，记录下中断发生时的调用地址、栈。这影响程序的性能，尤其是采样频率较高时。

perf stat perf record 指定 -p 需要为进程的每个线程，每个CPU调用 perf_event_open 当线程数量较多，机器CPU数量较多时，会消耗大量fd（例如：5000线程、256个cpu，消耗128万），超出ulimit的限制。此时直接修改ulimit是不行的，需要先修改 fs.nr_open 。

$ perf record -e cycles:k -p 7921 -- sleep 30
Too many events are opened
Probably the maximum number of open file descriptors has been reached.
Hint: Try again after reducing the number of events.
Hint: Try increasing the limit with 'ulimit -n <limit>'

$ ulimit -n 2560000
-bash: ulimit: open files: cannot modify limit: Operation not permitted

# ulimit -n 修改失败，需要先修改 fs.nr_open
$ sysctl -w fs.nr_open=2560000

perf script 输出调用栈，不能只看栈的输出频次，有个 period 字段，表示每个栈的耗时。FlameGraph 有个 issue 讨论这个问题。

如上所述，指定pid采集不见得开销就小，可以用 -a 全量采集，然后在perf report、perf script时指定 --pid 只展示单独的进程。

对于解释性语言而言，通常perf抓到的地址是解释器的、而不是被解释程序自身的。带JIT的语言（如Java）抓到的地址是JIT后的程序的，但是地址和符号的映射关系需要JIT单独提供。perf 在解析进程 <pid> 符号时，会访问 /tmp/perf-<pid>.map 。JIT提供的映射关系放到这个地址即可。

Java17提供了导出JIT符号的方法。 jcmd <pid> Compiler.perfmap 。

容器通常没有root权限，需要配置sysctl采集内核符号， sysctl -w kernel.perf_event_paranoid=-1 。