连接数减少

FCoE 将每台服务器的网络连接减少了一半。您仍可以根据性能或者可用性目的选择使用多个连接，虽然单一连接就可以提供存储和网络连接。这对批萨盒服务器和刀片机都非常有用，因为它们的组件空间都有限。

低成本

减少的连接数立刻表现在线缆、开关以及其他联网设备的减少。以太网的历史也是规模经济的历史。网络成本急剧下降，因为市场上设备数量已从百万级上升到十亿级，明显的表现就是 100Mb 以太网和 GB 以太网设备价格的下降。

同样，10GbE 也变得比以前便宜很多。另外，因为已可将 CNA 硬件整合到单一芯片中，广泛的使用也将增加其在市场中的数量，直接造成价格大幅下降。

perf stat

这个命令常见性能事件的总体统计，其中包括执行的质量以及消耗的时钟周期。您可以使用选项标签收集事件中默认测量事件以外的统计数据。从红帽企业版 Linux 6.4 开始，还可以使用 perf stat 过滤根据一个或者多个指定的控制组（cgroup）指定的监控。有关详情请查看 man page：man perf-stat。

perf record

这个命令将性能数据记录到文件中，以后可以使用 perf report 进行分析。有关详情请查看 man page：man perf-record。

perf report

这个命令从文件中读取性能数据并分析记录的数据。有关详情请查看 man page：man perf-report。

perf list

这个命令列出具体机器中的可用事件。这些时间随性能监控硬件以及系统软件配置而有所不同。有关详情请查看 man page：man perf-list

perf top

这个命令与 top 工具的功能类似。它可以实时生成并显示性能计数器分析。有关详情请查看 man page：man perf-top。

默认跟踪分类

numa_hit

为这个节点成功的分配尝试数。

numa_miss

由于在目的节点中内存较低而尝试为这个节点分配到另一个节点的数目。每个 numa_miss 事件都在另一个节点中有对应的 numa_foreign 事件。

numa_foreign

最初要为这个节点但最后分配个另一个节点的分配数。每个 每个 numa_foreign 事件都在另一个节点中有对应的 numa_miss 事件。

interleave_hit

成功分配给这个节点的尝试交错策略数。

local_node

这个节点中的进程成功在这个节点中分配内存的次数。

other_node

这个节点中的进程成功在另一个节点中分配内存的次数。

-c

横向紧凑地显示信息表。这对有大量 NUMA 节点的系统很有用，但栏宽度以及栏间空间有时无法预测。使用这个选项时，会将内存值四舍五入到最接近的 MB 数。

-m

显示每个节点中系统范围内的内存使用信息，类似 /proc/meminfo 中的信息。

-n

显示与原始 numastat 命令类似的信息（numa_hit, numa_miss, numa_foreign, interleave_hit, local_node, and other_node），采用更新的格式，使用 MB 作为测量单位。

-p pattern

为指定的模式显示每个节点的内存信息。如果 pattern 值由数字组成，numastat 假设它是一个数字进程识别符。否则 numastat 会为指定的模式搜索进程命令行。

假设在 -p 选项值后输入的命令行参数是过滤器的附加模式。附加模式要扩大而不是缩小过滤范围。

-s

以降序模式排列显示的数据以便让最大内存消耗者（根据 total 栏）列在首位。

您也可以指定 node，并根据 node 栏排列表格。当使用这个选项时，node 值后必须立即跟上一个 -s 选项，如下所示：

numastat -s2

不要在该选项及其数值之间有空格。

-v

显示更详细的信息。就是说多进程的进程信息会为每个进程显示详细的信息。

-V

显示 numastat 版本信息。

-z

省略表格显示的信息中数值为 0 的行和列。注：有些接近 0 的值都四舍五入为 0 以方便显示，这些数值不会在显示的输出结果中省略。

SCHED_FIFO

这个策略也称作静态优先调度，因为它为每个线程规定固定的优先权（在 1 到 99 之间）。该调度程序根据优先权顺序扫描 SCHED_FIFO 线程列表，并调度准备好运行的最高优先权线程。这个线程会运行到它阻断、推出或者被更高的线程抢占准备运行的时候。

即使是最低优先权的实时线程也会比非实时策略线程提前被调度。如果只有一个实时线程，则 SCHED_FIFO 优先权值就无所谓了。

SCHED_RR

SCHED_FIFO 策略的轮循变体。也会为 SCHED_RR 线程提供 1-99 之间的固定优先权。但有相同优先权的线程使用特定仲裁或者时间片以轮循方式进行调度。sched_rr_get_interval(2) 系统调用所有时间片返回的数值，但用户无法设定时间片持续时间。这个策略在您需要以相同的优先权运行多个线程是很有帮助。

/proc/sys/kernel/sched_rt_period_us

以毫秒为单位定义视为 100% CPU 带宽的时间段（‘us'是明文中与 'µs' 最接近的表示）。默认值为 1000000µs 或者 1 秒。

/proc/sys/kernel/sched_rt_runtime_us

以毫秒为单位定义用于运行实时线程的时间段（‘us'是明文中与 'µs' 最接近的表示）。默认值为 950000µs 或者 0.95 秒。

SCHED_OTHER 或者 SCHED_NORMAL

默认调度策略。该策略使用完全公平调度程序（CFS）提供对所有使用此策略线程的公平访问时间段。CFS 建立了动态优先权列表，部分是根据每个进程线程的 niceness 值。（有关此参数以及 /proc 文件系统的详情请参考《部署指南》。）这样可为用户提供一些间接控制进程优先权的权利，但这个动态优先权列表只能由 CFS 直接更改。

CPU pinning

可将虚拟机捆绑到具体插槽中以便优化本地缓存使用，并删除昂贵的插槽间通讯和远程内存访问的需要。

透明大页面（THP）

启用 THP 后，系统可为大量连续内存自动执行 NUMA 可识别的内存分配要求，减少内存锁竞争量和所需转移后备缓冲器（TLB）内存管理操作，并可在虚拟机中将性能提高达 20%。

基于内核的 I/O 实施

虚拟机 I/O 子系统现在已在内核中部署，这样可极大降低节点间通讯和内存访问，方法是避免大量上下文切换，减少同步和通讯费用。

--leak-check

启用后，Memcheck 会在客户端程序完成后搜索内存泄漏。其默认值为 summary，它输出找到的泄漏数。其他可能的值为 yes 和 full，这两个选项都会给出每个泄漏的详细情况，且 no 会禁用内存泄漏检查。

--undef-value-errors

启用后（将其设定为 yes），Memcheck 会报告使用未定义值报告的错误。禁用时（将其设定为 no），则不会报告未定义值错误。默认启用这个选项。禁用该选项会稍稍提高 Memcheck 速度。

--ignore-ranges

可让用户指定一个或者多个 Memcheck 检查可寻址能力时应该忽略的范围。多个范围使用逗号分开，例如：--ignore-ranges=0xPP-0xQQ,0xRR-0xSS。

--I1

指定大小，关联性以及一级指令缓存的块大小，以逗号分开：--I1=size,associativity,line size。

--D1

指定大小，关联性以及一级数据缓存的块大小，以逗号分开：--D1=size,associativity,line size。

--LL

指定大小，关联性以及最后一级指令缓存的块大小，以逗号分开：--LL=size,associativity,line size。

--cache-sim

启用或者禁用缓存访问和缺失计数集合。默认值为 yes（启用）。

注：禁用这个选项和 --branch-sim 选项让 Cachegrind 误信息可以收集。

--branch-sim

启用或者禁用分支指令和无法预测计数集合。默认将其设定为 no（禁用），因为它可让 Cachegrind 延缓 25%。

注：禁用这个选项和 --cache-sim 选项让 Cachegrind 误信息可以收集。

--heap

指定是否执行堆 分析。默认值为 yes。将此选项设定为 no 即可禁用堆 分析。

--heap-admin

指定启用堆 分析时每个块用于管理的字节数。默认每个块有 8 字节。

--stacks

指定是否执行栈分析。默认值为 no（禁用）。要启用栈分析，请将这个选项设定为 yes，但请注意这样做会极大降低 Massif 速度。另外还要注意 Massif 假设开始时主栈大小为 0 以便更好的显示要分析的程序的栈所控制的比例。

--time-unit

指定用来分析的时间单位。这个选项三个有效值：执行的指令（i），即默认值，用于大多数情况；即时（ms，单位毫秒），可用于某些特定事务；以及在堆（/或者）栈中分配/取消分配的字节（B），用于很少运行的程序，且用于测试目的，因为它最容易在不同机器中重现。这个选项在使用 ms_print 输出结果画图是游泳。

可调参数

back_seek_max

反向查询通常对性能有负面影响，因为它比正向查询标头重置时间要长很多。但如果负载较小，则 CFQ 仍执行此查询。这个可调参数以 KB 为单位控制 I/O 调度程序允许反向查询的间距。默认为 16 KB。

back_seek_penalty

由于反向查询的效率低，每项反向查询都有惩罚与之关联。惩罚是一个乘数。例如：视磁头位置在 1024KB。假设在队列中有两个请求，一个在 1008KB，一个在 1040KB。这两个请求到当前磁头位置登距。但如果应用反向查询惩罚（默认：2），则磁盘中距离较远的请求现在与较近的请求的距离缩短了一倍。因此磁头将向前移动。

fifo_expire_async

这个可调参数控制异步（缓存写入）请求等待的时间长度。过期后（以毫秒计）会将无法满足的异步请求移动到调度表中。默认为 250 毫秒。

fifo_expire_sync

这个参数与 fifo_expire_async 相同，用于同步请求（读取和 O_DIRECT 写入）。默认为 125 毫秒。

group_idle

设定后，CFQ 会在最后一个进程 cgroup 中发出 I/O 后闲置。当使用加权 I/O cgroup 并将 slice_idle 设定为 0 后将其设定为 1（通常用于快速存储）。

group_isolation

如果启用组隔离（设定为 1），它可以吞吐量为代价提供组群间更强大的隔离。一般来说，如果禁用组隔离，则只为连续负载提供公平机制。启用组隔离则会为连续以及随机负载提供公平机制。默认值为 0（禁用）。详情请参考 Documentation/cgroups/blkio-controller.txt。

low_latency

启用低延迟后（设定为 1），CFQ 会尝试为设备中每个发出 I/O 的进程提供最长 300 ms 的等待时间。禁用低延迟（设定为 0）可忽略目标延迟，这样就可允许系统中的每个进程获得全部时间片段。默认启用低延迟。

quantum

quantum 参数控制 CFQ 每次向该存储发出的 I/O 数，主要是限制设备队列深度。默认情况下将其设定为 8。该存储可能支持更深的队列深度，但增加 quantum 还将对延迟产生负面影响，特别是有大量连续写操作的时候。

slice_async

这个可调参数控制分配给每个发出异步（缓存写入）I/O 的进程的时间片段。默认将其设定为 40 毫秒。

slice_idle

这个参数指定 CFQ 在等待进一步请求时应闲置的时间。红帽企业版 Linux 6.1 以及更早版本中的默认值为 8 毫秒。在红帽企业版 Linux 6.2 以及之后的版本中默认值为 0。这个 0 值可通过删除队列以及服务树层中的所有闲置提高外置 RAID 存储流量。但 0 值可降低内置非 RAID 存储的流量，因为它会增加查询总量。对于非 RAID 存储建议您将 slice_idle 值设定在 0 以上。

slice_sync

这个可调参数专门用于发出同步（读取或者直接写入）I/O 进程的时间片段。默认值为 100 毫秒。

可调参数

fifo_batch

这样可以决定单一批次中发出的读取或者写入数。默认为 16。设为更高的数值可获得更好的流量，但也会增加延迟。

front_merges

如果您找到负载永远不会生成前合并，则您可以将这个可调参数设定为 0。除非您已了解这个检查的代价，建议将其设定为默认值，即 1。

read_expire

这个可调参数可让您已毫秒为单位设定读取操作速度。默认将其设定为 500 毫秒（即半秒）。

write_expire

这个可调参数可让您已毫秒为单位设定写入操作速度。默认将其设定为 5000 毫秒（即五秒）。

writes_starved

这个可调参数控制处理单一写入批之前可以处理多少读取批。这个值越高，越倾向于读取操作。

/sys/block/sdX/queue 可调参数

add_random

在某些情况下，熵池中用于 /dev/random 的 I/O 事件成本是可以测量的。在某些情况下要求将其设定为 0。

max_sectors_kb

默认将发送到磁盘的最大请求设定为 512 KB。这个可调参数可用来增大或者减小该值。最小值为逻辑块大小；最大值由 max_hw_sectors_kb 设定。有些 SSD 会在 I/O 大小超过内部删除块大小时性能下降。在此类情况下建议将 max_hw_sectors_kb 降低到删除块大小。您可以使用类似 iozone 或者 aio-stress 的 I/O 生成程序对此进行测试，记录大小可从 512 字节到 1 MB 不等。

nomerges

这个可调参数主要用于故障排除。大多数负载都可从请求合并中获益（即使类似 SSD 的告诉存储也是如此）。但在有些情况下要求禁用合并，比如当您要查看存储后端可处理多少 IOPS 而无需禁用预读或者执行随机 I/O 时。

nr_requests

每个请求队列都有可为每个读和写 I/O 分配的请求描述符总数限制。这个数的默认值为 128，即在将某个进程转入睡眠模式时可将 128 个读和 128 个写放入队列。转入睡眠模式的进程是下一个要分配请求的进程，不一定是已分配所有可用请求的进程。

如果您一个对延迟敏感的程序，则应考虑在您的请求队列中降低 nr_requests 值，并将存储中的命令队列深度降低到较低的数值（甚至可以降低为 1），这样写回 I/O 就无法分配所有可用请求描述符，并使用写入 I/O 设备队列填满该设备。分配 nr_requests 后，所有其他尝试执行 I/O 的进程都会转入睡眠模式等待请求可用。这样更为公平，因为这样会以轮循模式分配请求（而不是让一个进程很快消耗完所有资源）。注：只有在使用最后期限或者 noop 调度程序时才会有此问题，因为默认 CFQ 配置可防止出现此类情况。

optimal_io_size

在有些情况下，底层存储会报告最佳 I/O 大小。这在硬件和软件 RAID 中很常见，其中最佳 I/O 大小是条大小。如果报告该值，则程序应该发出以及最佳 I/O 大小相当会长成倍数的大小的 I/O。

read_ahead_kb

操作系统可探测到程序何时从文件或者磁盘中连续读取数据。在这种情况下，它可执行智能预读算法，因此用户可能会要求从磁盘中读取更多数据。因此当用户下一步尝试读取数据块时，它已经在操作系统的页缓存中了。可能的缺点是操作系统可能从磁盘中读取过多数据，这样就会占用页缓存直到高内存压力将其清除。如果有多个进程执行错误预读就会增加这种情况下的内存压力。

对于设备映射器设备，一般应该增大 read_ahead_kb 值，比如 8192。理由是设备映射器设备通常有多个基础设备组成。将其设定为默认的值（128 KB）然后乘以要映射的设备数是个好的调整起点。

rotational

传统硬盘一般都采用轮换模式（比如转盘）。但 SSD 不是。大多数 SSD 会以适当的方式进行宣传。但如果您遇到设备没有说明有此功能，则可能需要手动将轮换模式设定为 0；禁用轮换模式后，I/O 提升程序就不使用要减少查询的逻辑，因为在非轮换介质中会有少量查询操作罚分。

rq_affinity

可在与发出 I/O 不同的 CPU 中处理 I/O。将 rq_affinity 设定为 1 可让内核向发出 I/O 的 CPU 传递完成信息。这样可以改进 CPU 数据缓存效果。

输入流量

您可以通过放缓下行输入流量放置队列超限运转。方法是过滤、减少联合多播组数、降低广播流量等等。

队列长度

另外，您也可以增加队列长度。这包括在指定队列中将缓冲数增加到该驱动程序最多可以承担的数量。方法是编辑 ethX 的 rx/tx 环参数，命令为：

ethtool --set-ring ethX

在前面所说的命令中附加恰当的 rx/tx 值。详情请参考 man ethtool。

设备加权

您还可以增加排空队列的速度。方法是相应调整 NIC 的设备加权。这个属性指的是 softirq 上下文必须产生 CPU 并重新调度其本身前 NIC 可以接收的最多帧数。它由 /proc/sys/net/core/dev_weight 变量控制。

输入流量

第一个方法是延缓输入流量，方法为填充队列配置速度。具体步骤可以是过滤帧或者抢先丢掉它们。您还可以通过降低 NIC 的设备加权^[6]延缓输入流量。

队列深度

您还可以通过增大队列深度避免插槽队列超限运转。方法是增大 rmem_default 内核参数或者 SO_RCVBUF 插槽选项值。有关详情请参考 第 8.2 节 “优化的网络设置”。

程序调用频率

尽可能优化程序以便更频繁地执行调用。这包括修改或者重新配置网络程序以便执行更频繁的 POSIX 调用（比如 recv、read）。反过来，这也可以让程序更快地排空队列。