性能调优的第一步是性能分析，下面从性能分析着手进行一些介绍，尤其对linux性能分析工具vmstat的用法和实践进行详细介绍。
——————————————————————————————————————————
1.性能分析的目的
1）找出系统性能瓶颈（包括硬件瓶颈和软件瓶颈）；
2）提供性能优化的方案（升级硬件？改进系统系统结构？）；
3）达到合理的硬件和软件配置；
4）使系统资源使用达到最大的平衡。（一般情况下系统良好运行的时候恰恰各项资源达到了一个平衡体，任何一项资源的过渡使用都会造成平衡体系破坏，从而造成系统负载极高或者响应迟缓。比如cpu过渡使用会造成大量进程等待cpu资源，系统响应变慢，等待会造成进程数增加，进程增加又会造成内存使用增加，内存耗尽又会造成虚拟内存使用，使用虚拟内存又会造成磁盘io增加和cpu开销增加）
2.影响性能的因素
1）cpu（cpu的速度与性能很大一部分决定了系统整体的性能，是否使用smp）
2）内存（物理内存不够时会使用交换内存，使用swap会带来磁盘i0和cpu的开销）
3）硬盘（存储系统）
a.raid技术使用（raid0, raid1, raid5, raid0 1）
b.小文件读写瓶颈是磁盘的寻址（tps），大文件读写的性能瓶颈是带宽
c.linux可以利用空闲内存作文件系统访问的cache，因此系统内存越大存储系统的性能也越好
4）网络带宽。
3.性能分析的步骤
1)对资源的使用状况进行长期的监控和数据采集（nagios、cacti）
2）使用常见的性能分析工具（vmstat、top、free、iostat等)
3）经验积累
a.应用程序设计的缺陷和数据库查询的滥用最有可能导致性能问题
b.性能瓶颈可能是因为程序差/内存不足/磁盘瓶颈，但最终表现出的结果就是cpu耗尽，系统负载极高，响应迟缓，甚至暂时失去响应
c.物理内存不够时会使用交换内存，使用swap会带来磁盘i0和cpu的开销
d.可能造成cpu瓶颈的问题：频繁执perl，php，java程序生成动态web；数据库查询大量的where子句、order by/group by排序……
e.可能造成内存瓶颈问题：高并发用户访问、系统进程多，java内存泄露……
f.可能造成磁盘io瓶颈问题：生成cache文件，数据库频繁更新，或者查询大表……
4.vmstat详细介绍
vmstat是一个很全面的性能分析工具，可以观察到系统的进程状态、内存使用、虚拟内存使用、磁盘的io、中断、上下文切换、cpu使用等。对于 linux 的性能分析，100%理解 vmstat 输出内容的含义，并能灵活应用，那对系统性能分析的能力就算是基本掌握了。
下面是vmstat命令的输出结果：
[root@monitor-www ~]# vmstat 1 5
procs —————memory————— ——swap—— ——io—— ——system—— ——cpu——
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 0 84780 909744 267428 1912076 0 0 20 94 0 0 2 1 95 1 0
1 2 84780 894968 267428 1912216 0 0 0 1396 2301 11337 8 3 89 0 0
1 0 84780 900680 267428 1912340 0 0 76 1428 1854 8082 7 2 90 0 0
1 0 84780 902544 267432 1912548 0 0 116 928 1655 7502 7 2 92 0 0
2 0 84780 900076 267432 1912948 0 0 180 904 1963 8703 10 3 87 0 0
对输出解释如下：
1）procs
a.r列表示运行和等待cpu时间片的进程数，这个值如果长期大于系统cpu个数，就说明cpu资源不足，可以考虑增加cpu；
b.b列表示在等待资源的进程数，比如正在等待i/o或者内存交换等。
2）memory
a.swpd列表示切换到内存交换区的内存数量（以kb为单位）。如果swpd的值不为0或者比较大，而且si、so的值长期为0，那么这种情况一般不用担心，不会影响系统性能；
b.free列表示当前空闲的物理内存数量（以kb为单位）；
c.buff列表示buffers cache的内存数量，一般对块设备的读写才需要缓冲；
d.cache列表示page cached的内存数量，一般作文件系统的cached，频繁访问的文件都会被cached。如果cached值较大，就说明cached文件数较多。如果此时io中的bi比较小，就说明文件系统效率比较好。
3）swap
a.si列表示由磁盘调入内存，也就是内存进入内存交换区的数量；
b.so列表示由内存调入磁盘，也就是内存交换区进入内存的数量
c.一般情况下，si、so的值都为0，如果si、so的值长期不为0，则表示系统内存不足，需要考虑是否增加系统内存。
4）io
a.bi列表示从块设备读入的数据总量（即读磁盘，单位kb/秒）
b.bo列表示写入到块设备的数据总量（即写磁盘，单位kb/秒）
这里设置的bi bo参考值为1000，如果超过1000，而且wa值比较大，则表示系统磁盘io性能瓶颈。
5）system
a.in列表示在某一时间间隔中观察到的每秒设备中断数；
b.cs列表示每秒产生的上下文切换次数。
上面这两个值越大，会看到内核消耗的cpu时间就越多。
6）cpu
a.us列显示了用户进程消耗cpu的时间百分比。us的值比较高时，说明用户进程消耗的cpu时间多，如果长期大于50%，需要考虑优化程序啥的。
b.sy列显示了内核进程消耗cpu的时间百分比。sy的值比较高时，就说明内核消耗的cpu时间多；如果us sy超过80%，就说明cpu的资源存在不足。
c.id列显示了cpu处在空闲状态的时间百分比；
d.wa列表示io等待所占的cpu时间百分比。wa值越高，说明io等待越严重。如果wa值超过20%，说明io等待严重。
e.st列一般不关注，虚拟机占用的时间百分比。 （linux 2.6.11）
衡量cpu性能的指标：
1，用户使用cpu的情况；
cpu运行常规用户进程
cpu运行niced process
cpu运行实时进程
2，系统使用cpu情况；
用于i/o管理：中断和驱动
用于内存管理：页面交换
用户进程管理：进程开始和上下文切换
3，wio：用于进程等待磁盘i/o而使cpu处于空闲状态的比率。
4，cpu的空闲率，除了上面的wio以外的空闲时间
5，cpu用于上下文交换的比率
6，nice
7，real-time
8，运行进程队列的长度
9，平均负载
linux中常用的监控cpu整体性能的工具有：
§ mpstat： mpstat 不但能查看所有cpu的平均信息，还能查看指定cpu的信息。
§ vmstat：只能查看所有cpu的平均信息；查看cpu队列信息；
§ iostat: 只能查看所有cpu的平均信息。
§ sar： 与mpstat 一样，不但能查看cpu的平均信息，还能查看指定cpu的信息。
§ top：显示的信息同ps接近，但是top可以了解到cpu消耗，可以根据用户指定的时间来更新显示。
下面一一介绍：
一，vmstat
[root@localhost ~]#vmstat -n 3 (每个3秒刷新一次）
procs-----------memory--------------------swap-- ----io---- --system---- ------cpu--------
r b swpd free buff cache si so bi bo in cs us sy id wa
10 144 186164 105252 2386848 0 0 18 166 83 2 48 21 31 0
20 144 189620 105252 2386848 0 0 0 177 1039 1210 34 10 56 0
00 144 214324 105252 2386848 0 0 0 10 1071 670 32 5 63 0
00 144 202212 105252 2386848 0 0 0 189 1035 558 20 3 77 0
20 144 158772 105252 2386848 0 0 0 203 1065 2832 70 14 15 0
红色内容标示cpu相关的参数
proc(esses)
--r:如果在processes中运行的序列(process r)是连续的大于在系统中的cpu的个数表示系统现在运行比较慢,有多数的进程等待cpu.
如果r的输出数大于系统中可用cpu个数的4倍的话,则系统面临着cpu短缺的问题,或者是cpu的速率过低,系统中有多数的进程在等待cpu,造成系统中进程运行过慢.
system
--in:每秒产生的中断次数
--cs:每秒产生的上下文切换次数
上面2个值越大，会看到由内核消耗的cpu时间会越大
cpu
-us:用户进程消耗的cpu时间百分
us的值比较高时，说明用户进程消耗的cpu时间多，但是如果长期超50%的使用，那么我们就该考虑优化程序算法或者进行加速（比如php/perl）
-sy:内核进程消耗的cpu时间百分比（sy的值高时，说明系统内核消耗的cpu资源多，这并不是良性表现，我们应该检查原因）
-wa:io等待消耗的cpu时间百分比
wa的值高时，说明io等待比较严重，这可能由于磁盘大量作随机访问造成，也有可能磁盘出现瓶颈（块操作）。
-id:cpu处于空闲状态时间百分比,如果空闲时间(cpu id)持续为0并且系统时间(cpu sy)是用户时间的两倍(cpu us) 系统则面临着cpu资源的短缺.
解决办法:
当发生以上问题的时候请先调整应用程序对cpu的占用情况.使得应用程序能够更有效的使用cpu.同时可以考虑增加更多的cpu. 关于cpu的使用情况还可以结合mpstat, ps aux top prstat –a等等一些相应的命令来综合考虑关于具体的cpu的使用情况,和那些进程在占用大量的cpu时间.一般情况下，应用程序的问题会比较大一些.比如一些sql语句不合理等等都会造成这样的现象.
二，sar
sar [options] [-a] [-o file] t [n]
在命令行中，n 和t 两个参数组合起来定义采样间隔和次数，t为采样间隔，是必须有
的参数，n为采样次数，是可选的，默认值是1，-o file表示将命令结果以二进制格式
存放在文件中，file 在此处不是关键字，是文件名。options 为命令行选项，sar命令
的选项很多，下面只列出常用选项：
-a：所有报告的总和。
-u：cpu利用率
-v：进程、i节点、文件和锁表状态。
-d：硬盘使用报告。
-r：内存和交换空间的使用统计。
-g：串口i/o的情况。
-b：缓冲区使用情况。
-a：文件读写情况。
-c：系统调用情况。
-q：报告队列长度和系统平均负载
-r：进程的活动情况。
-y：终端设备活动情况。
-w：系统交换活动。
-x { pid | self | all }：报告指定进程id的统计信息，self关键字是sar进程本身的统计，all关键字是所有系统进程的统计。
用sar进行cpu利用率的分析
#sar -u 2 10
linux 2.6.18-53.el5pae (localhost.localdomain) 03/28/2009
07:40:17 pm cpu %user %nice %system %iowait %steal %idle
07:40:19 pm all 12.44 0.00 6.97 1.74 0.00 78.86
07:40:21 pm all 26.75 0.00 12.50 16.00 0.00 44.75
07:40:23 pm all 16.96 0.00 7.98 0.00 0.00 75.06
07:40:25 pm all 22.50 0.00 7.00 3.25 0.00 67.25
07:40:27 pm all 7.25 0.00 2.75 2.50 0.00 87.50
07:40:29 pm all 20.05 0.00 8.56 2.93 0.00 68.46
07:40:31 pm all 13.97 0.00 6.23 3.49 0.00 76.31
07:40:33 pm all 8.25 0.00 0.75 3.50 0.00 87.50
07:40:35 pm all 13.25 0.00 5.75 4.00 0.00 77.00
07:40:37 pm all 10.03 0.00 0.50 2.51 0.00 86.97
average: all 15.15 0.00 5.91 3.99 0.00 74.95
在显示内容包括：
%user：cpu处在用户模式下的时间百分比。
%nice：cpu处在带nice值的用户模式下的时间百分比。
%system：cpu处在系统模式下的时间百分比。
%iowait：cpu等待输入输出完成时间的百分比。
%steal：管理程序维护另一个虚拟处理器时，虚拟cpu的无意识等待时间百分比。
%idle：cpu空闲时间百分比。
在所有的显示中，我们应主要注意%iowait和%idle，%iowait的值过高，表示硬盘存在i/o瓶颈，%idle值高，表示cpu较空闲，如果%idle值高但系统响应慢时，有可能是cpu等待分配内存，此时应加大内存容量。%idle值如果持续低于10，那么系统的cpu处理能力相对较低，表明系统中最需要解决的资源是cpu。
用sar进行运行进程队列长度分析：
#sar -q 2 10
linux 2.6.18-53.el5pae (localhost.localdomain) 03/28/2009
07:58:14 pm runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15
07:58:16 pm 0 493 0.64 0.56 0.49
07:58:18 pm 1 491 0.64 0.56 0.49
07:58:20 pm 1 488 0.59 0.55 0.49
07:58:22 pm 0 487 0.59 0.55 0.49
07:58:24 pm 0 485 0.59 0.55 0.49
07:58:26 pm 1 483 0.78 0.59 0.50
07:58:28 pm 0 481 0.78 0.59 0.50
07:58:30 pm 1 480 0.72 0.58 0.50
07:58:32 pm 0 477 0.72 0.58 0.50
07:58:34 pm 0 474 0.72 0.58 0.50
average: 0 484 0.68 0.57 0.49
runq-sz 准备运行的进程运行队列。
plist-sz 进程队列里的进程和线程的数量
ldavg-1 前一分钟的系统平均负载(load average)
ldavg-5 前五分钟的系统平均负载(load average)
ldavg-15 前15分钟的系统平均负载(load average)
顺便说一下load avarage的含义
load average可以理解为每秒钟cpu等待运行的进程个数.
在linux系统中，sar -q、uptime、w、top等命令都会有系统平均负载load average的输出，那么什么是系统平均负载呢？
系统平均负载被定义为在特定时间间隔内运行队列中的平均任务数。如果一个进程满足以下条件则其就会位于运行队列中：
- 它没有在等待i/o操作的结果
- 它没有主动进入等待状态(也就是没有调用'wait')
- 没有被停止(例如：等待终止)
例如：
# uptime
20:55:40 up 24 days, 3:06, 1 user, load average: 8.13, 5.90, 4.94
命令输出的最后内容表示在过去的1、5、15分钟内运行队列中的平均进程数量。
一般来说只要每个cpu的当前活动进程数不大于3那么系统的性能就是良好的，如果每个cpu的任务数大于5，那么就表示这台机器的性能有严重问题。对 于上面的例子来说，假设系统有两个cpu，那么其每个cpu的当前任务数为：8.13/2=4.065。这表示该系统的性能是可以接受的。
三，iostat
#iostat -c 2 10
linux 2.6.18-53.el5pae (localhost.localdomain) 03/28/2009
avg-cpu: %user %nice %system %iowait %steal %idle
30.10 0.00 4.89 5.63 0.00 59.38
avg-cpu: %user %nice %system %iowait %steal %idle
8.46 0.00 1.74 0.25 0.00 89.55
avg-cpu: %user %nice %system %iowait %steal %idle
22.06 0.00 11.28 1.25 0.00 65.41
四，mpstat
mpstat 是multiprocessor statistics的缩写，是实时系统监控工具。其报告与cpu的一些统计信息，这些信息存放在/proc/stat文件中。在多cpus系统里，其不但能查看所有cpu的平均状况信息，而且能够查看特定cpu的信息。下面只介绍 mpstat与cpu相关的参数，mpstat的语法如下：
mpstat [-p {|all}] [internal [count]]
参数的含义如下：
参数 解释
-p {|all} 表示监控哪个cpu， cpu在[0,cpu个数-1]中取值
internal 相邻的两次采样的间隔时间
count 采样的次数，count只能和delay一起使用
当没有参数时，mpstat则显示系统启动以后所有信息的平均值。有interval时，第一行的信息自系统启动以来的平均信息。从第二行开始，输出为前一个interval时间段的平均信息。与cpu有关的输出的含义如下：
参数 解释 从/proc/stat获得数据
cpu 处理器id
user 在internal时间段里，用户态的cpu时间（%） ，不包含 nice值为负 进程 dusr/dtotal*100
nice 在internal时间段里，nice值为负进程的cpu时间（%） dnice/dtotal*100
system 在internal时间段里，核心时间（%） dsystem/dtotal*100
iowait 在internal时间段里，硬盘io等待时间（%） diowait/dtotal*100
irq 在internal时间段里，软中断时间（%） dirq/dtotal*100
soft 在internal时间段里，软中断时间（%） dsoftirq/dtotal*100
idle 在internal时间段里，cpu除去等待磁盘io操作外的因为任何原因而空闲的时间闲置时间 （%） didle/dtotal*100
intr/s 在internal时间段里，每秒cpu接收的中断的次数 dintr/dtotal*100
cpu总的工作时间=total_cur=user system nice idle iowait irq softirq
total_pre=pre_user pre_system pre_nice pre_idle pre_iowait pre_irq pre_softirq
duser=user_cur – user_pre
dtotal=total_cur-total_pre
其中_cur 表示当前值，_pre表示interval时间前的值。上表中的所有值可取到两位小数点。
#mpstat -p all 2 10
linux 2.6.18-53.el5pae (localhost.localdomain) 03/28/2009
10:07:57 pm cpu %user %nice %sys %iowait %irq %soft %steal %idle intr/s
10:07:59 pm all 20.75 0.00 10.50 1.50 0.25 0.25 0.00 66.75 1294.50
10:07:59 pm 0 16.00 0.00 9.00 1.50 0.00 0.00 0.00 73.50 1000.50
10:07:59 pm 1 25.76 0.00 12.12 1.52 0.00 0.51 0.00 60.10 294.00