trace high server load

Hi guys,

I have a server that has a high load, despite having low cpu usage. Can anybody help me track what is going on?

It's a dual quad core xeon, with 16gb ram

CentOS release 5.4 (Final)

Linux linux 2.6.18-164.6.1.el5 #1 SMP Tue Nov 3 16:12:36 EST 2009 x86_64 x86_64 x86_64 GNU/Linux


Here is a log from top

top - 09:37:13 up 2 days,  6:04,  1 user,  load average: 9.58, 7.29, 4.15
Tasks: 246 total,   2 running, 244 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.0%us,  0.2%sy,  0.0%ni, 72.8%id, 25.9%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10243832k used,  6195872k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662096k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
 5565 apache    15   0  270m  66m 4984 R  0.7  0.4   3:00.63 httpd                                                                                                                                              
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.01 top                                                                                                                                                


top - 09:37:16 up 2 days,  6:04,  1 user,  load average: 9.58, 7.29, 4.15
Tasks: 246 total,   1 running, 245 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.5%us,  0.2%sy,  0.0%ni, 83.5%id, 15.7%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10244180k used,  6195524k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662096k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.02 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:19 up 2 days,  6:04,  1 user,  load average: 9.53, 7.32, 4.18
Tasks: 247 total,   1 running, 246 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.7%us,  0.2%sy,  0.0%ni, 81.2%id, 17.9%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10244684k used,  6195020k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662096k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          
28029 root      15   0 12864 1196  808 R  0.0  0.0   0:00.02 top                                                                                                                                                


top - 09:37:22 up 2 days,  6:04,  1 user,  load average: 9.53, 7.32, 4.18
Tasks: 247 total,   1 running, 246 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.5%us,  0.1%sy,  0.0%ni, 84.9%id, 14.5%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10244716k used,  6194988k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662100k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.03 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:25 up 2 days,  6:04,  1 user,  load average: 9.57, 7.36, 4.21
Tasks: 247 total,   1 running, 246 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.5%us,  0.1%sy,  0.0%ni, 87.4%id, 11.9%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10244716k used,  6194988k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662100k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.04 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:28 up 2 days,  6:04,  1 user,  load average: 9.29, 7.34, 4.22
Tasks: 248 total,   1 running, 247 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.1%us,  0.5%sy,  0.0%ni, 86.4%id, 12.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10283668k used,  6156036k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662100k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.05 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:31 up 2 days,  6:04,  1 user,  load average: 9.29, 7.34, 4.22
Tasks: 248 total,   1 running, 247 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.8%us,  0.3%sy,  0.0%ni, 79.6%id, 19.3%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10288652k used,  6151052k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662100k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          
28029 root      15   0 12864 1196  808 R  0.0  0.0   0:00.05 top                                                                                                                                                


top - 09:37:34 up 2 days,  6:04,  1 user,  load average: 9.26, 7.37, 4.25
Tasks: 248 total,   1 running, 247 sleeping,   0 stopped,   0 zombie
Cpu(s):  2.3%us,  0.1%sy,  0.0%ni, 84.6%id, 13.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10288552k used,  6151152k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662100k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.06 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:38 up 2 days,  6:04,  1 user,  load average: 9.32, 7.41, 4.28
Tasks: 248 total,   1 running, 247 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.7%us,  0.1%sy,  0.0%ni, 84.9%id, 14.3%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10288800k used,  6150904k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662104k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.07 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:41 up 2 days,  6:04,  1 user,  load average: 9.32, 7.41, 4.28
Tasks: 248 total,   1 running, 247 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.4%us,  0.1%sy,  0.0%ni, 87.4%id, 12.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10288736k used,  6150968k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662108k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.0  0.0   0:00.07 top                                                                                                                                                


top - 09:37:44 up 2 days,  6:04,  1 user,  load average: 9.37, 7.45, 4.31
Tasks: 249 total,   1 running, 248 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.2%us,  0.5%sy,  0.0%ni, 85.7%id, 12.5%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10363284k used,  6076420k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662108k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.08 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:47 up 2 days,  6:04,  1 user,  load average: 9.37, 7.45, 4.31
Tasks: 250 total,   1 running, 249 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.7%us,  0.2%sy,  0.0%ni, 85.4%id, 13.7%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10364696k used,  6075008k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662108k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1200  808 R  0.3  0.0   0:00.09 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:50 up 2 days,  6:04,  1 user,  load average: 9.34, 7.48, 4.33
Tasks: 250 total,   1 running, 249 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.2%us,  0.2%sy,  0.0%ni, 79.8%id, 18.7%wa,  0.0%hi,  0.1%si,  0.0%st
Mem:  16439704k total, 10365208k used,  6074496k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662112k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          
28029 root      15   0 12864 1204  808 R  0.0  0.0   0:00.09 top                                                                                                                                                


top - 09:37:53 up 2 days,  6:04,  1 user,  load average: 9.40, 7.52, 4.36
Tasks: 251 total,   1 running, 250 sleeping,   0 stopped,   0 zombie
Cpu(s):  2.7%us,  0.2%sy,  0.0%ni, 71.4%id, 25.7%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10371588k used,  6068116k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662112k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1204  808 R  0.3  0.0   0:00.10 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:56 up 2 days,  6:04,  1 user,  load average: 9.40, 7.52, 4.36
Tasks: 251 total,   1 running, 250 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.8%us,  0.1%sy,  0.0%ni, 77.2%id, 21.8%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10371572k used,  6068132k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662112k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1204  808 R  0.3  0.0   0:00.11 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:59 up 2 days,  6:05,  1 user,  load average: 9.20, 7.51, 4.38
Tasks: 251 total,   1 running, 250 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.7%us,  0.1%sy,  0.0%ni, 81.7%id, 17.5%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10371424k used,  6068280k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662112k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1204  808 R  0.3  0.0   0:00.12 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:38:02 up 2 days,  6:05,  1 user,  load average: 9.20, 7.51, 4.38
Tasks: 251 total,   1 running, 250 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.9%us,  0.1%sy,  0.0%ni, 79.9%id, 19.1%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10371456k used,  6068248k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662116k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          
28029 root      15   0 12864 1204  808 R  0.0  0.0   0:00.12 top                                                                                                                                                


top - 09:38:05 up 2 days,  6:05,  1 user,  load average: 9.03, 7.50, 4.39
Tasks: 251 total,   1 running, 250 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.0%us,  0.1%sy,  0.0%ni, 75.6%id, 23.4%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10371464k used,  6068240k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662116k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1204  808 R  0.3  0.0   0:00.13 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:38:08 up 2 days,  6:05,  1 user,  load average: 8.95, 7.51, 4.41
Tasks: 251 total,   1 running, 250 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.8%us,  0.3%sy,  0.0%ni, 84.7%id, 14.1%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10408608k used,  6031096k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662116k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1204  808 R  0.3  0.0   0:00.14 top                                                                                                                                                

zattzAsked:
Who is Participating?

[Product update] Infrastructure Analysis Tool is now available with Business Accounts.Learn More

x
I wear a lot of hats...

"The solutions and answers provided on Experts Exchange have been extremely helpful to me over the last few years. I wear a lot of hats - Developer, Database Administrator, Help Desk, etc., so I know a lot of things but not a lot about one thing. Experts Exchange gives me answers from people who do know a lot about one thing, in a easy to use platform." -Todd S.

fosiul01Commented:
by looking at your output , its looks like you got I/Obottol neck

%wa

which refers to disk io bottol neck

you can use few tool to see about disk status.. read on google on bellow tools

vmstat
iostat
sar

does your server handle too much data exaple . copy .. how old is your hardrive ??


0

Experts Exchange Solution brought to you by

Your issues matter to us.

Facing a tech roadblock? Get the help and guidance you need from experienced professionals who care. Ask your question anytime, anywhere, with no hassle.

Start your 7-day free trial
It's more than this solution.Get answers and train to solve all your tech problems - anytime, anywhere.Try it for free Edge Out The Competitionfor your dream job with proven skills and certifications.Get started today Stand Outas the employee with proven skills.Start learning today for free Move Your Career Forwardwith certification training in the latest technologies.Start your trial today
Linux Distributions

From novice to tech pro — start learning today.