• Status: Solved
  • Priority: Medium
  • Security: Public
  • Views: 304
  • Last Modified:

trace high server load

Hi guys,

I have a server that has a high load, despite having low cpu usage. Can anybody help me track what is going on?

It's a dual quad core xeon, with 16gb ram

CentOS release 5.4 (Final)

Linux linux 2.6.18-164.6.1.el5 #1 SMP Tue Nov 3 16:12:36 EST 2009 x86_64 x86_64 x86_64 GNU/Linux


Here is a log from top

top - 09:37:13 up 2 days,  6:04,  1 user,  load average: 9.58, 7.29, 4.15
Tasks: 246 total,   2 running, 244 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.0%us,  0.2%sy,  0.0%ni, 72.8%id, 25.9%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10243832k used,  6195872k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662096k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
 5565 apache    15   0  270m  66m 4984 R  0.7  0.4   3:00.63 httpd                                                                                                                                              
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.01 top                                                                                                                                                


top - 09:37:16 up 2 days,  6:04,  1 user,  load average: 9.58, 7.29, 4.15
Tasks: 246 total,   1 running, 245 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.5%us,  0.2%sy,  0.0%ni, 83.5%id, 15.7%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10244180k used,  6195524k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662096k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.02 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:19 up 2 days,  6:04,  1 user,  load average: 9.53, 7.32, 4.18
Tasks: 247 total,   1 running, 246 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.7%us,  0.2%sy,  0.0%ni, 81.2%id, 17.9%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10244684k used,  6195020k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662096k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          
28029 root      15   0 12864 1196  808 R  0.0  0.0   0:00.02 top                                                                                                                                                


top - 09:37:22 up 2 days,  6:04,  1 user,  load average: 9.53, 7.32, 4.18
Tasks: 247 total,   1 running, 246 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.5%us,  0.1%sy,  0.0%ni, 84.9%id, 14.5%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10244716k used,  6194988k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662100k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.03 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:25 up 2 days,  6:04,  1 user,  load average: 9.57, 7.36, 4.21
Tasks: 247 total,   1 running, 246 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.5%us,  0.1%sy,  0.0%ni, 87.4%id, 11.9%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10244716k used,  6194988k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662100k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.04 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:28 up 2 days,  6:04,  1 user,  load average: 9.29, 7.34, 4.22
Tasks: 248 total,   1 running, 247 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.1%us,  0.5%sy,  0.0%ni, 86.4%id, 12.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10283668k used,  6156036k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662100k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.05 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:31 up 2 days,  6:04,  1 user,  load average: 9.29, 7.34, 4.22
Tasks: 248 total,   1 running, 247 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.8%us,  0.3%sy,  0.0%ni, 79.6%id, 19.3%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10288652k used,  6151052k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662100k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          
28029 root      15   0 12864 1196  808 R  0.0  0.0   0:00.05 top                                                                                                                                                


top - 09:37:34 up 2 days,  6:04,  1 user,  load average: 9.26, 7.37, 4.25
Tasks: 248 total,   1 running, 247 sleeping,   0 stopped,   0 zombie
Cpu(s):  2.3%us,  0.1%sy,  0.0%ni, 84.6%id, 13.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10288552k used,  6151152k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662100k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.06 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:38 up 2 days,  6:04,  1 user,  load average: 9.32, 7.41, 4.28
Tasks: 248 total,   1 running, 247 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.7%us,  0.1%sy,  0.0%ni, 84.9%id, 14.3%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10288800k used,  6150904k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662104k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.07 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:41 up 2 days,  6:04,  1 user,  load average: 9.32, 7.41, 4.28
Tasks: 248 total,   1 running, 247 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.4%us,  0.1%sy,  0.0%ni, 87.4%id, 12.0%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10288736k used,  6150968k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662108k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.0  0.0   0:00.07 top                                                                                                                                                


top - 09:37:44 up 2 days,  6:04,  1 user,  load average: 9.37, 7.45, 4.31
Tasks: 249 total,   1 running, 248 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.2%us,  0.5%sy,  0.0%ni, 85.7%id, 12.5%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10363284k used,  6076420k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662108k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1196  808 R  0.3  0.0   0:00.08 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:47 up 2 days,  6:04,  1 user,  load average: 9.37, 7.45, 4.31
Tasks: 250 total,   1 running, 249 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.7%us,  0.2%sy,  0.0%ni, 85.4%id, 13.7%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10364696k used,  6075008k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662108k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1200  808 R  0.3  0.0   0:00.09 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:50 up 2 days,  6:04,  1 user,  load average: 9.34, 7.48, 4.33
Tasks: 250 total,   1 running, 249 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.2%us,  0.2%sy,  0.0%ni, 79.8%id, 18.7%wa,  0.0%hi,  0.1%si,  0.0%st
Mem:  16439704k total, 10365208k used,  6074496k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662112k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          
28029 root      15   0 12864 1204  808 R  0.0  0.0   0:00.09 top                                                                                                                                                


top - 09:37:53 up 2 days,  6:04,  1 user,  load average: 9.40, 7.52, 4.36
Tasks: 251 total,   1 running, 250 sleeping,   0 stopped,   0 zombie
Cpu(s):  2.7%us,  0.2%sy,  0.0%ni, 71.4%id, 25.7%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10371588k used,  6068116k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662112k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1204  808 R  0.3  0.0   0:00.10 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:56 up 2 days,  6:04,  1 user,  load average: 9.40, 7.52, 4.36
Tasks: 251 total,   1 running, 250 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.8%us,  0.1%sy,  0.0%ni, 77.2%id, 21.8%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10371572k used,  6068132k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662112k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1204  808 R  0.3  0.0   0:00.11 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:37:59 up 2 days,  6:05,  1 user,  load average: 9.20, 7.51, 4.38
Tasks: 251 total,   1 running, 250 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.7%us,  0.1%sy,  0.0%ni, 81.7%id, 17.5%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10371424k used,  6068280k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662112k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1204  808 R  0.3  0.0   0:00.12 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:38:02 up 2 days,  6:05,  1 user,  load average: 9.20, 7.51, 4.38
Tasks: 251 total,   1 running, 250 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.9%us,  0.1%sy,  0.0%ni, 79.9%id, 19.1%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10371456k used,  6068248k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662116k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          
28029 root      15   0 12864 1204  808 R  0.0  0.0   0:00.12 top                                                                                                                                                


top - 09:38:05 up 2 days,  6:05,  1 user,  load average: 9.03, 7.50, 4.39
Tasks: 251 total,   1 running, 250 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.0%us,  0.1%sy,  0.0%ni, 75.6%id, 23.4%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10371464k used,  6068240k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662116k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1204  808 R  0.3  0.0   0:00.13 top                                                                                                                                                
  737 root      10  -5     0    0    0 D  0.0  0.0   0:11.20 kjournald                                                                                                                                          


top - 09:38:08 up 2 days,  6:05,  1 user,  load average: 8.95, 7.51, 4.41
Tasks: 251 total,   1 running, 250 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.8%us,  0.3%sy,  0.0%ni, 84.7%id, 14.1%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:  16439704k total, 10408608k used,  6031096k free,   217936k buffers
Swap:  4192956k total,        0k used,  4192956k free,  1662116k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                            
28029 root      15   0 12864 1204  808 R  0.3  0.0   0:00.14 top                                                                                                                                                

0
zattz
Asked:
zattz
1 Solution
 
fosiul01Commented:
by looking at your output , its looks like you got I/Obottol neck

%wa

which refers to disk io bottol neck

you can use few tool to see about disk status.. read on google on bellow tools

vmstat
iostat
sar

does your server handle too much data exaple . copy .. how old is your hardrive ??


0
Question has a verified solution.

Are you are experiencing a similar issue? Get a personalized answer when you ask a related question.

Have a better answer? Share it in a comment.

Join & Write a Comment

Featured Post

Cloud Class® Course: Amazon Web Services - Basic

Are you thinking about creating an Amazon Web Services account for your business? Not sure where to start? In this course you’ll get an overview of the history of AWS and take a tour of their user interface.

Tackle projects and never again get stuck behind a technical roadblock.
Join Now