Solved

Finding the source of performace slowdowns....

Posted on 2006-11-02
17
3,028 Views
Last Modified: 2008-03-10
Hey all,

   Running Sybase 11.9.2, on AIX.  From time to time, we experience slow downs in response performance from the application tied to the DB.  Generally, these slow downs are relieved by running update index statistics, or checkdb/combined with reorg rebuild on tables having space to be reclaimed and the like - but recently we have been expereincing some intermitant slowness that I am having a difficult time finding the culprit of (as these other steps have been prefomed and no improvement has been recognized).  I'm hoping that you guys can help me locate the source of my problems, and have some thoughts on how to rectify it, and/or improve performance in general if it's nothing specific, and turns out to be the environment as a whole.  I'm including a listing of our DB config file, and also the output from a 20 minute sysmon run that was produced during one of these "slowdown" periods.  Any/all thoughts are appreciated....

START OF CONFIG FILE:

##############################################################################
#
#            Configuration File for the Sybase SQL Server
#
#            Please read the System Administration Guide (SAG)
#            before changing any of the values in this file.
#
##############################################################################



[Configuration Options]

[General Information]

[Installation is 64-bit]

[Backup/Recovery]
      recovery interval in minutes = DEFAULT
      print recovery information = DEFAULT
      tape retention in days = DEFAULT

[Cache Manager]
      number of oam trips = DEFAULT
      number of index trips = DEFAULT
      procedure cache percent = DEFAULT
      memory alignment boundary = DEFAULT
      global async prefetch limit = DEFAULT

[Named Cache:dbcc_cache]
      cache size = 10M
      cache status = mixed cache
      cache replacement policy = DEFAULT

[16K I/O Buffer Pool]
      pool size = 9.0000M
      wash size = DEFAULT
      local async prefetch limit = DEFAULT

[Named Cache:default data cache]
      cache size = DEFAULT
      cache status = default data cache
      cache replacement policy = DEFAULT

[16K I/O Buffer Pool]
      pool size = 150.0000M
      wash size = DEFAULT
      local async prefetch limit = DEFAULT

[Named Cache:site1_log_cache]
      cache size = 30M
      cache status = log only
      cache replacement policy = DEFAULT

[4K I/O Buffer Pool]
      pool size = 25.0000M
      wash size = DEFAULT
      local async prefetch limit = DEFAULT

[Meta-Data Caches]
      number of open databases = 1000
      number of open objects = 2629
      open object spinlock ratio = DEFAULT
      number of open indexes = 1409
      open index hash spinlock ratio = DEFAULT
      open index spinlock ratio = DEFAULT

[Disk I/O]
      allow sql server async i/o = DEFAULT
      disk i/o structures = DEFAULT
      page utilization percent = DEFAULT
      number of devices = 30
      disable character set conversions = DEFAULT
      enable unicode conversions = DEFAULT
      size of unilib cache = DEFAULT

[Network Communication]
      default network packet size = DEFAULT
      max network packet size = DEFAULT
      remote server pre-read packets = DEFAULT
      number of remote connections = DEFAULT
      allow remote access = DEFAULT
      number of remote logins = DEFAULT
      number of remote sites = DEFAULT
      max number network listeners = DEFAULT
      tcp no delay = DEFAULT
      allow sendmsg = DEFAULT
      syb_sendmsg port number = DEFAULT

[O/S Resources]
      max async i/os per engine = DEFAULT
      max async i/os per server = DEFAULT

[Parallel Query]
      number of worker processes = 15
      memory per worker process = DEFAULT
      max parallel degree = DEFAULT
      max scan parallel degree = DEFAULT

[Physical Resources]

[Physical Memory]
      total memory = 1019200
      additional network memory = DEFAULT
      lock shared memory = DEFAULT
      shared memory starting address = DEFAULT
      max SQL text monitored = 2048

[Processors]
      max online engines = DEFAULT
      min online engines = DEFAULT

[SQL Server Administration]
      default database size = DEFAULT
      identity burning set factor = 10
      allow nested triggers = DEFAULT
      allow updates to system tables = 1
      print deadlock information = DEFAULT
      default fill factor percent = DEFAULT
      default exp_row_size percent = DEFAULT
      number of mailboxes = DEFAULT
      number of messages = DEFAULT
      number of alarms = DEFAULT
      number of pre-allocated extents = DEFAULT
      event buffers per engine = DEFAULT
      cpu accounting flush interval = DEFAULT
      i/o accounting flush interval = DEFAULT
      sql server clock tick length = DEFAULT
      runnable process search count = DEFAULT
      i/o polling process count = DEFAULT
      time slice = DEFAULT
      deadlock retries = DEFAULT
      cpu grace time = DEFAULT
      number of sort buffers = DEFAULT
      number of large i/o buffers = DEFAULT
      size of auto identity column = DEFAULT
      identity grab size = DEFAULT
      page lock promotion HWM = DEFAULT
      page lock promotion LWM = DEFAULT
      page lock promotion PCT = DEFAULT
      housekeeper free write percent = DEFAULT
      enable housekeeper GC = DEFAULT
      partition groups = DEFAULT
      partition spinlock ratio = DEFAULT
      allow resource limits = DEFAULT
      number of aux scan descriptors = DEFAULT
      SQL Perfmon Integration = DEFAULT
      allow backward scans = DEFAULT
      row lock promotion HWM = DEFAULT
      row lock promotion LWM = DEFAULT
      row lock promotion PCT = DEFAULT
      license information = DEFAULT

[User Environment]
      number of user connections = 500
      stack size = DEFAULT
      stack guard size = DEFAULT
      permission cache entries = DEFAULT
      user log cache size = DEFAULT
      user log cache spinlock ratio = DEFAULT

[Lock Manager]
      number of locks = 100000
      deadlock checking period = DEFAULT
      freelock transfer block size = DEFAULT
      max engine freelocks = DEFAULT
      lock spinlock ratio = DEFAULT
      lock hashtable size = DEFAULT
      lock scheme = DEFAULT
      lock wait period = DEFAULT
      read committed with lock = DEFAULT

[Security Related]
      systemwide password expiration = DEFAULT
      audit queue size = DEFAULT
      curread change w/ open cursors = DEFAULT
      allow procedure grouping = DEFAULT
      select on syscomments.text = DEFAULT
      auditing = DEFAULT
      current audit table = DEFAULT
      suspend audit when device full = DEFAULT
      max roles enabled per user = DEFAULT
      unified login required = DEFAULT
      use security services = DEFAULT
      msg confidentiality reqd = DEFAULT
      msg integrity reqd = DEFAULT
      msg replay detection reqd = DEFAULT
      msg origin checks reqd = DEFAULT
      msg out-of-seq checks reqd = DEFAULT
      secure default login = DEFAULT
      dump on conditions = DEFAULT

[Extended Stored Procedure]
      esp unload dll = DEFAULT
      esp execution priority = DEFAULT
      esp execution stacksize = DEFAULT
      xp_cmdshell context = DEFAULT
      start mail session = DEFAULT

[Error Log]
      event logging = DEFAULT
      log audit logon success = DEFAULT
      log audit logon failure = DEFAULT
      event log computer name = DEFAULT

[Rep Agent Thread Administration]
      enable rep agent threads = DEFAULT
      maximum dump conditions = DEFAULT

[Component Integration Services]
      enable cis = DEFAULT
      cis connect timeout = DEFAULT
      cis bulk insert batch size = DEFAULT
      max cis remote connections = DEFAULT
      max cis remote servers = DEFAULT
      cis packet size = DEFAULT
      cis cursor rows = DEFAULT
      cis rpc handling = DEFAULT

#############################################
END OF CONFIG

START OF SYSMON OUTPUT (20 minute sample).

DBCC execution completed. If DBCC printed error messages, contact a user with
System Administrator (SA) role.
===============================================================================
      Sybase Adaptive Server Enterprise System Performance Report
===============================================================================
 
Server Version:        Adaptive Server Enterprise/11.9.2.5/1226/P/SWR 9621 ROLL
Server Name:           Server is Unnamed                                        
Run Date:              Nov 02, 2006                                            
Statistics Cleared at: 09:35:32                                                
Statistics Sampled at: 09:55:32                                                
Sample Interval:       00:20:00                                                
 
===============================================================================
 
Kernel Utilization
------------------
 
  Engine Busy Utilization
    Engine 0                       71.9 %                                      
 
  CPU Yields by Engine            per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Engine 0                          0.1           0.0          91     100.0 %
 
  Network Checks
    Non-Blocking                   6508.3         597.4     7809947      99.9 %
    Blocking                          7.5           0.7        8954       0.1 %
  -------------------------  ------------  ------------  ----------
  Total Network I/O Checks         6515.8         598.1     7818901            
  Avg Net I/Os per Check              n/a           n/a     0.02208       n/a  
 
  Disk I/O Checks
    Total Disk I/O Checks         13093.3        1201.9    15712009       n/a  
    Checks Returning I/O           9129.0         838.0    10954754      69.7 %
    Avg Disk I/Os Returned            n/a           n/a     0.02627       n/a  
 
===============================================================================
 
Worker Process Management
-------------------------
                                  per sec      per xact       count  % of total
                             ------------  ------------  ----------  ----------
 Worker Process Requests
   Total Requests                     0.0           0.0           0       n/a  
 
 Worker Process Usage
   Total Used                         0.0           0.0           0       n/a  
   Max Ever Used During Sample        0.0           0.0           0       n/a  
 
 Memory Requests for Worker Processes
   Total Requests                     0.0           0.0           0       n/a  
 
===============================================================================
 
Parallel Query Management
-------------------------
 
  Parallel Query Usage            per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total Parallel Queries              0.0           0.0           0       n/a  
 
  Merge Lock Requests             per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total # of Requests                 0.0           0.0           0       n/a  
 
  Sort Buffer Waits               per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total # of Waits                    0.0           0.0           0       n/a  
 
===============================================================================
 
Task Management                   per sec      per xact       count  % of total
---------------------------  ------------  ------------  ----------  ----------
 
  Connections Opened                 15.2           1.4       18291       n/a  
 
  Task Context Switches by Engine
    Engine 0                        536.3          49.2      643552     100.0 %
 
  Task Context Switches Due To:
    Voluntary Yields                 14.9           1.4       17855       2.8 %
    Cache Search Misses             142.0          13.0      170404      26.5 %
    System Disk Writes                0.6           0.1         700       0.1 %
    I/O Pacing                        7.0           0.6        8360       1.3 %
    Logical Lock Contention           0.0           0.0          56       0.0 %
    Address Lock Contention           0.0           0.0           0       0.0 %
    Log Semaphore Contention          0.1           0.0         127       0.0 %
    Group Commit Sleeps               0.4           0.0         471       0.1 %
    Last Log Page Writes             12.4           1.1       14829       2.3 %
    Modify Conflicts                  0.5           0.0         562       0.1 %
    I/O Device Contention             0.0           0.0           0       0.0 %
    Network Packet Received          73.5           6.7       88234      13.7 %
    Network Packet Sent              70.3           6.5       84374      13.1 %
    SYSINDEXES Lookup                 0.0           0.0           0       0.0 %
    Other Causes                    214.7          19.7      257580      40.0 %
 
===============================================================================
 
Application Management
----------------------
 
  Application Statistics Summary (All Applications)
  -------------------------------------------------
  Priority Changes                per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    To High Priority                  0.2           0.0         202       0.8 %
    To Medium Priority               17.6           1.6       21144      88.1 %
    To Low Priority                   2.2           0.2        2651      11.0 %
  -------------------------  ------------  ------------  ----------
  Total Priority Changes             20.0           1.8       23997            
 
  Allotted Slices Exhausted       per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    High Priority                     0.0           0.0           1       0.1 %
    Medium Priority                   0.6           0.1         759      99.9 %
    Low Priority                      0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------
  Total Slices Exhausted              0.6           0.1         760            
 
  Skipped Tasks By Engine         per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total Engine Skips                  0.0           0.0           0       n/a  
 
  Engine Scope Changes                0.0           0.0           0       n/a  
 
===============================================================================
 
ESP Management                    per sec      per xact       count  % of total
---------------------------  ------------  ------------  ----------  ----------
  ESP Requests                        0.0           0.0           0       n/a  
===============================================================================
 
Housekeeper Task Activity
-------------------------
                                  per sec      per xact       count  % of total
                             ------------  ------------  ----------            
Buffer Cache Washes                                                            
  Clean                             62.3           5.7       74740      99.9 %
  Dirty                              0.0           0.0          59       0.1 %
                             ------------  ------------  ----------            
Total Washes                        62.3           5.7       74799              
 
Garbage Collections                  3.1           0.3        3676       n/a    
Pages Processed in GC                0.0           0.0          10       n/a    
 
Statistics Updates                   3.1           0.3        3676       n/a    
 
===============================================================================
 
Monitor Access to Executing SQL
-------------------------------
                                  per sec      per xact       count  % of total
                             ------------  ------------  ----------  ----------
 Waits on Execution Plans            0.0           0.0           0       n/a    
 Number of SQL Text Overflows        0.0           0.0           0       n/a    
 Maximum SQL Text Requested          n/a           n/a           0       n/a    
  (since beginning of sample)                                                  
 
===============================================================================
 
Transaction Profile
-------------------
 
  Transaction Summary             per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Committed Xacts                  10.9           n/a       13073     n/a    
 
  Transaction Detail              per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Inserts
      APL Heap Table                 58.1           5.3       69770      71.3 %
      APL Clustered Table            20.6           1.9       24739      25.3 %
      Data Only Lock Table            2.8           0.3        3376       3.4 %
  -------------------------  ------------  ------------  ----------  ----------
    Total Rows Inserted              81.6           7.5       97885      75.1 %
 
    Updates
      APL Deferred                    0.0           0.0          46       0.5 %
      APL Direct In-place             0.7           0.1         843      10.0 %
      APL Direct Cheap                2.8           0.3        3327      39.3 %
      APL Direct Expensive            0.0           0.0          19       0.2 %
      DOL Deferred                    0.1           0.0         127       1.5 %
      DOL Direct                      3.4           0.3        4094      48.4 %
  -------------------------  ------------  ------------  ----------  ----------
    Total Rows Updated                7.0           0.6        8456       6.5 %
 
    Data Only Locked Updates
      DOL Replace                     1.9           0.2        2321      55.0 %
      DOL Shrink                      0.5           0.0         653      15.5 %
      DOL Cheap Expand                0.2           0.0         224       5.3 %
      DOL Expensive Expand            0.8           0.1         990      23.5 %
      DOL Expand & Forward            0.0           0.0          33       0.8 %
      DOL Fwd Row Returned            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
    Total DOL Rows Updated            3.5           0.3        4221       3.2 %
 
    Deletes
      APL Deferred                   17.2           1.6       20585      85.8 %
      APL Direct                      1.2           0.1        1443       6.0 %
      DOL                             1.6           0.2        1961       8.2 %
  -------------------------  ------------  ------------  ----------  ----------
    Total Rows Deleted               20.0           1.8       23989      18.4 %
  =========================  ============  ============  ==========
    Total Rows Affected             108.6          10.0      130330            
 
===============================================================================
 
Transaction Management
----------------------
 
  ULC Flushes to Xact Log         per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    by Full ULC                       1.3           0.1        1593       5.6 %
    by End Transaction               12.0           1.1       14355      50.6 %
    by Change of Database             0.1           0.0         101       0.4 %
    by System Log Record              6.7           0.6        8018      28.3 %
    by Other                          3.6           0.3        4290      15.1 %
  -------------------------  ------------  ------------  ----------
  Total ULC Flushes                  23.6           2.2       28357            
 
  ULC Log Records                   135.2          12.4      162231       n/a  
  Max ULC Size During Sample          n/a           n/a        2048       n/a  
 
  ULC Semaphore Requests
    Granted                         281.4          25.8      337640     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------
  Total ULC Semaphore Req           281.4          25.8      337640            
 
  Log Semaphore Requests
    Granted                          24.1           2.2       28958      99.6 %
    Waited                            0.1           0.0         127       0.4 %
  -------------------------  ------------  ------------  ----------
  Total Log Semaphore Req            24.2           2.2       29085            
 
  Transaction Log Writes             17.7           1.6       21299       n/a  
  Transaction Log Alloc               6.6           0.6        7950       n/a  
  Avg # Writes per Log Page           n/a           n/a     2.67912       n/a  
 
===============================================================================
 
Index Management
----------------
 
  Nonclustered Maintenance        per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Ins/Upd Requiring Maint           2.6           0.2        3141       n/a  
      # of NC Ndx Maint               4.2           0.4        5033       n/a  
      Avg NC Ndx Maint / Op           n/a           n/a     1.60236       n/a  
 
    Deletes Requiring Maint           1.9           0.2        2311       n/a  
      # of NC Ndx Maint               2.5           0.2        3029       n/a  
      Avg NC Ndx Maint / Op           n/a           n/a     1.31069       n/a  
 
    RID Upd from Clust Split          0.0           0.0           1       n/a  
      # of NC Ndx Maint               0.1           0.0          75       n/a  
      Avg NC Ndx Maint / Op           n/a           n/a    75.00000       n/a  
 
    Upd/Del DOL Req Maint             5.0           0.5        6059       n/a  
      # of DOL Ndx Maint              5.8           0.5        6996       n/a  
      Avg DOL Ndx Maint / Op          n/a           n/a     1.15465       n/a  
 
  Page Splits                         0.3           0.0         331       n/a  
    Retries                           0.0           0.0           0       0.0 %
    Deadlocks                         0.0           0.0           0       0.0 %
    Empty Page Flushes                0.0           0.0           0       0.0 %
    Add Index Level                   0.0           0.0           0       0.0 %
 
  Page Shrinks                        0.0           0.0           2       n/a  
 
  Index Scans                     per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Ascending Scans                1187.6         109.0     1425101      52.0 %
    DOL Ascending Scans            1095.5         100.6     1314630      47.9 %
    Descending Scans                  2.5           0.2        3025       0.1 %
    DOL Descending Scans              0.3           0.0         321       0.0 %
                             ------------  ------------  ----------            
    Total Scans                    2285.9         209.8     2743077            
 
===============================================================================
 
Metadata Cache Management
-------------------------
 
  Metadata Cache Summary         per sec      per xact       count  % of total
  ------------------------  ------------  ------------  ----------  ----------  
 
  Open Object Usage                                                            
    Active                            1.0           0.1        1229       n/a  
    Max Ever Used Since Boot          1.1           0.1        1318       n/a  
    Free                              1.2           0.1        1400       n/a  
    Reuse Requests                                                              
      Succeeded                       0.0           0.0           0       n/a  
      Failed                          0.0           0.0           0       n/a  
 
  Open Index Usage                                                              
    Active                            1.2           0.1        1403       n/a  
    Max Ever Used Since Boot          1.2           0.1        1409       n/a  
    Free                              0.0           0.0           6       n/a  
    Reuse Requests                                                              
      Succeeded                       0.0           0.0           0       n/a  
      Failed                          0.0           0.0           0       n/a  
 
  Open Database Usage                                                          
    Active                            0.0           0.0           6       n/a  
    Max Ever Used Since Boot          0.0           0.0           6       n/a  
    Free                              0.8           0.1         994       n/a  
    Reuse Requests                                                              
      Succeeded                       0.0           0.0           0       n/a  
      Failed                          0.0           0.0           0       n/a  
 
  Object Spinlock Contention          n/a           n/a         n/a       0.0 %
 
  Index Spinlock Contention           n/a           n/a         n/a       0.0 %
 
  Hash Spinlock Contention            n/a           n/a         n/a       0.0 %
 
===============================================================================
 
Lock Management
---------------
 
  Lock Summary                    per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total Lock Requests             10865.7         997.4    13038854       n/a  
  Avg Lock Contention                 0.0           0.0          56       0.0 %
  Deadlock Percentage                 0.0           0.0           1       0.0 %
  Lock Hashtable Lookups          10914.5        1001.9    13097423       n/a  
  Avg Hash Chain Length               n/a           n/a     0.01313       n/a  
 
  Lock Detail                     per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
 
  Exclusive Table
    Granted                          15.8           1.4       18920      99.9 %
    Waited                            0.0           0.0          27       0.1 %
  -------------------------  ------------  ------------  ----------  ----------
  Total EX-Table Requests            15.8           1.4       18947       0.1 %
 
  Shared Table
    Granted                           0.9           0.1        1100     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total SH-Table Requests             0.9           0.1        1100       0.0 %
 
  Exclusive Intent
    Granted                          15.1           1.4       18104     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total EX-Intent Requests           15.1           1.4       18104       0.1 %
 
  Shared Intent
    Granted                         201.7          18.5      242064     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total SH-Intent Requests          201.7          18.5      242064       1.9 %
 
  Exclusive Page
    Granted                          14.1           1.3       16860     100.0 %
    Waited                            0.0           0.0           2       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total EX-Page Requests             14.1           1.3       16862       0.1 %
 
  Update Page
    Granted                          11.3           1.0       13570     100.0 %
    Waited                            0.0           0.0           1       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total UP-Page Requests             11.3           1.0       13571       0.1 %
 
  Shared Page
    Granted                        7457.9         684.6     8949458     100.0 %
    Waited                            0.0           0.0          14       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total SH-Page Requests           7457.9         684.6     8949472      68.6 %
 
 
  Exclusive Row
    Granted                          13.7           1.3       16390     100.0 %
    Waited                            0.0           0.0           5       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total EX-Row Requests              13.7           1.3       16395       0.1 %
 
  Update Row
    Granted                           1.7           0.2        2092     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total UP-Row Requests               1.7           0.2        2092       0.0 %
 
  Shared Row
    Granted                         875.6          80.4     1050726     100.0 %
    Waited                            0.0           0.0           7       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total SH-Row Requests             875.6          80.4     1050733       8.1 %
 
 
  Next-Key
    Total Next-Key Requests           0.0           0.0           0       n/a  
 
  Exclusive Address
    Granted                          43.4           4.0       52133     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total EX-Address Requests          43.4           4.0       52133       0.4 %
 
  Shared Address
    Granted                        2214.5         203.3     2657381     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total SH-Address Requests        2214.5         203.3     2657381      20.4 %
 
 
  Last Page Locks on Heaps
    Granted                          58.1           5.3       69769     100.0 %
    Waited                            0.0           0.0           1       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total Last Pg Locks                58.1           5.3       69770     100.0 %
 
 
  Deadlocks by Lock Type          per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Exclusive Table                   0.0           0.0           0       0.0 %
    Shared Table                      0.0           0.0           0       0.0 %
    Exclusive Intent                  0.0           0.0           0       0.0 %
    Shared Intent                     0.0           0.0           0       0.0 %
    Exclusive Page                    0.0           0.0           0       0.0 %
    Update Page                       0.0           0.0           0       0.0 %
    Shared Page                       0.0           0.0           0       0.0 %
    Exclusive Row                     0.0           0.0           0       0.0 %
    Update Row                        0.0           0.0           0       0.0 %
    Shared Row                        0.0           0.0           1     100.0 %
    Shared Next-Key                   0.0           0.0           0       0.0 %
    Address                           0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------
  Total Deadlocks                     0.0           0.0           1            
 
 
  Deadlock Detection
    Deadlock Searches                 0.0           0.0          14       n/a  
    Searches Skipped                  0.0           0.0           0       0.0 %
    Avg Deadlocks per Search          n/a           n/a     0.07143       n/a  
 
 
  Lock Promotions
    Total Lock Promotions             0.0           0.0           0       n/a  
 
 
  Lock Timeouts by Lock Type      per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total Timeouts                      0.0           0.0           0       n/a  
 
===============================================================================
 
Data Cache Management
---------------------
 
  Cache Statistics Summary (All Caches)
  -------------------------------------
                                  per sec      per xact       count  % of total
                             ------------  ------------  ----------  ----------
 
    Cache Search Summary
      Total Cache Hits            13898.3        1275.8    16677976      98.3 %
      Total Cache Misses            237.9          21.8      285452       1.7 %
  -------------------------  ------------  ------------  ----------
    Total Cache Searches          14136.2        1297.6    16963428            
 
    Cache Turnover
      Buffers Grabbed               217.2          19.9      260594       n/a  
      Buffers Grabbed Dirty           0.0           0.0           0       0.0 %
 
    Cache Strategy Summary
      Cached (LRU) Buffers        13513.2        1240.4    16215837      96.2 %
      Discarded (MRU) Buffers       529.1          48.6      634973       3.8 %
 
    Large I/O Usage
      Large I/Os Performed          195.2          17.9      234188      99.2 %
      Large I/Os Denied               1.5           0.1        1786       0.8 %
  -------------------------  ------------  ------------  ----------
    Total Large I/O Requests        196.6          18.1      235974            
 
    Large I/O Effectiveness
      Pages by Lrg I/O Cached      1553.7         142.6     1864390       n/a  
      Pages by Lrg I/O Used        1117.4         102.6     1340876      71.9 %
 
    Asynchronous Prefetch Activity
      APFs Issued                    65.6           6.0       78773       4.2 %
      APFs Denied Due To                                                        
        APF I/O Overloads             0.0           0.0           0       0.0 %
        APF Limit Overloads         101.1           9.3      121295       6.5 %
        APF Reused Overloads          0.5           0.0         652       0.0 %
      APF Buffers Found in Cache                                                
        With Spinlock Held           31.8           2.9       38174       2.0 %
        W/o Spinlock Held          1363.3         125.1     1635922      87.3 %
  -------------------------  ------------  ------------  ----------
    Total APFs Requested           1562.3         143.4     1874816            
 
    Other Asynchronous Prefetch Statistics
      APFs Used                      65.0           6.0       78030       n/a  
      APF Waits for I/O              50.3           4.6       60335       n/a  
      APF Discards                    0.0           0.0           0       n/a  
 
    Dirty Read Behavior
      Page Requests                   0.0           0.0           0       n/a  
 
-------------------------------------------------------------------------------
  Cache: dbcc_cache                                                            
                                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Spinlock Contention               n/a           n/a         n/a       0.0 %
 
    Utilization                       n/a           n/a         n/a       0.0 %
 
    Cache Searches
      Total Cache Searches            0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------
    Total Cache Searches              0.0           0.0           0            
 
    Pool Turnover                     0.0           0.0           0       n/a  
 
    Buffer Wash Behavior
      Statistics Not Available - No Buffers Entered Wash Section Yet
 
    Cache Strategy
      Statistics Not Available - No Buffers Displaced Yet
 
    Large I/O Usage
      Total Large I/O Requests        0.0           0.0           0       n/a  
 
    Large I/O Detail
     16  Kb Pool                                                                
        Pages Cached                  0.0           0.0           0       n/a  
        Pages Used                    0.0           0.0           0       n/a  
 
    Dirty Read Behavior
        Page Requests               0.0           0.0           0       n/a          
 
-------------------------------------------------------------------------------
  Cache: default data cache                                                    
                                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Spinlock Contention               n/a           n/a         n/a       0.0 %
 
    Utilization                       n/a           n/a         n/a     100.0 %
 
    Cache Searches
      Cache Hits                  13893.5        1275.3    16672202      98.3 %
         Found in Wash               19.3           1.8       23118       0.1 %
      Cache Misses                  236.6          21.7      283921       1.7 %
  -------------------------  ------------  ------------  ----------
    Total Cache Searches          14130.1        1297.0    16956123            
 
    Pool Turnover
      2  Kb Pool                                                                
          LRU Buffer Grab            22.0           2.0       26394      10.2 %
            Grabbed Dirty             0.0           0.0           0       0.0 %
      16 Kb Pool                                                                
          LRU Buffer Grab           193.9          17.8      232669      89.8 %
            Grabbed Dirty             0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------
    Total Cache Turnover            215.9          19.8      259063            
 
    Buffer Wash Behavior
      Buffers Passed Clean          167.5          15.4      201045     100.0 %
      Buffers Already in I/O          0.0           0.0           0       0.0 %
      Buffers Washed Dirty            0.1           0.0          66       0.0 %
 
    Cache Strategy
      Cached (LRU) Buffers        13510.3        1240.1    16212403      96.2 %
      Discarded (MRU) Buffers       529.1          48.6      634973       3.8 %
 
    Large I/O Usage
      Large I/Os Performed          141.9          13.0      170228      72.6 %
      Large I/Os Denied              53.5           4.9       64215      27.4 %
  -------------------------  ------------  ------------  ----------
    Total Large I/O Requests        195.4          17.9      234443            
 
    Large I/O Detail
     16  Kb Pool                                                                
        Pages Cached               1551.1         142.4     1861352       n/a  
        Pages Used                 1117.4         102.6     1340876      72.0 %
 
    Dirty Read Behavior
        Page Requests               0.0           0.0           0       n/a          
 
-------------------------------------------------------------------------------
  Cache: site1_log_cache                                                        
                                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Spinlock Contention               n/a           n/a         n/a       0.0 %
 
    Utilization                       n/a           n/a         n/a       0.0 %
 
    Cache Searches
      Cache Hits                      4.8           0.4        5774      79.0 %
         Found in Wash                0.0           0.0           0       0.0 %
      Cache Misses                    1.3           0.1        1531      21.0 %
  -------------------------  ------------  ------------  ----------
    Total Cache Searches              6.1           0.6        7305            
 
    Pool Turnover
      2  Kb Pool                                                                
          LRU Buffer Grab             0.0           0.0          12       0.8 %
            Grabbed Dirty             0.0           0.0           0       0.0 %
      4  Kb Pool                                                                
          LRU Buffer Grab             1.3           0.1        1519      99.2 %
            Grabbed Dirty             0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------
    Total Cache Turnover              1.3           0.1        1531            
 
    Buffer Wash Behavior
      Statistics Not Available - No Buffers Entered Wash Section Yet
 
    Cache Strategy
      Cached (LRU) Buffers            2.9           0.3        3434     100.0 %
      Discarded (MRU) Buffers         0.0           0.0           0       0.0 %
 
    Large I/O Usage
      Large I/Os Performed            1.3           0.1        1519      99.2 %
      Large I/Os Denied               0.0           0.0          12       0.8 %
  -------------------------  ------------  ------------  ----------
    Total Large I/O Requests          1.3           0.1        1531            
 
    Large I/O Detail
     4   Kb Pool                                                                
        Pages Cached                  2.5           0.2        3038       n/a  
        Pages Used                    0.0           0.0           0       0.0 %
 
    Dirty Read Behavior
        Page Requests               0.0           0.0           0       n/a          
 
===============================================================================
 
Procedure Cache Management        per sec      per xact       count  % of total
---------------------------  ------------  ------------  ----------  ----------
  Procedure Requests                 12.2           1.1       14612       n/a  
  Procedure Reads from Disk           0.0           0.0           0       0.0 %
  Procedure Writes to Disk            0.0           0.0           0       0.0 %
  Procedure Removals                  0.0           0.0           1       n/a  
 
===============================================================================
 
Memory Management                 per sec      per xact       count  % of total
---------------------------  ------------  ------------  ----------  ----------
  Pages Allocated                     0.1           0.0          66       n/a  
  Pages Released                      0.1           0.0          66       n/a  
 
===============================================================================
 
Recovery Management
-------------------
 
  Checkpoints                     per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    # of Normal Checkpoints           0.0           0.0          40     100.0 %
    # of Free Checkpoints             0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------            
  Total Checkpoints                   0.0           0.0          40            
 
  Avg Time per Normal Chkpt       2.97500 seconds                              
 
===============================================================================
 
Disk I/O Management
-------------------
 
  Max Outstanding I/Os            per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Server                            n/a           n/a           0       n/a  
    Engine 0                          n/a           n/a         185       n/a  
 
 
  I/Os Delayed by
    Disk I/O Structures               n/a           n/a           0       n/a  
    Server Config Limit               n/a           n/a           0       n/a  
    Engine Config Limit               n/a           n/a           0       n/a  
    Operating System Limit            n/a           n/a           0       n/a  
 
 
  Total Requested Disk I/Os         239.9          22.0      287828            
 
  Completed Disk I/O's
    Engine 0                        239.9          22.0      287830     100.0 %
  -------------------------  ------------  ------------  ----------            
  Total Completed I/Os              239.9          22.0      287830            
 
 
  Device Activity Detail
  ----------------------
 
  Device:                                                                      
    /dev/rdbccdb_dat                                                            
    dbccdb_dat                    per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       0.0 %
 
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rdbccdb_log                                                            
    dbccdb_log                    per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       0.0 %
 
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data1                                                          
    site1_data1                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             5.8           0.5        7016      32.5 %
      Non-APF                        11.3           1.0       13580      62.8 %
    Writes                            0.8           0.1        1019       4.7 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         18.0           1.7       21615       7.5 %
 
  Device Semaphore Granted           18.0           1.7       21615     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data2                                                          
    site1_data2                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             8.2           0.8        9874      35.5 %
      Non-APF                        13.4           1.2       16029      57.6 %
    Writes                            1.6           0.1        1905       6.9 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         23.2           2.1       27808       9.7 %
 
  Device Semaphore Granted           23.2           2.1       27808     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data3                                                          
    site1_data3                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             7.5           0.7        9034      33.2 %
      Non-APF                        15.0           1.4       18022      66.2 %
    Writes                            0.1           0.0         170       0.6 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         22.7           2.1       27226       9.5 %
 
  Device Semaphore Granted           22.7           2.1       27226     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data4                                                          
    site1_data4                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             6.6           0.6        7873      15.7 %
      Non-APF                        34.2           3.1       41098      81.9 %
    Writes                            1.0           0.1        1209       2.4 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         41.8           3.8       50180      17.4 %
 
  Device Semaphore Granted           41.8           3.8       50180     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data5                                                          
    site1_data5                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             6.9           0.6        8298      80.5 %
      Non-APF                         1.6           0.2        1961      19.0 %
    Writes                            0.0           0.0          50       0.5 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          8.6           0.8       10309       3.6 %
 
  Device Semaphore Granted            8.6           0.8       10309     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data6                                                          
    site1_data6                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             1.0           0.1        1166       6.0 %
      Non-APF                        15.1           1.4       18125      92.5 %
    Writes                            0.2           0.0         298       1.5 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         16.3           1.5       19589       6.8 %
 
  Device Semaphore Granted           16.3           1.5       19589     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data7                                                          
    site1_data7                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                            13.9           1.3       16637      30.3 %
      Non-APF                        31.9           2.9       38300      69.6 %
    Writes                            0.0           0.0          58       0.1 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         45.8           4.2       54995      19.1 %
 
  Device Semaphore Granted           45.8           4.2       54995     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data8                                                          
    site1_data8                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       0.0 %
 
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data9                                                          
    site1_data9                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             6.4           0.6        7620      45.4 %
      Non-APF                         7.1           0.7        8527      50.8 %
    Writes                            0.5           0.0         635       3.8 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         14.0           1.3       16782       5.8 %
 
  Device Semaphore Granted           14.0           1.3       16782     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index1                                                          
    site1_index1                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.6           0.1         711      10.0 %
      Non-APF                         3.2           0.3        3898      55.0 %
    Writes                            2.1           0.2        2477      35.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          5.9           0.5        7086       2.5 %
 
  Device Semaphore Granted            5.9           0.5        7086     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index2                                                          
    site1_index2                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.5           0.1         656      17.0 %
      Non-APF                         1.8           0.2        2181      56.6 %
    Writes                            0.8           0.1        1014      26.3 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          3.2           0.3        3851       1.3 %
 
  Device Semaphore Granted            3.2           0.3        3851     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index3                                                          
    site1_index3                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0           4     100.0 %
    Writes                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           4       0.0 %
 
  Device Semaphore Granted            0.0           0.0           4     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index4                                                          
    site1_index4                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             1.4           0.1        1639      30.6 %
      Non-APF                         2.1           0.2        2573      48.1 %
    Writes                            1.0           0.1        1142      21.3 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          4.5           0.4        5354       1.9 %
 
  Device Semaphore Granted            4.5           0.4        5354     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index5                                                          
    site1_index5                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             2.0           0.2        2444      36.3 %
      Non-APF                         1.8           0.2        2114      31.4 %
    Writes                            1.8           0.2        2169      32.2 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          5.6           0.5        6727       2.3 %
 
  Device Semaphore Granted            5.6           0.5        6727     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index6                                                          
    site1_index6                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             4.8           0.4        5805      49.6 %
      Non-APF                         3.2           0.3        3803      32.5 %
    Writes                            1.7           0.2        2094      17.9 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          9.8           0.9       11702       4.1 %
 
  Device Semaphore Granted            9.8           0.9       11702     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index7                                                          
    site1_index7                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.1           0.0         152      24.6 %
    Writes                            0.4           0.0         467      75.4 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.5           0.0         619       0.2 %
 
  Device Semaphore Granted            0.5           0.0         619     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_log1                                                            
    site1_log1                    per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       0.0 %
 
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_log2                                                            
    site1_log2                    per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0          12       0.1 %
    Writes                            7.0           0.6        8412      99.9 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          7.0           0.6        8424       2.9 %
 
  Device Semaphore Granted            7.0           0.6        8424     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /sybase/sybprocs.dat                                                        
    sysprocsdev                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       0.0 %
 
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /usr/sybtempdb/sybtempdb.dat                                                
    tempdb1                       per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0          20       0.1 %
    Writes                           11.8           1.1       14116      99.9 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         11.8           1.1       14136       4.9 %
 
  Device Semaphore Granted           11.8           1.1       14136     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /usr/sybtempdb/sybtempdb2.dat                                              
    tempdb2                       per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0           1       0.3 %
    Writes                            0.3           0.0         349      99.7 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.3           0.0         350       0.1 %
 
  Device Semaphore Granted            0.3           0.0         350     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /usr/sybtempdb/sybtempdb3.dat                                              
    tempdb3                       per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0           1       0.4 %
    Writes                            0.2           0.0         261      99.6 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.2           0.0         262       0.1 %
 
  Device Semaphore Granted            0.2           0.0         262     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /usr/sybtempdb/sybtempdb4.dat                                              
    tempdb4                       per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0           1       0.3 %
    Writes                            0.3           0.0         390      99.7 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.3           0.0         391       0.1 %
 
  Device Semaphore Granted            0.3           0.0         391     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    d_master                                                                    
    master                        per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0           2       0.5 %
    Writes                            0.3           0.0         416      99.5 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.3           0.0         418       0.1 %
 
  Device Semaphore Granted            0.3           0.0         418     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
===============================================================================
 
Network I/O Management
----------------------
 
  Total Network I/O Requests        143.7          13.2      172395       n/a  
    Network I/Os Delayed              0.0           0.0           0       0.0 %
 
 
  Total TDS Packets Received      per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Engine 0                         73.5           6.7       88234     100.0 %
  -------------------------  ------------  ------------  ----------            
  Total TDS Packets Rec'd            73.5           6.7       88234            
 
 
  Total Bytes Received            per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Engine 0                      13397.0        1229.7    16076407     100.0 %
  -------------------------  ------------  ------------  ----------            
  Total Bytes Rec'd               13397.0        1229.7    16076407            
 
 
   Avg Bytes Rec'd per Packet          n/a           n/a         182       n/a  
 
  -----------------------------------------------------------------------------
 
  Total TDS Packets Sent          per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Engine 0                         70.3           6.5       84374     100.0 %
  -------------------------  ------------  ------------  ----------            
  Total TDS Packets Sent             70.3           6.5       84374            
 
 
  Total Bytes Sent                per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Engine 0                      19643.6        1803.1    23572277     100.0 %
  -------------------------  ------------  ------------  ----------            
  Total Bytes Sent                19643.6        1803.1    23572277            
 
 
  Avg Bytes Sent per Packet           n/a           n/a         279       n/a  
 
=============================== End of Report =================================


Any thoughts?
0
Comment
Question by:derdle
  • 7
  • 6
  • 2
  • +2
17 Comments
 
LVL 19

Expert Comment

by:grant300
ID: 17860549
What I see is actually a pretty well tuned database.  Well done.

There were a few questions/ideas I had but I wanted to ask you a couple of things as well:
 - What kind of hardware is this on?
 - What is the disk configuration?  You seem to have things pretty well distributed in terms of database devices but I have not visibility into how they map to hardware devices.
 - Does the sysmon cover a period when there was one of the slowdowns?  Was this during a peak or average load period on the system?

In any event, here are the things I noticed:
 - There seem to be a very high number of connects, > 15/sec on average.  Why are there so many connections?  Is there any way you can get the application(s) to open and hold connections?  Can you do some kind of connection pooling?  15 connections/sec sustanained puts quite a load on the system by itself.
 - The only significant disk activity is on RSITE-DATA4 and RSITE-DATA7.  Those are both AVERAGING more than 40 I/Os per second.  Certainly there are peaks higher than that however there don't seem to be long queues for I/Os.  You might want to look to see if there is any way to redistribute the objects to spread the load a bit more evenly.  Of course, if these are on the same physical disk or array, you have a problem...
 - How "peaky" is the load on this system in general and on the CPU specifically?  You are averaging 70+ percent utilization which is not bad but it does not leave you much room for handling peaks in the loading.  

Also, are you running this file systems or raw devices?  If you are using file systems, you are undoubtedly using the AIX JFS (journalling file system) which, when stressed, may be causing an issue.

Have you had a lot of data growth or growth in the number of users lately?  Your cache statistics are good so I don't think throwing more memory at it will necessarily fix the problem.

Do you have a new piece of application code or a new query or, really worse case, did not recently bring an ad-hoc query tool on line?

I hope that has given you some ideas and things to look at.

Regards,
Bill
0
 
LVL 1

Expert Comment

by:TheWumpus
ID: 17860838
The one thing in this configuration that  tinkles a bell is the 16k pools.

11.9 ASE was notorious for not factoring the size of the pool when considering its use.

I've seen installations running queries from disk becuase the io is all through an inappropriately sized 16k pool.

Are you able to tie your performance issues down to access to particular objects? if so, are they large / indexed ?

It's possible that the optimiser may be choosing 16k io for a query that wont fit in the pool and therefore forces physical I/O.

Running the troublesome queries with set showplan on or using sp_showplan against them whilst running will indicate if this is the case.

If you see them running bad and using 16ks and then using 2ks after an index rebuild etc.. then you are better off without it (the 16k pool) - the pool is almost small enough to consider useless.



Regards,
Wumpus
0
 

Author Comment

by:derdle
ID: 17863432
Man, it feels good to know that things appear fairly well tuned.  =)  I'm fairly new to this area, but trying to learn and apply as much as I can.  Unfortuantely, there are some things in the set-up that I inherited, and can't change until I upgrade (i.e. as you'll see below, someone create one of the devices incorrect, and it is only 1MG is size- instead of 2GB).

OK, let me see if I can address the questions asked back of me:

Bill: Hardware is an IBM 7026-H80 with quad 600's and 4GB memory.
      I am running raw devices (except for sybtempdb which is a FS), and the device mapping to disk is as such:

hdisk2:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
site1_index3          1     1     00..01..00..00..00    N/A
site1_index4          63    63    00..63..00..00..00    N/A
ase_master            13    13    00..00..13..00..00    N/A
-------------------------------------
hdisk3:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
site1_data3           63    63    63..00..00..00..00    N/A
site1_data1           63    63    00..63..00..00..00    N/A
-------------------------------------
hdisk4:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
site1_index2          63    63    63..00..00..00..00    N/A
site1_index1          63    63    00..63..00..00..00    N/A
site1_index5          63    63    00..46..17..00..00    N/A
-------------------------------------
hdisk5:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
site1_log1            63    63    00..63..00..00..00    N/A
site1_log2            192   192   00..46..108..38..00   N/A
-------------------------------------
hdisk6:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
loglv00               1     1     00..01..00..00..00    N/A
lv00                  20    20    00..20..00..00..00    /usr/ase
lv02                  194   194   00..88..106..00..00   /usr/sybtempdb
-------------------------------------
hdisk7:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
site1_data4           63    63    63..00..00..00..00    N/A
loglv01               1     1     01..00..00..00..00    N/A
site1_data2           63    63    00..63..00..00..00    N/A
site1_data5           63    63    00..46..17..00..00    N/A
-------------------------------------
hdisk8:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
site1_index3          1     1     00..01..00..00..00    N/A
site1_index4          63    63    00..63..00..00..00    N/A
ase_master            13    13    00..00..13..00..00    N/A
-------------------------------------
hdisk9:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
site1_data3           63    63    63..00..00..00..00    N/A
site1_data1           63    63    00..63..00..00..00    N/A
-------------------------------------
hdisk10:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
site1_index2          63    63    63..00..00..00..00    N/A
site1_index1          63    63    00..63..00..00..00    N/A
site1_index5          63    63    00..46..17..00..00    N/A
-------------------------------------
hdisk11:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
site1_log1            63    63    00..63..00..00..00    N/A
site1_log2            192   192   00..46..108..38..00   N/A
-------------------------------------
hdisk12:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
loglv00               1     1     00..01..00..00..00    N/A
lv00                  20    20    00..20..00..00..00    /usr/ase
lv02                  194   194   00..88..106..00..00   /usr/sybtempdb
-------------------------------------
hdisk13:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
site1_data4           63    63    63..00..00..00..00    N/A
site1_data2           63    63    00..63..00..00..00    N/A
loglv01               1     1     00..01..00..00..00    N/A
site1_data5           63    63    00..45..18..00..00    N/A
-------------------------------------
hdisk14:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
site1_index7          63    63    63..00..00..00..00    N/A
site1_index6          63    63    00..63..00..00..00    N/A
-------------------------------------
hdisk15:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
site1_index7          63    63    63..00..00..00..00    N/A
site1_index6          63    63    00..63..00..00..00    N/A
-------------------------------------
hdisk16:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
site1_data7           63    63    63..00..00..00..00    N/A
site1_data6           63    63    00..63..00..00..00    N/A
-------------------------------------
hdisk17:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
site1_data7           63    63    63..00..00..00..00    N/A
site1_data6           63    63    00..63..00..00..00    N/A
-------------------------------------
hdisk18:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
dbcc_log2             63    63    63..00..00..00..00    N/A
dbccdb_dat            63    63    00..63..00..00..00    N/A
dbccdb_log            63    63    00..46..17..00..00    N/A
site1_data8           63    63    00..00..63..00..00    N/A
site1_data9           63    63    00..00..28..35..00    N/A
-------------------------------------
hdisk19:
LV NAME               LPs   PPs   DISTRIBUTION          MOUNT POINT
dbccdb_dat            63    63    63..00..00..00..00    N/A
dbcc_log2             63    63    00..63..00..00..00    N/A
dbccdb_log            63    63    00..46..17..00..00    N/A
site1_data8           63    63    00..00..63..00..00    N/A
site1_data9           63    63    00..00..28..35..00    N/A
-------------------------------------

As you can see, data4 and data7 are not on the same physical device, so I guess we're OK there.  I was concerned about that type of contention as well, but the sysmon stats didn't support that as being a problem as best I could tell.

On the high number of connects: I think the app just opens a connect to do each query as needed- such as each time Customer Service needs to pull up an account, it opens a connect, queries for the account, and closes up the connect once the info is display; then opens another to query the orders info, or whatever the next action the rep performs may be and so on.  Changing that process would be a MAJOR undertaking as there are many areas in the system- and we don't own the source "yet" - but even once we do, I think that would be a daunting task.  Although changing it for some select areas might be doable- and will be kept in mind should the oppotunity become available.

We defeintely have our "peak" times.  This sample was not really taken during what I would consider one- although it was started shortly after a few "lag" complaints were registered- which is why I am confused, as I don't see what the issue may be.

We have had some "minor" data growth and only added a few additional users recently.  ...but we are expecting considerably more in the next few months, thus it becomes increasingly important that I decipher this issue now before it really becomes a major problem- if it something related to load, since that will be increasing.

No new applications or ad-hoc tools being used.

Wumpus:  I have not been able to tie down the issue to access on specific objects.  Most of my larger object are index well, so I don't "think" that's an issue.  I have monitored several things with showplan as you indicate and did not notice anything that gave me an indication that this sort of a problem exists - but that's not to say I wasn't looking at the wrong process- since I really don't know where the trouble resides.

I guess I will have to do somethings to look into the OS itself and see if there is trouble indicated there....  I will post those findings once I have them, and I will also try to get a sysmon output from a real peak time (Monday).  In the meantime, if there are any other ideas....I'm listening.  =)  I really appreciate all the help.

Also, let me ask- and maybe I don't understand the workings of this correctly - but since we have quad CPU's, would adding an additional Sybase engine stand to benefit my environment?  Split and lower that 70% utilization?
0
 

Author Comment

by:derdle
ID: 17863847
Also, something noticed during a server restart.  The message " Active traceflags: 359" is output...  What is this indicating?  Again, I may be misunderstanding what I have read about this.
0
 
LVL 24

Expert Comment

by:Joe Woodhouse
ID: 17865257
>> Also, let me ask- and maybe I don't understand the workings of this correctly - but since we have quad CPU's, would adding an additional Sybase engine stand to benefit my environment?  Split and lower that 70% utilization? <<

You're only using one CPU's worth of power for this ASE (one engine). I'd definitely try a second engine so long as you're not already at 100% CPU for the box overall.


0
 
LVL 19

Expert Comment

by:grant300
ID: 17869191
I agree with Joe on the second engine.  Queuing theory is on your side for this kind of problem.

BTW, I would change "lock shared memory = DEFAULT" to "lock shared memory = 1" because I don't know what the default is and you definitely want it to be set.

If you are only using one engine/cpu for Sybase, what else is running on the machine that you are competing with.  You might have something else eating system resources or, worse yet, causing paging.  This would be compounded if the "lock shared memory" is not turned on.

You are fortunate you are running Sybase and not Oracle.  It takes a couple of seconds and a lot of machine resources to light up an Oracle connection.  The application was undoubtedly written only for Sybase and/or M$ SQL Server; it is still a bad way to do things and should be near the top of your list to fix when you get the source code.

It should actually be pretty easy to fix.  All you have to do is create a connection at program initialization with globals for the connection handle and then pull all of the other connect/disconnect logic out of the code.  It is mostly a search and replace job and should require minimal expertise and time.

Regards,
Bill
0
 

Author Comment

by:derdle
ID: 17878285
What does the change to "lock shared memory" do?

...and how is best to implement a second engine?

Nothing else is really running on the machine.  Whenever I check paging via "lsps -a", it's never more then 2-4%.  The only thing I EVER see when looking at things- is from time to time when viewing a "topas a", I see a few of the disk being reported back getting quite busy- never 100%, but 94-95 now and again, but it only last for usually a few seconds at most.  ...but based on the sysmon output, I'm not seeing where I/O contention is an issue.  =(

Just as another point of note, there are two servers (both AIX on 7026-H80's) being used here- one is the dedicated DB server, the other is the application server.  I don't see any issues on either.  I wondering if it might be a communications issue?  ...while I doubt it, since the data being passes is very small, but I guess I should look - how might be the best way to do this?

I'm putting the connection issue at the top of the list when we obtain the source, since you think it should be fairly easy- until then, still need to locate my current issue.
0
 
LVL 24

Expert Comment

by:Joe Woodhouse
ID: 17878321
Locking shared memory means ASE's memory doesn't get paged, and you don't pay overhead at the operating system level to support it being paged. It's a good idea even if your stats show little or no paging because of that overhead.

In ASE 11.9.2, all you need to do to turn on a second engine is

     sp_configure "max online engines", 2
     go

In ASE 12.5 and above, you also need to configure "number of engines at startup".
0
How to run any project with ease

Manage projects of all sizes how you want. Great for personal to-do lists, project milestones, team priorities and launch plans.
- Combine task lists, docs, spreadsheets, and chat in one
- View and edit from mobile/offline
- Cut down on emails

 
LVL 19

Expert Comment

by:grant300
ID: 17882383
You have a 4 processor box and are only using one with nothing else running on the machine.  Light up the second engine and see what happens.

You can really only have two bottlenecks at this point since we seem to have eliminated everything else:
 - Network I/O:  Not likely but, as you said, worth a look.  If possible, you want a dedicated (isolated) link between the Db and App servers otherwise you could be a victom of somthing else flooding the network.  BTW, the easiest way to look at what is going on is to grab a laptop and install a copy of Ethereal.  It is an open-source network analyser that works quite nicely.  It is a little tough to use at first unless you are familier with the internals of networking but the software is fairly straight forward to use.
 - Disk I/O:  Your I/O situation looks O.K. in the aggregate however you have to remember that sysmon is reporting the average per second and does not tell you what the peaks are.  If you are clobbering the disks every now and then it could be the reason for the occaisional slowness.

A CHECKPOINT operation could be causing it as well.  You might want to try shortenning the "Recovery Interval in Minutes".  This parameter controls how often the server is forced to do a Checkpoint operation.  The "Recovery Interval" is the time it would take to roll forward all of the logged changes to the database that have not had their corresponding dirty data pages written back to disk if you pulled the plug and the server had to go through the recovery process as startup.  Bear in mind that even set at 5 minutes, that is 5 minutes of the db running flat out applying the logged changes.  That is a lot of concetrated work.  It also means that you are likely to have a lot of dirty pages in cache when the Checkpoint process runs.  If that is the case, the Checkpoint process could be hogging one or more resource, e.g. disk, and could account for your apparent slowdowns.

The Checkpointer is supposed to run as unobtrusively as possible and normally does, however; in this case you have a fairly heavy, consistant load on the machine that does not necessarily give the Checkpointer the option of sneaking in when things are slow.  The second engine should help this if it is the problem as will a shorter interval.

BTW, in the hardware description you state you have "an IBM 7026-H80 with quad 600's and 4GB memory."  I presume that "quad 600's" refers to four 600Mhz CPUs (or whatever CPU power rating '600' means).
 - What kind of disk do you have?
 - Are they in intelligent array(s)?
 - How are they connected (SCSI, Fiberchannel, SDA, etc.)?

Regards,
Bill
0
 

Author Comment

by:derdle
ID: 17886182
OK, the second engine, and "lock shared memory"=1 were added this morning.  Unfortuantely I did not get a chance to review w/the end users as to their perception of performance after the change.  I will be checking on that tomorrow.

I agree that network I/O is highly unlikely, especially given the length of time these "slowdowns" last- but I will investigate Ethereal and have a look.  Thanks for the open source utility tip for that.

In that the "recovery interval" is currently set to default...what would be considered lowering it?  I'm not sure what the "default" time is....  ...and if this represents the amount of time that will be needed by the DB to recover incomplete transactiosns on a startup, would I not want to increase this number.  Seems as if lowering it, would force the DB to perform checkpoints more often to keep the recovery time low, whereas increasing the number would allow for fewer checkpoints since more time is alloted for recovery....  Am I mis-understanding this?...or is this what you meant?  Is there any way to reasonably determine/confirm if this might be an issue?

...and yes, I am referring to four 600MHz CPUs - sorry I should have been more elaborate, knowing that could mean a few different things.  The disk are 10K RPM SSA, and they are currently being mirrored.

Here are, for comparison, two more sysmon reports from this AM, which is generally a pretty busy time.  The first shows 93% CPU busy- which I'm not sure where the cut-offs are as I have read varying opinions- but that seems quit busy to me...  It improves quite a bit an hour later, which is the second report.

===============================================================================
      Sybase Adaptive Server Enterprise System Performance Report
===============================================================================
 
Server Version:        Adaptive Server Enterprise/11.9.2.5/1226/P/SWR 9621 ROLL
Server Name:           Server is Unnamed                                        
Run Date:              Nov 06, 2006                                            
Statistics Cleared at: 09:29:34                                                
Statistics Sampled at: 09:49:34                                                
Sample Interval:       00:20:00                                                
 
===============================================================================
 
Kernel Utilization
------------------
 
  Engine Busy Utilization
    Engine 0                       49.2 %                                      
    Engine 1                       43.8 %                                      
  -----------             ---------------          ----------------
  Summary                 Total    92.9 %          Average   46.5 %          
 
  CPU Yields by Engine            per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Engine 0                          0.2           0.0         290      40.6 %
    Engine 1                          0.4           0.0         425      59.4 %
  -------------------------  ------------  ------------  ----------
  Total CPU Yields                    0.6           0.0         715            
 
  Network Checks
    Non-Blocking                  18930.1        1194.7    22716075      99.4 %
    Blocking                        117.8           7.4      141384       0.6 %
  -------------------------  ------------  ------------  ----------
  Total Network I/O Checks        19047.9        1202.1    22857459            
  Avg Net I/Os per Check              n/a           n/a     0.00905       n/a  
 
  Disk I/O Checks
    Total Disk I/O Checks         38175.6        2409.3    45810741       n/a  
    Checks Returning I/O          22019.5        1389.7    26423385      57.7 %
    Avg Disk I/Os Returned            n/a           n/a     0.01372       n/a  
 
===============================================================================
 
Worker Process Management
-------------------------
                                  per sec      per xact       count  % of total
                             ------------  ------------  ----------  ----------
 Worker Process Requests
   Total Requests                     0.0           0.0           0       n/a  
 
 Worker Process Usage
   Total Used                         0.0           0.0           0       n/a  
   Max Ever Used During Sample        0.0           0.0           0       n/a  
 
 Memory Requests for Worker Processes
   Total Requests                     0.0           0.0           0       n/a  
 
===============================================================================
 
Parallel Query Management
-------------------------
 
  Parallel Query Usage            per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total Parallel Queries              0.0           0.0           0       n/a  
 
  Merge Lock Requests             per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total # of Requests                 0.0           0.0           0       n/a  
 
  Sort Buffer Waits               per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total # of Waits                    0.0           0.0           0       n/a  
 
===============================================================================
 
Task Management                   per sec      per xact       count  % of total
---------------------------  ------------  ------------  ----------  ----------
 
  Connections Opened                 12.7           0.8       15274       n/a  
 
  Task Context Switches by Engine
    Engine 0                        330.4          20.9      396444      54.6 %
    Engine 1                        274.7          17.3      329690      45.4 %
  -------------------------  ------------  ------------  ----------
    Total Task Switches:            605.1          38.2      726134            
 
  Task Context Switches Due To:
    Voluntary Yields                 23.9           1.5       28625       3.9 %
    Cache Search Misses             124.4           7.9      149281      20.6 %
    System Disk Writes                0.4           0.0         491       0.1 %
    I/O Pacing                        6.8           0.4        8201       1.1 %
    Logical Lock Contention           0.0           0.0          40       0.0 %
    Address Lock Contention           0.0           0.0           1       0.0 %
    Log Semaphore Contention          0.0           0.0          44       0.0 %
    Group Commit Sleeps               0.2           0.0         220       0.0 %
    Last Log Page Writes             12.3           0.8       14803       2.0 %
    Modify Conflicts                  0.4           0.0         426       0.1 %
    I/O Device Contention             0.3           0.0         375       0.1 %
    Network Packet Received          77.2           4.9       92597      12.8 %
    Network Packet Sent              95.2           6.0      114210      15.7 %
    SYSINDEXES Lookup                 0.0           0.0           0       0.0 %
    Other Causes                    264.0          16.7      316820      43.6 %
 
===============================================================================
 
Application Management
----------------------
 
  Application Statistics Summary (All Applications)
  -------------------------------------------------
  Priority Changes                per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    To High Priority                  0.1           0.0          96       0.3 %
    To Medium Priority               22.3           1.4       26768      70.0 %
    To Low Priority                   9.5           0.6       11398      29.8 %
  -------------------------  ------------  ------------  ----------
  Total Priority Changes             31.9           2.0       38262            
 
  Allotted Slices Exhausted       per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    High Priority                     0.0           0.0           0       0.0 %
    Medium Priority                   0.7           0.0         800     100.0 %
    Low Priority                      0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------
  Total Slices Exhausted              0.7           0.0         800            
 
  Skipped Tasks By Engine         per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total Engine Skips                  0.0           0.0           0       n/a  
 
  Engine Scope Changes                0.0           0.0           0       n/a  
 
===============================================================================
 
ESP Management                    per sec      per xact       count  % of total
---------------------------  ------------  ------------  ----------  ----------
  ESP Requests                        0.0           0.0           0       n/a  
===============================================================================
 
Housekeeper Task Activity
-------------------------
                                  per sec      per xact       count  % of total
                             ------------  ------------  ----------            
Buffer Cache Washes                                                            
  Clean                            122.8           7.8      147405      99.9 %
  Dirty                              0.1           0.0         133       0.1 %
                             ------------  ------------  ----------            
Total Washes                       122.9           7.8      147538              
 
Garbage Collections                 10.4           0.7       12510       n/a    
Pages Processed in GC                0.0           0.0           2       n/a    
 
Statistics Updates                  10.4           0.7       12510       n/a    
 
===============================================================================
 
Monitor Access to Executing SQL
-------------------------------
                                  per sec      per xact       count  % of total
                             ------------  ------------  ----------  ----------
 Waits on Execution Plans            0.0           0.0           0       n/a    
 Number of SQL Text Overflows        0.0           0.0           0       n/a    
 Maximum SQL Text Requested          n/a           n/a           0       n/a    
  (since beginning of sample)                                                  
 
===============================================================================
 
Transaction Profile
-------------------
 
  Transaction Summary             per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Committed Xacts                  15.8           n/a       19014     n/a    
 
  Transaction Detail              per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Inserts
      APL Heap Table                 88.8           5.6      106517      77.0 %
      APL Clustered Table            23.7           1.5       28433      20.5 %
      Data Only Lock Table            2.9           0.2        3429       2.5 %
  -------------------------  ------------  ------------  ----------  ----------
    Total Rows Inserted             115.3           7.3      138379      76.1 %
 
    Updates
      APL Deferred                    2.6           0.2        3129      20.2 %
      APL Direct In-place             5.6           0.4        6734      43.5 %
      APL Direct Cheap                0.3           0.0         369       2.4 %
      APL Direct Expensive            0.0           0.0          25       0.2 %
      DOL Deferred                    0.3           0.0         373       2.4 %
      DOL Direct                      4.0           0.3        4837      31.3 %
  -------------------------  ------------  ------------  ----------  ----------
    Total Rows Updated               12.9           0.8       15467       8.5 %
 
    Data Only Locked Updates
      DOL Replace                     2.5           0.2        2982      57.2 %
      DOL Shrink                      0.3           0.0         389       7.5 %
      DOL Cheap Expand                0.4           0.0         440       8.4 %
      DOL Expensive Expand            1.1           0.1        1357      26.0 %
      DOL Expand & Forward            0.0           0.0          40       0.8 %
      DOL Fwd Row Returned            0.0           0.0           2       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
    Total DOL Rows Updated            4.3           0.3        5210       2.9 %
 
    Deletes
      APL Deferred                   17.7           1.1       21213      76.1 %
      APL Direct                      4.4           0.3        5307      19.0 %
      DOL                             1.1           0.1        1371       4.9 %
  -------------------------  ------------  ------------  ----------  ----------
    Total Rows Deleted               23.2           1.5       27891      15.3 %
  =========================  ============  ============  ==========
    Total Rows Affected             151.4           9.6      181737            
 
===============================================================================
 
Transaction Management
----------------------
 
  ULC Flushes to Xact Log         per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    by Full ULC                       1.8           0.1        2110       4.9 %
    by End Transaction               12.0           0.8       14436      33.6 %
    by Change of Database             0.1           0.0          71       0.2 %
    by System Log Record              6.9           0.4        8325      19.4 %
    by Other                         15.0           0.9       17976      41.9 %
  -------------------------  ------------  ------------  ----------
  Total ULC Flushes                  35.8           2.3       42918            
 
  ULC Log Records                   156.6           9.9      187880       n/a  
  Max ULC Size During Sample          n/a           n/a        2048       n/a  
 
  ULC Semaphore Requests
    Granted                         402.1          25.4      482564     100.0 %
    Waited                            0.0           0.0           1       0.0 %
  -------------------------  ------------  ------------  ----------
  Total ULC Semaphore Req           402.1          25.4      482565            
 
  Log Semaphore Requests
    Granted                          29.9           1.9       35902      99.9 %
    Waited                            0.0           0.0          44       0.1 %
  -------------------------  ------------  ------------  ----------
  Total Log Semaphore Req            30.0           1.9       35946            
 
  Transaction Log Writes             18.0           1.1       21562       n/a  
  Transaction Log Alloc               7.4           0.5        8852       n/a  
  Avg # Writes per Log Page           n/a           n/a     2.43583       n/a  
 
===============================================================================
 
Index Management
----------------
 
  Nonclustered Maintenance        per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Ins/Upd Requiring Maint           3.8           0.2        4538       n/a  
      # of NC Ndx Maint               4.4           0.3        5326       n/a  
      Avg NC Ndx Maint / Op           n/a           n/a     1.17364       n/a  
 
    Deletes Requiring Maint           3.2           0.2        3851       n/a  
      # of NC Ndx Maint               3.7           0.2        4447       n/a  
      Avg NC Ndx Maint / Op           n/a           n/a     1.15477       n/a  
 
    RID Upd from Clust Split          0.0           0.0           3       n/a  
      # of NC Ndx Maint               0.2           0.0         197       n/a  
      Avg NC Ndx Maint / Op           n/a           n/a    65.66666       n/a  
 
    Upd/Del DOL Req Maint             5.5           0.3        6581       n/a  
      # of DOL Ndx Maint              8.5           0.5       10242       n/a  
      Avg DOL Ndx Maint / Op          n/a           n/a     1.55630       n/a  
 
  Page Splits                         0.3           0.0         415       n/a  
    Retries                           0.0           0.0           0       0.0 %
    Deadlocks                         0.0           0.0           0       0.0 %
    Empty Page Flushes                0.0           0.0           0       0.0 %
    Add Index Level                   0.0           0.0           0       0.0 %
 
  Page Shrinks                        0.0           0.0          14       n/a  
 
  Index Scans                     per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Ascending Scans                1443.1          91.1     1731689      54.0 %
    DOL Ascending Scans            1224.1          77.3     1468866      45.8 %
    Descending Scans                  2.5           0.2        2981       0.1 %
    DOL Descending Scans              0.7           0.0         786       0.0 %
                             ------------  ------------  ----------            
    Total Scans                    2670.3         168.5     3204322            
 
===============================================================================
 
Metadata Cache Management
-------------------------
 
  Metadata Cache Summary         per sec      per xact       count  % of total
  ------------------------  ------------  ------------  ----------  ----------  
 
  Open Object Usage                                                            
    Active                            0.4           0.0         535       n/a  
    Max Ever Used Since Boot          0.4           0.0         539       n/a  
    Free                              1.7           0.1        2094       n/a  
    Reuse Requests                                                              
      Succeeded                       0.0           0.0           0       n/a  
      Failed                          0.0           0.0           0       n/a  
 
  Open Index Usage                                                              
    Active                            0.6           0.0         691       n/a  
    Max Ever Used Since Boot          0.6           0.0         695       n/a  
    Free                              0.6           0.0         718       n/a  
    Reuse Requests                                                              
      Succeeded                       0.0           0.0           0       n/a  
      Failed                          0.0           0.0           0       n/a  
 
  Open Database Usage                                                          
    Active                            0.0           0.0           6       n/a  
    Max Ever Used Since Boot          0.0           0.0           6       n/a  
    Free                              0.8           0.1         994       n/a  
    Reuse Requests                                                              
      Succeeded                       0.0           0.0           0       n/a  
      Failed                          0.0           0.0           0       n/a  
 
  Object Spinlock Contention          n/a           n/a         n/a       0.0 %
 
  Index Spinlock Contention           n/a           n/a         n/a       0.0 %
 
  Hash Spinlock Contention            n/a           n/a         n/a       0.0 %
 
===============================================================================
 
Lock Management
---------------
 
  Lock Summary                    per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total Lock Requests              9621.7         607.2    11546014       n/a  
  Avg Lock Contention                 0.0           0.0          41       0.0 %
  Deadlock Percentage                 0.0           0.0           0       0.0 %
  Lock Hashtable Lookups           9684.1         611.2    11620967       n/a  
  Avg Hash Chain Length               n/a           n/a     0.01183       n/a  
 
  Lock Detail                     per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
 
  Exclusive Table
    Granted                          13.1           0.8       15681     100.0 %
    Waited                            0.0           0.0           6       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total EX-Table Requests            13.1           0.8       15687       0.1 %
 
  Shared Table
    Granted                           0.7           0.0         893     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total SH-Table Requests             0.7           0.0         893       0.0 %
 
  Exclusive Intent
    Granted                          26.9           1.7       32296     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total EX-Intent Requests           26.9           1.7       32296       0.3 %
 
  Shared Intent
    Granted                         205.8          13.0      246909     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total SH-Intent Requests          205.8          13.0      246909       2.1 %
 
  Exclusive Page
    Granted                          20.9           1.3       25028     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total EX-Page Requests             20.9           1.3       25028       0.2 %
 
  Update Page
    Granted                         819.9          51.7      983841     100.0 %
    Waited                            0.0           0.0           3       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total UP-Page Requests            819.9          51.7      983844       8.5 %
 
  Shared Page
    Granted                        5235.2         330.4     6282261     100.0 %
    Waited                            0.0           0.0           9       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total SH-Page Requests           5235.2         330.4     6282270      54.4 %
 
 
  Exclusive Row
    Granted                           8.2           0.5        9806     100.0 %
    Waited                            0.0           0.0           1       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total EX-Row Requests               8.2           0.5        9807       0.1 %
 
  Update Row
    Granted                          20.0           1.3       24025     100.0 %
    Waited                            0.0           0.0           3       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total UP-Row Requests              20.0           1.3       24028       0.2 %
 
  Shared Row
    Granted                         786.9          49.7      944275     100.0 %
    Waited                            0.0           0.0          18       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total SH-Row Requests             786.9          49.7      944293       8.2 %
 
 
  Next-Key
    Total Next-Key Requests           0.0           0.0           0       n/a  
 
  Exclusive Address
    Granted                          54.2           3.4       65033     100.0 %
    Waited                            0.0           0.0           1       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total EX-Address Requests          54.2           3.4       65034       0.6 %
 
  Shared Address
    Granted                        2429.9         153.4     2915925     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total SH-Address Requests        2429.9         153.4     2915925      25.3 %
 
 
  Last Page Locks on Heaps
    Granted                          88.8           5.6      106519     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total Last Pg Locks                88.8           5.6      106519     100.0 %
 
 
  Deadlocks by Lock Type          per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total Deadlocks                     0.0           0.0           0       n/a  
 
 
  Deadlock Detection
    Deadlock Searches                 0.0           0.0           6       n/a  
    Searches Skipped                  0.0           0.0           0       0.0 %
    Avg Deadlocks per Search          n/a           n/a     0.00000       n/a  
 
 
  Lock Promotions
    Total Lock Promotions             0.0           0.0           0       n/a  
 
 
  Lock Timeouts by Lock Type      per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total Timeouts                      0.0           0.0           0       n/a  
 
===============================================================================
 
Data Cache Management
---------------------
 
  Cache Statistics Summary (All Caches)
  -------------------------------------
                                  per sec      per xact       count  % of total
                             ------------  ------------  ----------  ----------
 
    Cache Search Summary
      Total Cache Hits            13287.8         838.6    15945387      97.8 %
      Total Cache Misses            301.8          19.0      362129       2.2 %
  -------------------------  ------------  ------------  ----------
    Total Cache Searches          13589.6         857.7    16307516            
 
    Cache Turnover
      Buffers Grabbed               291.3          18.4      349585       n/a  
      Buffers Grabbed Dirty           0.0           0.0           0       0.0 %
 
    Cache Strategy Summary
      Cached (LRU) Buffers        12660.7         799.0    15192852      94.2 %
      Discarded (MRU) Buffers       784.2          49.5      941043       5.8 %
 
    Large I/O Usage
      Large I/Os Performed          240.1          15.2      288093      97.4 %
      Large I/Os Denied               6.5           0.4        7747       2.6 %
  -------------------------  ------------  ------------  ----------
    Total Large I/O Requests        246.5          15.6      295840            
 
    Large I/O Effectiveness
      Pages by Lrg I/O Cached      1910.0         120.5     2291944       n/a  
      Pages by Lrg I/O Used        1275.2          80.5     1530289      66.8 %
 
    Asynchronous Prefetch Activity
      APFs Issued                   145.7           9.2      174780      18.3 %
      APFs Denied Due To                                                        
        APF I/O Overloads             0.3           0.0         335       0.0 %
        APF Limit Overloads           0.0           0.0           0       0.0 %
        APF Reused Overloads          1.3           0.1        1588       0.2 %
      APF Buffers Found in Cache                                                
        With Spinlock Held           16.1           1.0       19336       2.0 %
        W/o Spinlock Held           632.9          39.9      759532      79.5 %
  -------------------------  ------------  ------------  ----------
    Total APFs Requested            796.3          50.3      955571            
 
    Other Asynchronous Prefetch Statistics
      APFs Used                     144.1           9.1      172887       n/a  
      APF Waits for I/O              65.3           4.1       78356       n/a  
      APF Discards                    0.0           0.0           0       n/a  
 
    Dirty Read Behavior
      Page Requests                   0.0           0.0           0       n/a  
 
-------------------------------------------------------------------------------
  Cache: dbcc_cache                                                            
                                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Spinlock Contention               n/a           n/a         n/a       0.0 %
 
    Utilization                       n/a           n/a         n/a       0.0 %
 
    Cache Searches
      Total Cache Searches            0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------
    Total Cache Searches              0.0           0.0           0            
 
    Pool Turnover                     0.0           0.0           0       n/a  
 
    Buffer Wash Behavior
      Statistics Not Available - No Buffers Entered Wash Section Yet
 
    Cache Strategy
      Statistics Not Available - No Buffers Displaced Yet
 
    Large I/O Usage
      Total Large I/O Requests        0.0           0.0           0       n/a  
 
    Large I/O Detail
     16  Kb Pool                                                                
        Pages Cached                  0.0           0.0           0       n/a  
        Pages Used                    0.0           0.0           0       n/a  
 
    Dirty Read Behavior
          Page Requests               0.0           0.0           0       n/a          
 
-------------------------------------------------------------------------------
  Cache: default data cache                                                    
                                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Spinlock Contention               n/a           n/a         n/a       1.0 %
 
    Utilization                       n/a           n/a         n/a      99.9 %
 
    Cache Searches
      Cache Hits                  13279.3         838.1    15935163      97.8 %
         Found in Wash              117.8           7.4      141396       0.9 %
      Cache Misses                  300.0          18.9      359980       2.2 %
  -------------------------  ------------  ------------  ----------
    Total Cache Searches          13579.3         857.0    16295143            
 
    Pool Turnover
      2  Kb Pool                                                                
          LRU Buffer Grab            51.2           3.2       61476      17.7 %
            Grabbed Dirty             0.0           0.0           0       0.0 %
      16 Kb Pool                                                                
          LRU Buffer Grab           238.3          15.0      285960      82.3 %
            Grabbed Dirty             0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------
    Total Cache Turnover            289.5          18.3      347436            
 
    Buffer Wash Behavior
      Buffers Passed Clean          224.4          14.2      269221     100.0 %
      Buffers Already in I/O          0.0           0.0           0       0.0 %
      Buffers Washed Dirty            0.0           0.0          31       0.0 %
 
    Cache Strategy
      Cached (LRU) Buffers        12656.5         798.8    15187750      94.2 %
      Discarded (MRU) Buffers       784.2          49.5      941043       5.8 %
 
    Large I/O Usage
      Large I/Os Performed          160.3          10.1      192341      65.5 %
      Large I/Os Denied              84.5           5.3      101350      34.5 %
  -------------------------  ------------  ------------  ----------
    Total Large I/O Requests        244.7          15.4      293691            
 
    Large I/O Detail
     16  Kb Pool                                                                
        Pages Cached               1906.4         120.3     2287680       n/a  
        Pages Used                 1275.2          80.5     1530289      66.9 %
 
    Dirty Read Behavior
          Page Requests               0.0           0.0           0       n/a          
 
-------------------------------------------------------------------------------
  Cache: site1_log_cache                                                        
                                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Spinlock Contention               n/a           n/a         n/a       0.0 %
 
    Utilization                       n/a           n/a         n/a       0.1 %
 
    Cache Searches
      Cache Hits                      8.5           0.5       10224      82.6 %
         Found in Wash                0.0           0.0           0       0.0 %
      Cache Misses                    1.8           0.1        2149      17.4 %
  -------------------------  ------------  ------------  ----------
    Total Cache Searches             10.3           0.7       12373            
 
    Pool Turnover
      2  Kb Pool                                                                
          LRU Buffer Grab             0.0           0.0          17       0.8 %
            Grabbed Dirty             0.0           0.0           0       0.0 %
      4  Kb Pool                                                                
          LRU Buffer Grab             1.8           0.1        2132      99.2 %
            Grabbed Dirty             0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------
    Total Cache Turnover              1.8           0.1        2149            
 
    Buffer Wash Behavior
      Statistics Not Available - No Buffers Entered Wash Section Yet
 
    Cache Strategy
      Cached (LRU) Buffers            4.3           0.3        5102     100.0 %
      Discarded (MRU) Buffers         0.0           0.0           0       0.0 %
 
    Large I/O Usage
      Large I/Os Performed            1.8           0.1        2132      99.2 %
      Large I/Os Denied               0.0           0.0          17       0.8 %
  -------------------------  ------------  ------------  ----------
    Total Large I/O Requests          1.8           0.1        2149            
 
    Large I/O Detail
     4   Kb Pool                                                                
        Pages Cached                  3.6           0.2        4264       n/a  
        Pages Used                    0.0           0.0           0       0.0 %
 
    Dirty Read Behavior
          Page Requests               0.0           0.0           0       n/a          
 
===============================================================================
 
Procedure Cache Management        per sec      per xact       count  % of total
---------------------------  ------------  ------------  ----------  ----------
  Procedure Requests                 12.5           0.8       14942       n/a  
  Procedure Reads from Disk           0.0           0.0          18       0.1 %
  Procedure Writes to Disk            0.0           0.0           0       0.0 %
  Procedure Removals                  0.0           0.0          19       n/a  
 
===============================================================================
 
Memory Management                 per sec      per xact       count  % of total
---------------------------  ------------  ------------  ----------  ----------
  Pages Allocated                     0.1           0.0          81       n/a  
  Pages Released                      0.1           0.0          81       n/a  
 
===============================================================================
 
Recovery Management
-------------------
 
  Checkpoints                     per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    # of Normal Checkpoints           0.0           0.0          40     100.0 %
    # of Free Checkpoints             0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------            
  Total Checkpoints                   0.0           0.0          40            
 
  Avg Time per Normal Chkpt       2.37500 seconds                              
 
===============================================================================
 
Disk I/O Management
-------------------
 
  Max Outstanding I/Os            per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Server                            n/a           n/a           0       n/a  
    Engine 0                          n/a           n/a          83       n/a  
    Engine 1                          n/a           n/a          65       n/a  
 
 
  I/Os Delayed by
    Disk I/O Structures               n/a           n/a           0       n/a  
    Server Config Limit               n/a           n/a           0       n/a  
    Engine Config Limit               n/a           n/a           0       n/a  
    Operating System Limit            n/a           n/a           0       n/a  
 
 
  Total Requested Disk I/Os         302.5          19.1      362955            
 
  Completed Disk I/O's
    Engine 0                        150.3           9.5      180309      49.7 %
    Engine 1                        151.9           9.6      182311      50.3 %
  -------------------------  ------------  ------------  ----------            
  Total Completed I/Os              302.2          19.1      362620            
 
 
  Device Activity Detail
  ----------------------
 
  Device:                                                                      
    /dev/rdbccdb_dat                                                            
    dbccdb_dat                    per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       0.0 %
 
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rdbccdb_log                                                            
    dbccdb_log                    per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       0.0 %
 
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data1                                                          
    site1_data1                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                            10.0           0.6       11983      59.0 %
      Non-APF                         5.8           0.4        6928      34.1 %
    Writes                            1.2           0.1        1395       6.9 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         16.9           1.1       20306       5.6 %
 
  Device Semaphore Granted           16.9           1.1       20299      99.3 %
  Device Semaphore Waited             0.1           0.0         152       0.7 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data2                                                          
    site1_data2                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                            10.5           0.7       12562      30.8 %
      Non-APF                        22.9           1.4       27470      67.3 %
    Writes                            0.6           0.0         766       1.9 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         34.0           2.1       40798      11.3 %
 
  Device Semaphore Granted           34.0           2.1       40793     100.0 %
  Device Semaphore Waited             0.0           0.0          19       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data3                                                          
    site1_data3                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                            16.6           1.1       19977      76.8 %
      Non-APF                         4.9           0.3        5909      22.7 %
    Writes                            0.1           0.0         131       0.5 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         21.7           1.4       26017       7.2 %
 
  Device Semaphore Granted           21.7           1.4       26016     100.0 %
  Device Semaphore Waited             0.0           0.0           6       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data4                                                          
    site1_data4                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                            11.4           0.7       13688      17.7 %
      Non-APF                        52.4           3.3       62850      81.1 %
    Writes                            0.8           0.1         979       1.3 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         64.6           4.1       77517      21.4 %
 
  Device Semaphore Granted           64.6           4.1       77511     100.0 %
  Device Semaphore Waited             0.0           0.0          21       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data5                                                          
    site1_data5                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                            10.7           0.7       12859      94.0 %
      Non-APF                         0.6           0.0         762       5.6 %
    Writes                            0.1           0.0          60       0.4 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         11.4           0.7       13681       3.8 %
 
  Device Semaphore Granted           11.4           0.7       13681     100.0 %
  Device Semaphore Waited             0.0           0.0           4       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data6                                                          
    site1_data6                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             2.2           0.1        2685       9.4 %
      Non-APF                        21.6           1.4       25872      90.2 %
    Writes                            0.1           0.0         140       0.5 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         23.9           1.5       28697       7.9 %
 
  Device Semaphore Granted           23.9           1.5       28697     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data7                                                          
    site1_data7                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                            66.4           4.2       79711      89.0 %
      Non-APF                         8.1           0.5        9678      10.8 %
    Writes                            0.1           0.0         165       0.2 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         74.6           4.7       89554      24.7 %
 
  Device Semaphore Granted           74.6           4.7       89536      99.9 %
  Device Semaphore Waited             0.1           0.0         110       0.1 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data8                                                          
    site1_data8                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       0.0 %
 
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data9                                                          
    site1_data9                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             9.7           0.6       11643      75.4 %
      Non-APF                         1.8           0.1        2215      14.3 %
    Writes                            1.3           0.1        1579      10.2 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         12.9           0.8       15437       4.3 %
 
  Device Semaphore Granted           12.9           0.8       15437     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index1                                                          
    site1_index1                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             1.3           0.1        1505      19.3 %
      Non-APF                         3.1           0.2        3682      47.3 %
    Writes                            2.2           0.1        2601      33.4 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          6.5           0.4        7788       2.1 %
 
  Device Semaphore Granted            6.5           0.4        7788      99.3 %
  Device Semaphore Waited             0.0           0.0          52       0.7 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index2                                                          
    site1_index2                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.4           0.0         507      27.6 %
      Non-APF                         0.7           0.0         790      43.1 %
    Writes                            0.4           0.0         537      29.3 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          1.5           0.1        1834       0.5 %
 
  Device Semaphore Granted            1.5           0.1        1834     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index3                                                          
    site1_index3                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       0.0 %
 
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index4                                                          
    site1_index4                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.7           0.0         822      23.9 %
      Non-APF                         0.8           0.1         973      28.3 %
    Writes                            1.4           0.1        1649      47.9 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          2.9           0.2        3444       0.9 %
 
  Device Semaphore Granted            2.9           0.2        3444     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index5                                                          
    site1_index5                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             2.4           0.2        2898      39.0 %
      Non-APF                         0.9           0.1        1129      15.2 %
    Writes                            2.8           0.2        3406      45.8 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          6.2           0.4        7433       2.0 %
 
  Device Semaphore Granted            6.2           0.4        7433     100.0 %
  Device Semaphore Waited             0.0           0.0           1       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index6                                                          
    site1_index6                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             3.3           0.2        3916      67.9 %
      Non-APF                         0.5           0.0         623      10.8 %
    Writes                            1.0           0.1        1230      21.3 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          4.8           0.3        5769       1.6 %
 
  Device Semaphore Granted            4.8           0.3        5769      99.8 %
  Device Semaphore Waited             0.0           0.0          10       0.2 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index7                                                          
    site1_index7                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0          25       3.3 %
      Non-APF                         0.3           0.0         328      43.0 %
    Writes                            0.3           0.0         409      53.7 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.6           0.0         762       0.2 %
 
  Device Semaphore Granted            0.6           0.0         762     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_log1                                                            
    site1_log1                    per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       0.0 %
 
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_log2                                                            
    site1_log2                    per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0          17       0.2 %
    Writes                            8.6           0.5       10314      99.8 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          8.6           0.5       10331       2.8 %
 
  Device Semaphore Granted            8.6           0.5       10331     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /sybase/sybprocs.dat                                                        
    sysprocsdev                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0          32     100.0 %
    Writes                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0          32       0.0 %
 
  Device Semaphore Granted            0.0           0.0          32     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /usr/sybtempdb/sybtempdb.dat                                                
    tempdb1                       per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0          18       0.1 %
    Writes                           10.1           0.6       12119      99.9 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         10.1           0.6       12137       3.3 %
 
  Device Semaphore Granted           10.1           0.6       12137     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /usr/sybtempdb/sybtempdb2.dat                                              
    tempdb2                       per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0           1       0.6 %
    Writes                            0.1           0.0         176      99.4 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.1           0.0         177       0.0 %
 
  Device Semaphore Granted            0.1           0.0         177     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /usr/sybtempdb/sybtempdb3.dat                                              
    tempdb3                       per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0           1       0.3 %
    Writes                            0.3           0.0         300      99.7 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.3           0.0         301       0.1 %
 
  Device Semaphore Granted            0.3           0.0         301     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /usr/sybtempdb/sybtempdb4.dat                                              
    tempdb4                       per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0           2       1.1 %
    Writes                            0.2           0.0         185      98.9 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.2           0.0         187       0.1 %
 
  Device Semaphore Granted            0.2           0.0         187     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    d_master                                                                    
    master                        per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0           1       0.2 %
    Writes                            0.3           0.0         418      99.8 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.3           0.0         419       0.1 %
 
  Device Semaphore Granted            0.3           0.0         419     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
===============================================================================
 
Network I/O Management
----------------------
 
  Total Network I/O Requests        172.0          10.9      206377       n/a  
    Network I/Os Delayed              0.0           0.0           0       0.0 %
 
 
  Total TDS Packets Received      per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Engine 0                         46.3           2.9       55534      60.0 %
    Engine 1                         30.9           1.9       37063      40.0 %
  -------------------------  ------------  ------------  ----------            
  Total TDS Packets Rec'd            77.2           4.9       92597            
 
 
  Total Bytes Received            per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Engine 0                       7112.2         448.9     8534592      55.8 %
    Engine 1                       5642.6         356.1     6771176      44.2 %
  -------------------------  ------------  ------------  ----------            
  Total Bytes Rec'd               12754.8         805.0    15305768            
 
 
   Avg Bytes Rec'd per Packet          n/a           n/a         165       n/a  
 
  -----------------------------------------------------------------------------
 
  Total TDS Packets Sent          per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Engine 0                         58.1           3.7       69743      61.1 %
    Engine 1                         37.1           2.3       44467      38.9 %
  -------------------------  ------------  ------------  ----------            
  Total TDS Packets Sent             95.2           6.0      114210            
 
 
  Total Bytes Sent                per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Engine 0                      17477.6        1103.0    20973164      57.6 %
    Engine 1                      12849.8         811.0    15419741      42.4 %
  -------------------------  ------------  ------------  ----------            
  Total Bytes Sent                30327.4        1914.0    36392905            
 
 
  Avg Bytes Sent per Packet           n/a           n/a         318       n/a  
 
=============================== End of Report =================================


SECOND REPORT AN HOUR LATER...
===============================================================================
      Sybase Adaptive Server Enterprise System Performance Report
===============================================================================
 
Server Version:        Adaptive Server Enterprise/11.9.2.5/1226/P/SWR 9621 ROLL
Server Name:           Server is Unnamed                                        
Run Date:              Nov 06, 2006                                            
Statistics Cleared at: 10:23:20                                                
Statistics Sampled at: 10:43:21                                                
Sample Interval:       00:20:00                                                
 
===============================================================================
 
Kernel Utilization
------------------
 
  Engine Busy Utilization
    Engine 0                       40.5 %                                      
    Engine 1                       32.9 %                                      
  -----------             ---------------          ----------------
  Summary                 Total    73.4 %          Average   36.7 %          
 
  CPU Yields by Engine            per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Engine 0                          0.6           0.1         757      63.1 %
    Engine 1                          0.4           0.0         443      36.9 %
  -------------------------  ------------  ------------  ----------
  Total CPU Yields                    1.0           0.1        1200            
 
  Network Checks
    Non-Blocking                  14050.8        1585.4    16860977      98.4 %
    Blocking                        226.0          25.5      271177       1.6 %
  -------------------------  ------------  ------------  ----------
  Total Network I/O Checks        14276.8        1610.9    17132154            
  Avg Net I/Os per Check              n/a           n/a     0.00891       n/a  
 
  Disk I/O Checks
    Total Disk I/O Checks         28588.7        3225.8    34306453       n/a  
    Checks Returning I/O          12674.6        1430.1    15209484      44.3 %
    Avg Disk I/Os Returned            n/a           n/a     0.01095       n/a  
 
===============================================================================
 
Worker Process Management
-------------------------
                                  per sec      per xact       count  % of total
                             ------------  ------------  ----------  ----------
 Worker Process Requests
   Total Requests                     0.0           0.0           0       n/a  
 
 Worker Process Usage
   Total Used                         0.0           0.0           0       n/a  
   Max Ever Used During Sample        0.0           0.0           0       n/a  
 
 Memory Requests for Worker Processes
   Total Requests                     0.0           0.0           0       n/a  
 
===============================================================================
 
Parallel Query Management
-------------------------
 
  Parallel Query Usage            per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total Parallel Queries              0.0           0.0           0       n/a  
 
  Merge Lock Requests             per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total # of Requests                 0.0           0.0           0       n/a  
 
  Sort Buffer Waits               per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total # of Waits                    0.0           0.0           0       n/a  
 
===============================================================================
 
Task Management                   per sec      per xact       count  % of total
---------------------------  ------------  ------------  ----------  ----------
 
  Connections Opened                 12.2           1.4       14610       n/a  
 
  Task Context Switches by Engine
    Engine 0                        188.7          21.3      226414      50.7 %
    Engine 1                        183.5          20.7      220153      49.3 %
  -------------------------  ------------  ------------  ----------
    Total Task Switches:            372.1          42.0      446567            
 
  Task Context Switches Due To:
    Voluntary Yields                 14.6           1.6       17544       3.9 %
    Cache Search Misses              28.6           3.2       34359       7.7 %
    System Disk Writes                4.3           0.5        5187       1.2 %
    I/O Pacing                       11.1           1.3       13329       3.0 %
    Logical Lock Contention           0.1           0.0          60       0.0 %
    Address Lock Contention           0.0           0.0           0       0.0 %
    Log Semaphore Contention          0.1           0.0          85       0.0 %
    Group Commit Sleeps               0.3           0.0         358       0.1 %
    Last Log Page Writes             11.8           1.3       14205       3.2 %
    Modify Conflicts                  0.3           0.0         389       0.1 %
    I/O Device Contention             0.2           0.0         210       0.0 %
    Network Packet Received          64.3           7.3       77137      17.3 %
    Network Packet Sent              62.9           7.1       75483      16.9 %
    SYSINDEXES Lookup                 0.0           0.0           2       0.0 %
    Other Causes                    173.5          19.6      208219      46.6 %
 
===============================================================================
 
Application Management
----------------------
 
  Application Statistics Summary (All Applications)
  -------------------------------------------------
  Priority Changes                per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    To High Priority                  0.1           0.0         177       1.1 %
    To Medium Priority               12.9           1.4       15420      95.0 %
    To Low Priority                   0.5           0.1         636       3.9 %
  -------------------------  ------------  ------------  ----------
  Total Priority Changes             13.5           1.5       16233            
 
  Allotted Slices Exhausted       per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    High Priority                     0.0           0.0           0       0.0 %
    Medium Priority                   1.3           0.1        1531     100.0 %
    Low Priority                      0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------
  Total Slices Exhausted              1.3           0.1        1531            
 
  Skipped Tasks By Engine         per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total Engine Skips                  0.0           0.0           0       n/a  
 
  Engine Scope Changes                0.0           0.0           0       n/a  
 
===============================================================================
 
ESP Management                    per sec      per xact       count  % of total
---------------------------  ------------  ------------  ----------  ----------
  ESP Requests                        0.0           0.0           0       n/a  
===============================================================================
 
Housekeeper Task Activity
-------------------------
                                  per sec      per xact       count  % of total
                             ------------  ------------  ----------            
Buffer Cache Washes                                                            
  Clean                             28.1           3.2       33671      99.0 %
  Dirty                              0.3           0.0         354       1.0 %
                             ------------  ------------  ----------            
Total Washes                        28.4           3.2       34025              
 
Garbage Collections                  1.3           0.2        1600       n/a    
Pages Processed in GC                0.1           0.0          98       n/a    
 
Statistics Updates                   1.3           0.2        1600       n/a    
 
===============================================================================
 
Monitor Access to Executing SQL
-------------------------------
                                  per sec      per xact       count  % of total
                             ------------  ------------  ----------  ----------
 Waits on Execution Plans            0.0           0.0           0       n/a    
 Number of SQL Text Overflows        0.0           0.0           0       n/a    
 Maximum SQL Text Requested          n/a           n/a           0       n/a    
  (since beginning of sample)                                                  
 
===============================================================================
 
Transaction Profile
-------------------
 
  Transaction Summary             per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Committed Xacts                   8.9           n/a       10635     n/a    
 
  Transaction Detail              per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Inserts
      APL Heap Table                195.1          22.0      234147      90.7 %
      APL Clustered Table            18.5           2.1       22155       8.6 %
      Data Only Lock Table            1.6           0.2        1911       0.7 %
  -------------------------  ------------  ------------  ----------  ----------
    Total Rows Inserted             215.2          24.3      258213      60.3 %
 
    Updates
      APL Deferred                    2.2           0.2        2592       1.8 %
      APL Direct In-place             1.0           0.1        1146       0.8 %
      APL Direct Cheap                0.3           0.0         332       0.2 %
      APL Direct Expensive            0.0           0.0          21       0.0 %
      DOL Deferred                   68.8           7.8       82599      56.0 %
      DOL Direct                     50.6           5.7       60722      41.2 %
  -------------------------  ------------  ------------  ----------  ----------
    Total Rows Updated              122.8          13.9      147412      34.4 %
 
    Data Only Locked Updates
      DOL Replace                   118.5          13.4      142155      99.2 %
      DOL Shrink                      0.3           0.0         359       0.3 %
      DOL Cheap Expand                0.1           0.0         154       0.1 %
      DOL Expensive Expand            0.5           0.1         631       0.4 %
      DOL Expand & Forward            0.0           0.0          22       0.0 %
      DOL Fwd Row Returned            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
    Total DOL Rows Updated          119.4          13.5      143321      33.5 %
 
    Deletes
      APL Deferred                   16.7           1.9       20016      89.7 %
      APL Direct                      0.9           0.1        1128       5.1 %
      DOL                             1.0           0.1        1165       5.2 %
  -------------------------  ------------  ------------  ----------  ----------
    Total Rows Deleted               18.6           2.1       22309       5.2 %
  =========================  ============  ============  ==========
    Total Rows Affected             356.6          40.2      427934            
 
===============================================================================
 
Transaction Management
----------------------
 
  ULC Flushes to Xact Log         per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    by Full ULC                      21.6           2.4       25912      49.2 %
    by End Transaction                7.7           0.9        9237      17.5 %
    by Change of Database             0.1           0.0          83       0.2 %
    by System Log Record              7.7           0.9        9245      17.6 %
    by Other                          6.8           0.8        8171      15.5 %
  -------------------------  ------------  ------------  ----------
  Total ULC Flushes                  43.9           5.0       52648            
 
  ULC Log Records                   945.4         106.7     1134425       n/a  
  Max ULC Size During Sample          n/a           n/a        2048       n/a  
 
  ULC Semaphore Requests
    Granted                        1942.4         219.2     2330877     100.0 %
    Waited                            0.0           0.0           1       0.0 %
  -------------------------  ------------  ------------  ----------
  Total ULC Semaphore Req          1942.4         219.2     2330878            
 
  Log Semaphore Requests
    Granted                          63.5           7.2       76259      99.9 %
    Waited                            0.1           0.0          85       0.1 %
  -------------------------  ------------  ------------  ----------
  Total Log Semaphore Req            63.6           7.2       76344            
 
  Transaction Log Writes             34.6           3.9       41529       n/a  
  Transaction Log Alloc              41.9           4.7       50303       n/a  
  Avg # Writes per Log Page           n/a           n/a     0.82558       n/a  
 
===============================================================================
 
Index Management
----------------
 
  Nonclustered Maintenance        per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Ins/Upd Requiring Maint         102.8          11.6      123396       n/a  
      # of NC Ndx Maint             255.1          28.8      306166       n/a  
      Avg NC Ndx Maint / Op           n/a           n/a     2.48117       n/a  
 
    Deletes Requiring Maint           1.4           0.2        1691       n/a  
      # of NC Ndx Maint               1.4           0.2        1729       n/a  
      Avg NC Ndx Maint / Op           n/a           n/a     1.02247       n/a  
 
    RID Upd from Clust Split          0.0           0.0           2       n/a  
      # of NC Ndx Maint               0.1           0.0          91       n/a  
      Avg NC Ndx Maint / Op           n/a           n/a    45.50000       n/a  
 
    Upd/Del DOL Req Maint           120.4          13.6      144486       n/a  
      # of DOL Ndx Maint            120.8          13.6      144906       n/a  
      Avg DOL Ndx Maint / Op          n/a           n/a     1.00291       n/a  
 
  Page Splits                         4.5           0.5        5354       n/a  
    Retries                           0.0           0.0           0       0.0 %
    Deadlocks                         0.0           0.0           0       0.0 %
    Empty Page Flushes                0.0           0.0           0       0.0 %
    Add Index Level                   0.0           0.0           0       0.0 %
 
  Page Shrinks                        0.0           0.0           2       n/a  
 
  Index Scans                     per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Ascending Scans                1444.7         163.0     1733584      85.0 %
    DOL Ascending Scans             252.8          28.5      303413      14.9 %
    Descending Scans                  1.9           0.2        2286       0.1 %
    DOL Descending Scans              0.3           0.0         416       0.0 %
                             ------------  ------------  ----------            
    Total Scans                    1699.7         191.8     2039699            
 
===============================================================================
 
Metadata Cache Management
-------------------------
 
  Metadata Cache Summary         per sec      per xact       count  % of total
  ------------------------  ------------  ------------  ----------  ----------  
 
  Open Object Usage                                                            
    Active                            0.5           0.1         574       n/a  
    Max Ever Used Since Boot          0.5           0.1         579       n/a  
    Free                              1.7           0.2        2055       n/a  
    Reuse Requests                                                              
      Succeeded                       0.0           0.0           0       n/a  
      Failed                          0.0           0.0           0       n/a  
 
  Open Index Usage                                                              
    Active                            0.6           0.1         728       n/a  
    Max Ever Used Since Boot          0.6           0.1         733       n/a  
    Free                              0.6           0.1         681       n/a  
    Reuse Requests                                                              
      Succeeded                       0.0           0.0           0       n/a  
      Failed                          0.0           0.0           0       n/a  
 
  Open Database Usage                                                          
    Active                            0.0           0.0           6       n/a  
    Max Ever Used Since Boot          0.0           0.0           6       n/a  
    Free                              0.8           0.1         994       n/a  
    Reuse Requests                                                              
      Succeeded                       0.0           0.0           0       n/a  
      Failed                          0.0           0.0           0       n/a  
 
  Object Spinlock Contention          n/a           n/a         n/a       0.0 %
 
  Index Spinlock Contention           n/a           n/a         n/a       0.0 %
 
  Hash Spinlock Contention            n/a           n/a         n/a       0.0 %
 
===============================================================================
 
Lock Management
---------------
 
  Lock Summary                    per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total Lock Requests              9437.8        1064.9    11325328       n/a  
  Avg Lock Contention                 0.1           0.0          60       0.0 %
  Deadlock Percentage                 0.0           0.0           0       0.0 %
  Lock Hashtable Lookups           9580.3        1081.0    11496407       n/a  
  Avg Hash Chain Length               n/a           n/a     0.02004       n/a  
 
  Lock Detail                     per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
 
  Exclusive Table
    Granted                          12.6           1.4       15117      99.9 %
    Waited                            0.0           0.0          13       0.1 %
  -------------------------  ------------  ------------  ----------  ----------
  Total EX-Table Requests            12.6           1.4       15130       0.1 %
 
  Shared Table
    Granted                           0.8           0.1         915     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total SH-Table Requests             0.8           0.1         915       0.0 %
 
  Exclusive Intent
    Granted                           9.6           1.1       11468     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total EX-Intent Requests            9.6           1.1       11468       0.1 %
 
  Shared Intent
    Granted                         144.0          16.2      172771     100.0 %
    Waited                            0.0           0.0          25       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total SH-Intent Requests          144.0          16.2      172796       1.5 %
 
  Exclusive Page
    Granted                          13.1           1.5       15710     100.0 %
    Waited                            0.0           0.0           5       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total EX-Page Requests             13.1           1.5       15715       0.1 %
 
  Update Page
    Granted                         111.9          12.6      134240     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total UP-Page Requests            111.9          12.6      134240       1.2 %
 
  Shared Page
    Granted                        4453.3         502.5     5343999     100.0 %
    Waited                            0.0           0.0          10       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total SH-Page Requests           4453.3         502.5     5344009      47.2 %
 
 
  Exclusive Row
    Granted                           4.8           0.5        5808      99.9 %
    Waited                            0.0           0.0           3       0.1 %
  -------------------------  ------------  ------------  ----------  ----------
  Total EX-Row Requests               4.8           0.5        5811       0.1 %
 
  Update Row
    Granted                           2.2           0.2        2586     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total UP-Row Requests               2.2           0.2        2586       0.0 %
 
  Shared Row
    Granted                         660.6          74.5      792766     100.0 %
    Waited                            0.0           0.0           4       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total SH-Row Requests             660.6          74.5      792770       7.0 %
 
 
  Next-Key
    Total Next-Key Requests           0.0           0.0           0       n/a  
 
  Exclusive Address
    Granted                         760.1          85.8      912159     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total EX-Address Requests         760.1          85.8      912159       8.1 %
 
  Shared Address
    Granted                        3264.8         368.4     3917729     100.0 %
    Waited                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total SH-Address Requests        3264.8         368.4     3917729      34.6 %
 
 
  Last Page Locks on Heaps
    Granted                         195.1          22.0      234155     100.0 %
    Waited                            0.0           0.0           5       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total Last Pg Locks               195.1          22.0      234160     100.0 %
 
 
  Deadlocks by Lock Type          per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total Deadlocks                     0.0           0.0           0       n/a  
 
 
  Deadlock Detection
    Deadlock Searches                 0.0           0.0          21       n/a  
    Searches Skipped                  0.0           0.0           0       0.0 %
    Avg Deadlocks per Search          n/a           n/a     0.00000       n/a  
 
 
  Lock Promotions
    Ex-Page to Ex-Table               0.0           0.0           0       0.0 %
    Sh-Page to Sh-Table               0.0           0.0           0       0.0 %
    Ex-Row to Ex-Table                0.0           0.0           1      50.0 %
    Sh-Row to Sh-Table                0.0           0.0           0       0.0 %
    Sh-Next-Key to Sh-Table           0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------
  Total Lock Promotions               0.0           0.0           2            
 
 
  Lock Timeouts by Lock Type      per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total Timeouts                      0.0           0.0           0       n/a  
 
===============================================================================
 
Data Cache Management
---------------------
 
  Cache Statistics Summary (All Caches)
  -------------------------------------
                                  per sec      per xact       count  % of total
                             ------------  ------------  ----------  ----------
 
    Cache Search Summary
      Total Cache Hits            11518.0        1299.6    13821553      98.7 %
      Total Cache Misses            148.5          16.8      178143       1.3 %
  -------------------------  ------------  ------------  ----------
    Total Cache Searches          11666.4        1316.4    13999696            
 
    Cache Turnover
      Buffers Grabbed               103.8          11.7      124509       n/a  
      Buffers Grabbed Dirty           0.0           0.0           0       0.0 %
 
    Cache Strategy Summary
      Cached (LRU) Buffers        11499.1        1297.5    13798961      99.9 %
      Discarded (MRU) Buffers         8.4           1.0       10105       0.1 %
 
    Large I/O Usage
      Large I/Os Performed           78.0           8.8       93597      93.8 %
      Large I/Os Denied               5.1           0.6        6163       6.2 %
  -------------------------  ------------  ------------  ----------
    Total Large I/O Requests         83.1           9.4       99760            
 
    Large I/O Effectiveness
      Pages by Lrg I/O Cached       506.3          57.1      607608       n/a  
      Pages by Lrg I/O Used         272.9          30.8      327477      53.9 %
 
    Asynchronous Prefetch Activity
      APFs Issued                    45.7           5.2       54796       4.1 %
      APFs Denied Due To                                                        
        APF I/O Overloads             0.2           0.0         184       0.0 %
        APF Limit Overloads           0.0           0.0           0       0.0 %
        APF Reused Overloads          0.6           0.1         737       0.1 %
      APF Buffers Found in Cache                                                
        With Spinlock Held           21.2           2.4       25403       1.9 %
        W/o Spinlock Held          1051.5         118.6     1261775      94.0 %
  -------------------------  ------------  ------------  ----------
    Total APFs Requested           1119.1         126.3     1342895            
 
    Other Asynchronous Prefetch Statistics
      APFs Used                      44.8           5.1       53799       n/a  
      APF Waits for I/O              22.3           2.5       26764       n/a  
      APF Discards                    0.0           0.0          28       n/a  
 
    Dirty Read Behavior
      Page Requests                   0.0           0.0           0       n/a  
 
-------------------------------------------------------------------------------
  Cache: dbcc_cache                                                            
                                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Spinlock Contention               n/a           n/a         n/a       0.0 %
 
    Utilization                       n/a           n/a         n/a       0.0 %
 
    Cache Searches
      Total Cache Searches            0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------
    Total Cache Searches              0.0           0.0           0            
 
    Pool Turnover                     0.0           0.0           0       n/a  
 
    Buffer Wash Behavior
      Statistics Not Available - No Buffers Entered Wash Section Yet
 
    Cache Strategy
      Statistics Not Available - No Buffers Displaced Yet
 
    Large I/O Usage
      Total Large I/O Requests        0.0           0.0           0       n/a  
 
    Large I/O Detail
     16  Kb Pool                                                                
        Pages Cached                  0.0           0.0           0       n/a  
        Pages Used                    0.0           0.0           0       n/a  
 
    Dirty Read Behavior
          Page Requests               0.0           0.0           0       n/a          
 
-------------------------------------------------------------------------------
  Cache: default data cache                                                    
                                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Spinlock Contention               n/a           n/a         n/a       1.0 %
 
    Utilization                       n/a           n/a         n/a      99.3 %
 
    Cache Searches
      Cache Hits                  11473.4        1294.6    13768060      99.1 %
         Found in Wash               22.1           2.5       26501       0.2 %
      Cache Misses                  107.5          12.1      129048       0.9 %
  -------------------------  ------------  ------------  ----------
    Total Cache Searches          11580.9        1306.7    13897108            
 
    Pool Turnover
      2  Kb Pool                                                                
          LRU Buffer Grab            25.6           2.9       30731      30.5 %
            Grabbed Dirty             0.0           0.0           0       0.0 %
      16 Kb Pool                                                                
          LRU Buffer Grab            58.4           6.6       70069      69.5 %
            Grabbed Dirty             0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------
    Total Cache Turnover             84.0           9.5      100800            
 
    Buffer Wash Behavior
      Buffers Passed Clean           49.9           5.6       59851     100.0 %
      Buffers Already in I/O          0.0           0.0           0       0.0 %
      Buffers Washed Dirty            0.0           0.0           8       0.0 %
 
    Cache Strategy
      Cached (LRU) Buffers        11463.6        1293.5    13756365      99.9 %
      Discarded (MRU) Buffers         8.4           1.0       10105       0.1 %
 
    Large I/O Usage
      Large I/Os Performed           34.7           3.9       41697      54.8 %
      Large I/Os Denied              28.6           3.2       34354      45.2 %
  -------------------------  ------------  ------------  ----------
    Total Large I/O Requests         63.4           7.2       76051            
 
    Large I/O Detail
     16  Kb Pool                                                                
        Pages Cached                467.1          52.7      560552       n/a  
        Pages Used                  252.0          28.4      302347      53.9 %
 
    Dirty Read Behavior
          Page Requests               0.0           0.0           0       n/a          
 
-------------------------------------------------------------------------------
  Cache: site1_log_cache                                                        
                                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Spinlock Contention               n/a           n/a         n/a       0.0 %
 
    Utilization                       n/a           n/a         n/a       0.7 %
 
    Cache Searches
      Cache Hits                     44.6           5.0       53493      52.1 %
         Found in Wash                3.3           0.4        3981       7.4 %
      Cache Misses                   40.9           4.6       49095      47.9 %
  -------------------------  ------------  ------------  ----------
    Total Cache Searches             85.5           9.6      102588            
 
    Pool Turnover
      2  Kb Pool                                                                
          LRU Buffer Grab             0.2           0.0         181       0.8 %
            Grabbed Dirty             0.0           0.0           0       0.0 %
      4  Kb Pool                                                                
          LRU Buffer Grab            19.6           2.2       23528      99.2 %
            Grabbed Dirty             0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------
    Total Cache Turnover             19.8           2.2       23709            
 
    Buffer Wash Behavior
      Buffers Passed Clean           11.9           1.3       14291      88.2 %
      Buffers Already in I/O          0.0           0.0           1       0.0 %
      Buffers Washed Dirty            1.9           0.2        2254      13.9 %
 
    Cache Strategy
      Cached (LRU) Buffers           35.5           4.0       42596     100.0 %
      Discarded (MRU) Buffers         0.0           0.0           0       0.0 %
 
    Large I/O Usage
      Large I/Os Performed           19.5           2.2       23427      98.8 %
      Large I/Os Denied               0.2           0.0         282       1.2 %
  -------------------------  ------------  ------------  ----------
    Total Large I/O Requests         19.8           2.2       23709            
 
    Large I/O Detail
     4   Kb Pool                                                                
        Pages Cached                 39.2           4.4       47056       n/a  
        Pages Used                   20.9           2.4       25130      53.4 %
 
    Dirty Read Behavior
          Page Requests               0.0           0.0           0       n/a          
 
===============================================================================
 
Procedure Cache Management        per sec      per xact       count  % of total
---------------------------  ------------  ------------  ----------  ----------
  Procedure Requests                  8.9           1.0       10697       n/a  
  Procedure Reads from Disk           0.0           0.0           9       0.1 %
  Procedure Writes to Disk            0.0           0.0           3       0.0 %
  Procedure Removals                  0.0           0.0          14       n/a  
 
===============================================================================
 
Memory Management                 per sec      per xact       count  % of total
---------------------------  ------------  ------------  ----------  ----------
  Pages Allocated                     0.1           0.0          74       n/a  
  Pages Released                      0.1           0.0          74       n/a  
 
===============================================================================
 
Recovery Management
-------------------
 
  Checkpoints                     per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    # of Normal Checkpoints           0.0           0.0          38     100.0 %
    # of Free Checkpoints             0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------            
  Total Checkpoints                   0.0           0.0          38            
 
  Avg Time per Normal Chkpt       4.50000 seconds                              
 
===============================================================================
 
Disk I/O Management
-------------------
 
  Max Outstanding I/Os            per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Server                            n/a           n/a           0       n/a  
    Engine 0                          n/a           n/a         196       n/a  
    Engine 1                          n/a           n/a         180       n/a  
 
 
  I/Os Delayed by
    Disk I/O Structures               n/a           n/a           0       n/a  
    Server Config Limit               n/a           n/a           0       n/a  
    Engine Config Limit               n/a           n/a           0       n/a  
    Operating System Limit            n/a           n/a           0       n/a  
 
 
  Total Requested Disk I/Os         139.6          15.8      167521            
 
  Completed Disk I/O's
    Engine 0                         69.1           7.8       82921      49.8 %
    Engine 1                         69.7           7.9       83623      50.2 %
  -------------------------  ------------  ------------  ----------            
  Total Completed I/Os              138.8          15.7      166544            
 
 
  Device Activity Detail
  ----------------------
 
  Device:                                                                      
    /dev/rdbccdb_dat                                                            
    dbccdb_dat                    per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       0.0 %
 
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rdbccdb_log                                                            
    dbccdb_log                    per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       0.0 %
 
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data1                                                          
    site1_data1                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             9.8           1.1       11708      28.6 %
      Non-APF                         5.2           0.6        6270      15.3 %
    Writes                           19.2           2.2       23014      56.1 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         34.2           3.9       40992      24.6 %
 
  Device Semaphore Granted           34.2           3.9       40990      99.7 %
  Device Semaphore Waited             0.1           0.0         119       0.3 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data2                                                          
    site1_data2                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             1.8           0.2        2115      57.4 %
      Non-APF                         0.7           0.1         791      21.5 %
    Writes                            0.6           0.1         779      21.1 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          3.1           0.3        3685       2.2 %
 
  Device Semaphore Granted            3.1           0.3        3685      99.9 %
  Device Semaphore Waited             0.0           0.0           3       0.1 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data3                                                          
    site1_data3                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             7.7           0.9        9249      35.6 %
      Non-APF                        13.0           1.5       15623      60.1 %
    Writes                            1.0           0.1        1140       4.4 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         21.7           2.4       26012      15.6 %
 
  Device Semaphore Granted           21.7           2.4       26007      99.9 %
  Device Semaphore Waited             0.0           0.0          27       0.1 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data4                                                          
    site1_data4                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             1.2           0.1        1384      50.1 %
      Non-APF                         0.5           0.1         567      20.5 %
    Writes                            0.7           0.1         811      29.4 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          2.3           0.3        2762       1.7 %
 
  Device Semaphore Granted            2.3           0.3        2762      99.8 %
  Device Semaphore Waited             0.0           0.0           6       0.2 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data5                                                          
    site1_data5                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.9           0.1        1132      67.0 %
      Non-APF                         0.4           0.1         532      31.5 %
    Writes                            0.0           0.0          26       1.5 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          1.4           0.2        1690       1.0 %
 
  Device Semaphore Granted            1.4           0.2        1690     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data6                                                          
    site1_data6                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.1           0.0          99      25.3 %
      Non-APF                         0.1           0.0         134      34.2 %
    Writes                            0.1           0.0         159      40.6 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.3           0.0         392       0.2 %
 
  Device Semaphore Granted            0.3           0.0         392     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data7                                                          
    site1_data7                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                            16.1           1.8       19262      85.7 %
      Non-APF                         2.6           0.3        3149      14.0 %
    Writes                            0.0           0.0          52       0.2 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         18.7           2.1       22463      13.5 %
 
  Device Semaphore Granted           18.7           2.1       22463     100.0 %
  Device Semaphore Waited             0.0           0.0           1       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data8                                                          
    site1_data8                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       0.0 %
 
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_data9                                                          
    site1_data9                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             2.2           0.2        2633      63.7 %
      Non-APF                         0.8           0.1         969      23.4 %
    Writes                            0.4           0.1         533      12.9 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          3.4           0.4        4135       2.5 %
 
  Device Semaphore Granted            3.4           0.4        4135     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index1                                                          
    site1_index1                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.5           0.1         615      11.1 %
      Non-APF                         1.9           0.2        2225      40.2 %
    Writes                            2.3           0.3        2700      48.7 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          4.6           0.5        5540       3.3 %
 
  Device Semaphore Granted            4.6           0.5        5539      99.6 %
  Device Semaphore Waited             0.0           0.0          23       0.4 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index2                                                          
    site1_index2                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.6           0.1         765      29.2 %
      Non-APF                         1.1           0.1        1316      50.2 %
    Writes                            0.5           0.1         542      20.7 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          2.2           0.2        2623       1.6 %
 
  Device Semaphore Granted            2.2           0.2        2623     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index3                                                          
    site1_index3                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           1      33.3 %
      Non-APF                         0.0           0.0           2      66.7 %
    Writes                            0.0           0.0           0       0.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           3       0.0 %
 
  Device Semaphore Granted            0.0           0.0           3     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index4                                                          
    site1_index4                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.8           0.1         916      34.6 %
      Non-APF                         0.8           0.1         907      34.2 %
    Writes                            0.7           0.1         828      31.2 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          2.2           0.2        2651       1.6 %
 
  Device Semaphore Granted            2.2           0.2        2651     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index5                                                          
    site1_index5                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             1.5           0.2        1840      42.4 %
      Non-APF                         0.7           0.1         813      18.7 %
    Writes                            1.4           0.2        1685      38.8 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          3.6           0.4        4338       2.6 %
 
  Device Semaphore Granted            3.6           0.4        4338     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index6                                                          
    site1_index6                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             2.2           0.3        2674      63.0 %
      Non-APF                         0.4           0.1         535      12.6 %
    Writes                            0.9           0.1        1038      24.4 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          3.5           0.4        4247       2.6 %
 
  Device Semaphore Granted            3.5           0.4        4247      99.9 %
  Device Semaphore Waited             0.0           0.0           5       0.1 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_index7                                                          
    site1_index7                  per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.2           0.0         220      39.1 %
    Writes                            0.3           0.0         342      60.9 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.5           0.1         562       0.3 %
 
  Device Semaphore Granted            0.5           0.1         562     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_log1                                                            
    site1_log1                    per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       0.0 %
 
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /dev/rsite1_log2                                                            
    site1_log2                    per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.3           0.0         403       1.2 %
      Non-APF                         0.2           0.0         290       0.9 %
    Writes                           26.3           3.0       31598      97.9 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                         26.9           3.0       32291      19.4 %
 
  Device Semaphore Granted           26.9           3.0       32278      99.9 %
  Device Semaphore Waited             0.0           0.0          26       0.1 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /sybase/sybprocs.dat                                                        
    sysprocsdev                   per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       n/a  
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.0           0.0           0       0.0 %
 
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /usr/sybtempdb/sybtempdb.dat                                                
    tempdb1                       per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0          16       0.1 %
    Writes                            9.1           1.0       10965      99.9 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          9.2           1.0       10981       6.6 %
 
  Device Semaphore Granted            9.2           1.0       10981     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /usr/sybtempdb/sybtempdb2.dat                                              
    tempdb2                       per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0           0       0.0 %
    Writes                            0.2           0.0         286     100.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.2           0.0         286       0.2 %
 
  Device Semaphore Granted            0.2           0.0         286     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /usr/sybtempdb/sybtempdb3.dat                                              
    tempdb3                       per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0           0       0.0 %
    Writes                            0.2           0.0         238     100.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.2           0.0         238       0.1 %
 
  Device Semaphore Granted            0.2           0.0         238     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    /usr/sybtempdb/sybtempdb4.dat                                              
    tempdb4                       per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0           0       0.0 %
    Writes                            0.2           0.0         234     100.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.2           0.0         234       0.1 %
 
  Device Semaphore Granted            0.2           0.0         234     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
  Device:                                                                      
    d_master                                                                    
    master                        per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Reads                                                                      
      APF                             0.0           0.0           0       0.0 %
      Non-APF                         0.0           0.0           0       0.0 %
    Writes                            0.3           0.0         418     100.0 %
  -------------------------  ------------  ------------  ----------  ----------
  Total I/Os                          0.3           0.0         418       0.3 %
 
  Device Semaphore Granted            0.3           0.0         418     100.0 %
  Device Semaphore Waited             0.0           0.0           0       0.0 %
 
  -----------------------------------------------------------------------------
 
===============================================================================
 
Network I/O Management
----------------------
 
  Total Network I/O Requests        126.6          14.3      151913       n/a  
    Network I/Os Delayed              0.0           0.0           0       0.0 %
 
 
  Total TDS Packets Received      per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Engine 0                         28.8           3.2       34545      44.8 %
    Engine 1                         35.5           4.0       42592      55.2 %
  -------------------------  ------------  ------------  ----------            
  Total TDS Packets Rec'd            64.3           7.3       77137            
 
 
  Total Bytes Received            per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Engine 0                       5305.6         598.7     6366758      38.7 %
    Engine 1                       8413.9         949.4    10096699      61.3 %
  -------------------------  ------------  ------------  ----------            
  Total Bytes Rec'd               13719.5        1548.0    16463457            
 
 
   Avg Bytes Rec'd per Packet          n/a           n/a         213       n/a  
 
  -----------------------------------------------------------------------------
 
  Total TDS Packets Sent          per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Engine 0                         35.3           4.0       42324      56.1 %
    Engine 1                         27.6           3.1       33159      43.9 %
  -------------------------  ------------  ------------  ----------            
  Total TDS Packets Sent             62.9           7.1       75483            
 
 
  Total Bytes Sent                per sec      per xact       count  % of total
  -------------------------  ------------  ------------  ----------  ----------
    Engine 0                      11578.1        1306.4    13893760      57.9 %
    Engine 1                       8424.6         950.6    10109524      42.1 %
  -------------------------  ------------  ------------  ----------            
  Total Bytes Sent                20002.7        2257.0    24003284            
 
 
  Avg Bytes Sent per Packet           n/a           n/a         317       n/a  
 
=============================== End of Report =================================

It appears to me that the 2nd engine just split everything in half as expected- but maybe you guys garner something different, or more telling from these latest stats?

...and I've said it before, but I will continue to say it.  You guys are the best, thank you for all of the help.
0
 
LVL 19

Accepted Solution

by:
grant300 earned 500 total points
ID: 17893250
Setting the recovery interval lower (shorter) will cause checkpoints to happen more frequently, however, the volume of work to be done at each checkpoint will also be smaller.  If the checkpoints are causing the slowdowns, you can shorten the amount of time the slowdown lasts this way.

You may well be reaching the limit of disk performance with direct attached disk storage.  An intelligent disk array would have a big hunk of cache and would also be performing the mirroring in hardware.  It would even split the reads up between the two mirrored copies to improve read performance.

As it is, with an average I/Os per second in excess of 40, you are almost certainly seeing peaks that push the limit of what the drives can physically do.  Depending on the drives, the peak would be between 80 and about 110 I/Os per second.  If the sysmon you posted initially did not cover a slowdown period, we would not see the queue length up high enough to worry about.

One thing you can look at to alleviate this problem is to consider striping say 3 or 4 of the mirrored device pairs.  Then place those two most active database devices on them.  This would allow for better aggregate I/O throughput without investing in new disk hardware.

Bill
0
 

Author Comment

by:derdle
ID: 17894768
Well, in polling the end users today I found that the slowdown(s) issue persists even after the changes above...most frequently told "no noticable changes".  =(   So, this certainly seems like something I would like to try, and measure the results, as I do need to keep moving forward towards alliviating this problem.  That also would fall in line to some degree to what I am seeing on the topas output whereas a few disks go through some very busy stages.  

Although, I have to say that I fear attempting what you are indicating without some serious hand holding.  I know enough to be dangerous- but I have heard so many indications of changes such as this , where as you are changing the location of a device, that result in disaster (probably because they were attempted by people such as myself... lol).  ...I'm assuming this would require a complete rebuild of the DB to accomplish this?   Unfortunately, my lack of knowledge, or lack of trust (at this point) in what I know, is forcing me to ask if precise details can be provided on how best to accomplish this- as step by step as posssible if you could?  I know (with this request) I'm boardering on being a huge pain at this point, and for that I apologize.

I will have to investigate my ability to move to an intellegent disk array as that sounds like an optimum environment.  Any additional information you may have on this subject would be appreciated... even if it might be just where to start looking based on the rest of my production environment.
0
 
LVL 19

Assisted Solution

by:grant300
grant300 earned 500 total points
ID: 17900795
If hardware is an option, you can look at the DS300 or DS400 disk arrays.  The DS300 is very cost effective (<$7,500 for a dual controller system with 4 146GB drives)  and is iSCSI attached.  You would have to put an HBA (or two) in the processor box then it is just a couple of Ethernet cables to hook up the array.  The 400 is a FiberChannel unit which is a big step up in price. however; if you are expecting substantial growth, you might be able to justify it.

You may be able to get a DS300 on trial from IBM.  Then you could move those hot spindles over and see what happens.

BTW, it doesn't matter where the devices are physically located as long as the sizes and order identical to what you have now.  Alll you have to do is backup the database, drop it, recreate the devices, recreate the database on the new devices, and restore from backup.

Regards,
Bill
0
 

Author Comment

by:derdle
ID: 17902959
Super- I've got a call into our local rep about obtaining a loaner...which is a great idea, in that I can see what gains I'll get prior to the investment.  

Are there by chance any scripts that will perform the DB drop and/or rebuild of the devices- such that it records the devices, etc. so that they get created the same size and in the correct order?
0
 
LVL 19

Expert Comment

by:grant300
ID: 17903068
Unfortuantely not.  You will have to look at the sysdevices and sysusages tables and reconstruct your world from that.  The Sybase sys admin course recommends that you keep the records of the devices sizes and the extents of each database on them so you don't get caught with backup tapes you can't restore in instances where you loose the master.

Obviously, the backup and restore are very straight forward.

When you get the loaner, be certain to get the HBAs for the machine.  You do not want to hook iSCSI up through the regular Ethernet adaptor and your standard network.  The iSCSI  HBAs have most of the protocol built onto the adaptors which offload the CPUs substantially and reduce the latencies quite a bit.  Obviously, if you go FiberChannel, you don't have any choice but get the HBAs.

BTW, see if you can get the loaner with two controllers and the large cache option.

Best of luck,
Bill
0
 

Author Comment

by:derdle
ID: 17911283
OK- I am going to wait a short amount of time to see if I get that loaner before I mark an accepted answer, since this may continue after those findings, and I don't want to mark the wrong solution above (hoping one is it), and mess someone else up- although I am sure that all of these suggestions are valid and have the potential to help this kind of problem.  Just want to make sure I mark the one that most related to fixing my particular issue.   If that starts to extend too long, I will grade sooner, with what I beleive is going to be the answer, which is the incorporation of a better I/O environment.

In the meantime...I've created some scripts today that I think will simplify the teardown/rebuild of the DB processes...although I have a few small questions- but I will post that in a seperate topic, since it is not directly related to this solution.

I'll get myself in a good comfortable position yet with this DB...  =)

Thank you...  Report on findings to this issue to come soon.
0
 
LVL 29

Expert Comment

by:leonstryker
ID: 19558937
derdle,

What is the status on this question? Can it be closed?
0

Featured Post

Find Ransomware Secrets With All-Source Analysis

Ransomware has become a major concern for organizations; its prevalence has grown due to past successes achieved by threat actors. While each ransomware variant is different, we’ve seen some common tactics and trends used among the authors of the malware.

Join & Write a Comment

What is Backup? Backup software creates one or more copies of the data on your digital devices in case your original data is lost or damaged. Different backup solutions protect different kinds of data and different combinations of devices. For e…
We have come a long way with backup and data protection — from backing up to floppies, external drives, CDs, Blu-ray, flash drives, SSD drives, and now to the cloud.
Sending a Secure fax is easy with eFax Corporate (http://www.enterprise.efax.com). First, Just open a new email message.  In the To field, type your recipient's fax number @efaxsend.com. You can even send a secure international fax — just include t…
Internet Business Fax to Email Made Easy - With eFax Corporate (http://www.enterprise.efax.com), you'll receive a dedicated online fax number, which is used the same way as a typical analog fax number. You'll receive secure faxes in your email, fr…

706 members asked questions and received personalized solutions in the past 7 days.

Join the community of 500,000 technology professionals and ask your questions.

Join & Ask a Question

Need Help in Real-Time?

Connect with top rated Experts

17 Experts available now in Live!

Get 1:1 Help Now