NTP server periodically desyncs

Some time ago our NTP server (on Win SBS 2011 Std) started to desync occasionally. It can get 8 minutes slow overnight. Then after running w32tm /resync /rediscover it works fine for some time.
Configuration and status output (sorry that some of it is messed up. SBS doesn't allow changing the output language once it's been set up):

PS C:\Windows\system32> w32tm /query /configuration /verbose
[¿¿¿¿¿¿¿¿¿]

EventLogFlags: 2 (¿¿¿¿¿¿¿¿)
AnnounceFlags: 5 (¿¿¿¿¿¿¿¿)
TimeJumpAuditOffset: 28800 (¿¿¿¿¿¿¿¿)
MinPollInterval: 6 (¿¿¿¿¿¿¿¿)
MaxPollInterval: 10 (¿¿¿¿¿¿¿¿)
MaxNegPhaseCorrection: 3600 (¿¿¿¿¿¿¿¿)
MaxPosPhaseCorrection: 3600 (¿¿¿¿¿¿¿¿)
MaxAllowedPhaseOffset: 300 (¿¿¿¿¿¿¿¿)

FrequencyCorrectRate: 4 (¿¿¿¿¿¿¿¿)
PollAdjustFactor: 5 (¿¿¿¿¿¿¿¿)
LargePhaseOffset: 50000000 (¿¿¿¿¿¿¿¿)
SpikeWatchPeriod: 900 (¿¿¿¿¿¿¿¿)
LocalClockDispersion: 10 (¿¿¿¿¿¿¿¿)
HoldPeriod: 5 (¿¿¿¿¿¿¿¿)
PhaseCorrectRate: 7 (¿¿¿¿¿¿¿¿)
UpdateInterval: 100 (¿¿¿¿¿¿¿¿)

FileLogName:  (¿¿ ¿¿¿¿¿¿¿¿¿ ¿¿¿ ¿¿ ¿¿¿¿¿¿¿¿¿¿¿¿)
FileLogEntries:  (¿¿ ¿¿¿¿¿¿¿¿¿ ¿¿¿ ¿¿ ¿¿¿¿¿¿¿¿¿¿¿¿)
FileLogSize: 0 (¿¿ ¿¿¿¿¿¿¿¿¿ ¿¿¿ ¿¿ ¿¿¿¿¿¿¿¿¿¿¿¿)
FileLogFlags: 0 (¿¿ ¿¿¿¿¿¿¿¿¿ ¿¿¿ ¿¿ ¿¿¿¿¿¿¿¿¿¿¿¿)

[TimeProviders]

NtpClient (¿¿¿¿¿¿¿¿)
DllName: C:\Windows\system32\w32time.dll (¿¿¿¿¿¿¿¿)
Enabled: 1 (¿¿¿¿¿¿¿¿)
InputProvider: 1 (¿¿¿¿¿¿¿¿)
CrossSiteSyncFlags: 0 (¿¿ ¿¿¿¿¿¿¿¿¿ ¿¿¿ ¿¿ ¿¿¿¿¿¿¿¿¿¿¿¿)
AllowNonstandardModeCombinations: 1 (¿¿¿¿¿¿¿¿)
ResolvePeerBackoffMinutes: 15 (¿¿¿¿¿¿¿¿)
ResolvePeerBackoffMaxTimes: 7 (¿¿¿¿¿¿¿¿)
CompatibilityFlags: 2147483648 (¿¿¿¿¿¿¿¿)
EventLogFlags: 1 (¿¿¿¿¿¿¿¿)
LargeSampleSkew: 3 (¿¿¿¿¿¿¿¿)
SpecialPollInterval: 900 (¿¿¿¿¿¿¿¿)
Type: NTP (¿¿¿¿¿¿¿¿)
NtpServer: time.windows.com,0x1 (¿¿¿¿¿¿¿¿)

NtpServer (¿¿¿¿¿¿¿¿)
DllName: C:\Windows\system32\w32time.dll (¿¿¿¿¿¿¿¿)
Enabled: 1 (¿¿¿¿¿¿¿¿)
InputProvider: 0 (¿¿¿¿¿¿¿¿)
AllowNonstandardModeCombinations: 1 (¿¿¿¿¿¿¿¿)
EventLogFlags: 0 (¿¿ ¿¿¿¿¿¿¿¿¿ ¿¿¿ ¿¿ ¿¿¿¿¿¿¿¿¿¿¿¿)

VMICTimeProvider (¿¿¿¿¿¿¿¿)
DllName: C:\Windows\System32\vmictimeprovider.dll (¿¿¿¿¿¿¿¿)
Enabled: 1 (¿¿¿¿¿¿¿¿)
InputProvider: 1 (¿¿¿¿¿¿¿¿)

Select allOpen in new window

PS C:\Windows\system32> w32tm /query /status /verbose
¿¿¿¿¿¿¿¿¿ ¿¿¿¿¿: 0(¿¿¿¿¿¿¿¿¿¿¿¿¿¿ ¿¿¿)
¿¿¿¿¿¿: 3 (¿¿¿¿¿¿¿¿¿ ¿¿¿¿¿¿ - ¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿¿ ¿ ¿¿¿¿¿¿¿ (S)NTP)
¿¿¿¿¿¿¿¿: -6 (15.625ms ¿¿ ¿¿¿¿ ¿¿¿¿¿¿¿)
¿¿¿¿¿¿¿¿ ¿¿¿¿¿: 0.2534276s
¿¿¿¿¿¿¿¿¿ ¿¿¿¿¿: 6.2850124s
ReferenceId: 0x40040A21 (IP-¿¿¿¿¿ ¿¿¿¿¿¿¿¿¿:  64.4.10.33)
Last Successful Sync Time: 05.06.2013 9:19:51
Source: time.windows.com,0x1
¿¿¿¿¿¿¿¿ ¿¿¿¿¿¿: 6 (64s)

¿¿¿¿¿¿¿¿ ¿¿¿¿: 0.0000678s
¿¿¿¿¿¿¿¿ ¿¿¿¿¿¿¿: 0.0156121s
¿¿¿¿¿¿¿¿ ¿¿¿¿¿¿¿: 3 (¿¿¿¿¿)
¿¿¿¿¿ ¿¿¿¿¿¿¿¿¿ ¿¿¿¿¿¿¿: 0 (¿¿¿)
Server Role: 576 (¿¿¿¿¿¿¿¿ ¿¿¿¿¿¿ ¿¿¿¿¿¿¿)
Last Sync Error: 2 (The computer did not resync because only stale time data was available.)
Time since Last Good Sync Time: 162.4468032s

Select allOpen in new window

It says Last Successful Sync Time: 05.06.2013 9:19:51 but I checked shortly after this time and it was 8 minutes slow. Yesterday everything was okay. The server is the only time server and DC in our domain.
Why does this happen?
Thank you.