Kan meddela att den nya servern mår avsevärt bättre än den tidigare servern. Sedan avbrottet i torsdags har vi inte haft en enda incident med minnesläckage eller CPU-idioti. Det tyder på att den uppdaterade varianten av PHP gjorde susen.
Veckans planerade lastbalansering blev dock inte av, tack vare sjukdom. Men jag kommer att få ihop det nästa vecka istället. Som tidigare meddelat kan det innebära kortare avbrott, men i slutändan får vi en betydligt stabilare miljö.
Vi hade det längsta oplanerade avbrottet som vi någonsin har haft här ikväll. Avbrottet varade ungefär 2 timmar och 20 minuter. Nästan hela webben befann sig dock på #bloggpriset, så det märktes knappt.
Skämt åsido, orsaken till avbrottet var en korrupt systemdisk. Varför disken gick sönder vet jag inte än, men jag kommer att undersöka det närmare. Det beror förmodligen på en felaktig avstängning. Jag kommer även att vidta åtgärder, såsom speglade systemdiskar (med EBS-boot), för att undvika liknande händelser här framöver.
Ingen användardata gick förlorad under avbrottet, eftersom vi sparar systemdata och användardata på olika volymer. Användardatan har vi alltid haft backup på. För systemvolymerna gällde inte detsamma. Det är dock åtgärdat nu (nu har vi backup på allt vi bara kan ta backup på).
Systemet återställdes därför genom en nyinstallation. Av den totala nedtiden gick 30-40 minuter åt till att försöka återställa det ursprungliga systemet, 45-50 minuter åt nyinstallationen och resterade tid åt att återskapa användare och få igång PHP.
En positiv effekt av detta avbrott är nämligen att vi nu kör en uppdaterad variant av PHP. Det är samma version (och inställningar) som tidigare, men den hanteras genom SVN mot php.net.
Den tidigare varianten av PHP var en extern patch, som har visat tecken på både minnesläckage och CPU-idioti. Min förhoppning är att vi nu, med den nya varianten av PHP, kan slippa dessa problem.
Nyinstallationen passar även som handen i handsken för lastbalanseringen. Den hade utförts oavsett vad denna vecka, om än utan något avbrott.
Jag kommer att gå igenom den nya servern ordentligt här ikväll och fixa mindre saker (såsom FTP). Hör gärna av er om ni märker att något inte fungerar som det brukar.