Workdays nedbrud startede med en test af backup, og ansatte kunne ikke stemple ind

Workday, den software mange store arbejdsgivere bruger til lønudbetaling, tidsregistrering og ferie, gik ned for kunderne, efter at en test af virksomhedens eget nødberedskab gik galt. Under en gennemgang af sine systemer til genetablering efter nedbrud opdagede virksomheden, at backup-tjenester uventet havde oprettet forbindelse til de aktive databaser, som kunderne arbejder i, og efterladt registreringer i en inkonsistent tilstand. Workday tog de berørte systemer offline for at reparere dem.

For medarbejderne betød nedbruddet, at login-siden viste beskeden »Workday er i øjeblikket utilgængelig«. Ansatte i de berørte virksomheder kunne hverken stemple ind eller ud, tjekke lønoplysninger, anmode om fri eller færdiggøre tilmeldingen til personalegoder, og planlagte job, der sender data videre til andre virksomhedssystemer, kunne fejle. Det sikkerhedsnet, der skulle holde tjenesten kørende under en katastrofe, var det, der væltede den.

Omfanget er grunden til, at sagen rækker ud over HR-afdelingerne. Workday oplyser, at mere end 11.500 organisationer bruger softwaren, og virksomhedens offentlige kundeliste omfatter Walmart, Target, Netflix, Chipotle, Southwest Airlines, det amerikanske energiministerium og NASA’s Jet Propulsion Laboratory. Virksomheden har ikke oplyst, hvor mange af dem der blev ramt, men beskriver kun konsekvenserne som noget, der gjaldt »nogle af vores kunder«. Virale opslag, der fremstiller det, som om alle disse arbejdsgivere var ramt, går derfor længere end de tilgængelige oplysninger. Ifølge UC Today registrerede tjenester, der overvåger nedbrud, meldinger fra USA og Indien.

Workdays egen forklaring, som blev lagt ud på virksomhedens statusside for kunder og citeret af IT-teamet på Washington University, er usædvanligt direkte. »Under valideringen af det ugentlige vedligeholdelsesvindue for Disaster Recovery-lejere har vi konstateret, at lejertjenester på DR-sitet uventet oprettede forbindelse til produktionsdatabaser,« lød beskeden. Den tilføjede, at dataene var efterladt »i en inkonsistent tilstand«, hvilket kunne medføre fejl, når folk åbnede deres konti, eller få opgaver til at mislykkes. Derefter satte virksomheden alle produktionsmiljøer i den kundegruppe, den kalder WD1, i vedligeholdelsestilstand og lovede at komme med opdateringer hvert 30. minut.

Forklaringen efterlader det største spørgsmål ubesvaret. En kopi til katastrofegendannelse findes for at sikre, at problemer ét sted ikke kan sprede sig til det andet, men her nåede testen frem til selve produktionsmiljøet. Workday har ikke sagt, hvordan den forbindelse kunne opstå, eller om nogle registreringer gik tabt frem for blot at blive bragt ud af trit. Også virksomhedens kommunikation blev mødt med kritik. Administratorer på Reddits fora sysadmin og Workday skrev, at problemet begyndte flere timer før den første kundemeddelelse, en tidslinje Workday ikke har bekræftet. En kundemail, der blev delt dér, erkendte, at der ikke var noget bud på, hvornår tjenesten ville være genetableret, og opfordrede virksomheder med kritiske frister til at skifte til deres beredskabsplaner for driftskontinuitet.

For medarbejderne afhænger de praktiske konsekvenser af tidspunktet. Timelønnede, der ikke kunne registrere deres arbejdstid, skal have timerne rettet manuelt, og for alle, der var ved at nå en frist for tilmelding til personalegoder, var døren lukket. Nogle arbejdsgivere rykkede fristerne: Emerson College oplyste, at skolen forlængede sin tilmeldingsperiode på grund af nedbruddet. Hændelsen kom desuden efter en dårlig uge for arbejdspladssoftware, hvor et nedbrud i Microsoft 365 havde gjort Outlook- og Exchange-mail ustabil i endnu en dag.

Forløbet indtil videre: Emerson College oplyste, at Workday tog systemet offline omkring kl. 17.15 østamerikansk tid fredag den 13. november, og LiveNOW from FOX rapporterede, at Downdetector kort efter kl. 17 havde registreret næsten 3.000 meldinger om problemer. En talsperson for Workday sagde, at virksomheden »arbejdede hurtigt på at undersøge og løse problemet«, og undskyldte over for de berørte kunder. Lørdag morgen meddelte Workday kunderne, at genindekseringen og genåbningen af deres miljøer forventedes afsluttet for størstedelen senest kl. 11 østamerikansk tid lørdag den 14. november, mens det ville tage længere tid for nogle; disse kunder ville blive kontaktet via en supportsag. Emersons forlængede tilmeldingsperiode løber nu frem til kl. 12 østamerikansk tid mandag den 16. november.

At tjenesten kommer op igen, besvarer ikke det vanskeligere spørgsmål, som arbejdsgiverne nu stiller deres leverandør. De vil vide, hvorfor en test, der skulle bevise, at Workday kan klare en katastrofe, havde en forbindelse til de data, den skulle beskytte.

Tags: cloudtjenester, HR-software, it-nedbrud, katastrofegendannelse, løn, Workday