Workday-Ausfall begann mit eigenem Backup-Test, Beschäftigte konnten nicht stempeln

Workday, die Software, die viele große Arbeitgeber für Gehaltsabrechnungen, Arbeitszeiterfassung und Urlaubsanträge nutzen, fiel für Kunden aus, nachdem ein Test der eigenen Notfallabsicherung schiefgegangen war. Bei der Überprüfung seiner Systeme zur Notfallwiederherstellung stellte das Unternehmen fest, dass Backup-Dienste unerwartet eine Verbindung zu den Live-Datenbanken aufgebaut hatten, mit denen seine Kunden arbeiten. Dadurch befanden sich Datensätze in einem inkonsistenten Zustand. Workday nahm die betroffenen Systeme vom Netz, um sie zu reparieren.

Für Beschäftigte bedeutete der Ausfall, dass auf der Anmeldeseite die Meldung „Workday is currently unavailable“ erschien. Mitarbeiter betroffener Unternehmen konnten sich weder ein- noch ausstempeln, Gehaltsinformationen abrufen, Urlaub beantragen oder ihre Anmeldung zu betrieblichen Zusatzleistungen abschließen. Auch geplante Abläufe, über die Daten in andere Unternehmenssysteme eingespeist werden, konnten scheitern. Ausgerechnet das Sicherheitsnetz, das den Dienst im Katastrophenfall am Laufen halten sollte, brachte ihn zum Erliegen.

Das Ausmaß erklärt, warum der Vorfall weit über Personalabteilungen hinausreicht. Workday zufolge nutzen mehr als 11.500 Organisationen die Software. Zu den öffentlich genannten Kunden zählen Walmart, Target, Netflix, Chipotle, Southwest Airlines, das US-Energieministerium und das Jet Propulsion Laboratory der NASA. Das Unternehmen hat nicht mitgeteilt, wie viele davon betroffen waren, sondern spricht lediglich von „einigen unserer Kunden“. Beiträge, die sich viral verbreiten und behaupten, all diese Arbeitgeber seien ausgefallen, gehen daher über die bekannten Fakten hinaus. Laut UC Today registrierten Störungsplattformen Meldungen aus den USA und Indien.

Workdays eigene Erklärung, veröffentlicht auf der Statusseite für Kunden und zitiert vom IT-Team der Washington University, ist ungewöhnlich direkt. „Bei der Überprüfung des wöchentlichen Maintenance Window für Disaster-Recovery-Mandanten haben wir festgestellt, dass mandantenfähige Dienste am DR-Standort unerwartet eine Verbindung zu Produktionsdatenbanken hergestellt haben“, hieß es in der Mitteilung. Die Daten seien dadurch in einem „inkonsistenten Zustand“ zurückgeblieben, was beim Öffnen von Konten zu Fehlern führen oder dazu führen könne, dass Aufgaben scheiterten. Anschließend versetzte das Unternehmen sämtliche Produktionsumgebungen der Kundengruppe, die es als WD1 bezeichnet, in den Wartungsmodus und kündigte an, alle 30 Minuten über den Stand zu informieren.

Die Erklärung lässt die wichtigste Frage offen. Eine Notfallkopie soll dafür sorgen, dass sich ein Problem an einem Standort nicht auf den anderen ausbreiten kann – hier jedoch reichte der Test bis ins Live-System. Workday hat nicht erklärt, wie diese Verbindung zustande kommen konnte oder ob Datensätze verloren gingen und nicht bloß voneinander abwichen. Auch die Kommunikation stieß auf Kritik. Administratoren in den Reddit-Foren sysadmin und Workday berichteten, das Problem habe Stunden vor der ersten Kundenbenachrichtigung begonnen – einen Zeitablauf, den Workday nicht bestätigt hat. In einer dort geteilten E-Mail an Kunden räumte das Unternehmen ein, den Zeitpunkt der Wiederherstellung nicht abschätzen zu können, und riet Unternehmen mit kritischen Fristen, auf ihre Geschäftskontinuitätspläne zurückzugreifen.

Welche konkreten Folgen der Ausfall für Beschäftigte hat, hängt vom Zeitpunkt ab. Stundenkräfte, die sich nicht einstempeln konnten, müssen ihre Arbeitszeiten nachträglich von Hand korrigieren lassen. Wer kurz vor einer Frist noch seine Anmeldung zu Zusatzleistungen erledigen wollte, stand vor verschlossener Tür. Einige Arbeitgeber verschoben deshalb die Fristen: Das Emerson College erklärte, es habe wegen des Ausfalls den Zeitraum für die offene Anmeldung verlängert. Der Vorfall fiel zudem ans Ende einer schlechten Woche für Arbeitsplatzsoftware: Zuvor hatte eine Störung bei Microsoft 365 Outlook und Exchange-E-Mails bis in den zweiten Tag hinein unzuverlässig gemacht.

Der bisherige Ablauf: Das Emerson College erklärte, Workday habe das System am Freitag, dem 13. November, gegen 17.15 Uhr US-Ostküstenzeit vom Netz genommen. LiveNOW from FOX berichtete, Downdetector habe kurz nach 17 Uhr nahezu 3.000 Störungsmeldungen registriert. Ein Sprecher von Workday sagte, das Unternehmen arbeite „mit höchster Dringlichkeit daran, das Problem zu untersuchen und zu beheben“, und entschuldigte sich bei den betroffenen Kunden. Am Samstagmorgen teilte Workday den Kunden mit, dass die Neuindizierung und Freigabe ihrer Umgebungen voraussichtlich bei der Mehrheit bis Samstag, den 14. November, um 11 Uhr US-Ostküstenzeit abgeschlossen sein werde; bei einigen werde es länger dauern. Diese Kunden würden über einen Supportfall kontaktiert. Die verlängerte Anmeldefrist des Emerson College läuft nun bis Montag, den 16. November, um 12 Uhr US-Ostküstenzeit.

Wenn der Dienst wieder läuft, ist damit die schwierigere Frage, die Arbeitgeber ihrem Anbieter nun stellen, noch nicht beantwortet. Sie wollen wissen, warum ein Test, der belegen sollte, dass Workday eine Katastrophe überstehen kann, überhaupt einen Weg zu den Daten fand, die er schützen sollte.

Schlagwörter: Cloud-Dienste, Gehaltsabrechnung, HR-Software, IT-Ausfälle, Notfallwiederherstellung, Workday