Stellungnahme Ausfall 20.07.2023
Liebe onOffice Anwender,
bevor wir die genauen Details zu dem Teilausfall von onOffice enterprise erläutern, möchten wir uns vorab für die entstandenen Unannehmlichkeiten entschuldigen.
Für unser Storage System stand seit längerer Zeit ein wichtiges Update an. Das Update des Systems ist für viele weitere Server- und Softwareprojekte wichtig, da erst mit dieser neuen Version auch in anderen Bereichen unserer Serverlandschaft auf neue Betriebssysteme und neue Versionen der von uns eingesetzten Programmiersprache gewechselt werden kann.
Die Arbeiten wurden nach Rücksprache mit unserem Dienstleister für die Nacht vom 19.07.2023 auf den 20.07.2023 eingeplant. Wir haben bewusst sehr lange mit dem Update gewartet, um Feedback von anderen Unternehmen, die das gleiche System einsetzen, zu erhalten.
Nach der eigentlichen Zeitplanung hätte das Update etwa um 03:00 Uhr am Morgen des 20.07. fertiggestellt werden sollen. Ein Schritt des Updates war eine durchzuführende Migration, welche deutlich länger lief als angegeben war und blockierte den Zugriff auf den Storage bis in den Nachmittag des 20.07. Dadurch konnte nicht auf Bilder und Dateien bei Immobilien zugegriffen werden.
Durch die Größe unserer Systeme und die Vielzahl der Wartungs- und Erweiterungsarbeiten finden jede Woche in den Abend/Nachtstunden und auch sehr häufig an den Wochenenden Arbeiten durch unsere Systemadministratoren statt. Rückblickend ist die Entscheidung, gerade diese Arbeiten in der Woche durchzuführen, nicht richtig, bzw. unsere Risikoabschätzung war falsch. In Zukunft werden Arbeiten mit einer Zeitplanung in der Größenordnung und dieser Komplexität nur noch am Wochenende durchgeführt.
Der kurze Ausfall am Montagmorgen war ebenfalls eine Folge des durchgeführten Updates. Nach dem Schritt auf die neue Storage-Version arbeiten wir zusammen mit dem Anbieter an einer Optimierung der Konfiguration, um auch solche kurzen Ausfälle in Zukunft zu vermeiden.
Wir haben uns in den letzten Jahren in vielen Bereichen organisatorisch und in den eingesetzten Technologien stetig hinterfragt und leiten auch aus diesem Ausfall gezielte Maßnahmen ab.
Diese Ausfälle sind natürlich nicht unser Anspruch an uns selbst. Wir möchten weiterhin eine der besten und somit auch performantesten Lösungen der Immobilienwirtschaft präsentieren. An diesem Ziel werden wir weiterhin mit Hochdruck arbeiten.
_______________________________________________
Dear onOffice users,
before we explain the exact details of the partial outage of onOffice enterprise, we would like to apologize for the inconvenience caused.
Our storage system had been due for an important update for quite some time. The update of the system is important for many other server and software projects, as only with this new version can we switch to new operating systems and new versions of the programming language we use in other areas of our server landscape.
The work has been scheduled for the night of 07/19/2023 after consultation with our service provider. We deliberately waited a very long time with the update in order to receive feedback from other companies using the same system.
According to the actual schedule, the update should have been completed around 03:00 on the morning of 07/20. One step of the update was a migration to be performed, which ran much longer than was specified and blocked access to the storage until the afternoon of 07/20. As a result, images and files at properties could not be accessed.
Due to the size of our systems and the large amount of maintenance and expansion work, work by our system administrators takes place every week in the evening/night hours and also very frequently on weekends. In retrospect, the decision to perform this particular work during the week was not correct, or our risk assessment was incorrect. In the future, work with a schedule of this magnitude and complexity will only be performed on weekends.
The short outage on Monday morning was also a consequence of the update that was carried out. After the move to the new storage version, we are working together with the provider to optimize the configuration to also avoid such short outages in the future.
Over the last few years, we have constantly scrutinized ourselves in many areas, both organizationally and in terms of the technologies we use, and we are also deriving targeted measures from this outage.
Of course, these failures are not our claim to ourselves. We would like to continue to offer one of the best and thus also most performant solutions in the real estate industry. We will continue to work at full speed towards this goal.
