Як аварійний вимикач залишив всю країну без «Дії»: перший даунтайм дата-центру De Novo за 15 років
Чому в суботу, 26 квітня, десятки тисяч українців не змогли розрахуватись картками чи гаджетами у магазинах, зайти у «Дію» й отримати посилки за застосунком «Нової пошти», а у київському метро зібрались черги? Це була не хакерська атака на державні і фінансові сервіси, запевняє компанія De Novo.
Національний провайдер хмарних сервісів, у київському дата-центрі якого хостяться великі компанії і організації, пояснив причини суботнього інциденту. Не аварією чи атакою De Novo називає ті 14 хвилин.
Максим Агеєв, CEO De Novo, наголосив, що київський дата-центр De Novo відновив енергопостачання через 14 хвилин після повного знеструмлення, а його хмара піднялась через 102 хвилини.
Про це йдеться у звіті про інцидент 26 квітня. Дані клієнтів не постраждали, хакери не проникли всередину ані віртуально, ані фізично, попри версії про кібератаку, які миттю розлетілися мережею.
Дата-центр: що це таке i чому це складно
Агєєв показав журналістам сам дата-центр і розпочав iз короткого лікнепу про архітектуру дата-центрiв. Вiн зазначив, що сучасний дата-центр — це не лише сервери, а й складні системи живлення, охолодження, фізичного та цифрового захисту. De Novo працює за стандартом Tier III, що передбачає 99,98% надійності, до 96 хвилин даунтайму на рік i безперервні роботи з обслуговування без зупинки сервісів.
Чому дата-центр De Novo припинив роботу зранку 26 квітня
- Вранці суботи, о 8:03, під час другого етапу модернізації ДБЖ (джерел безперебійного живлення) і заміни старих свинцево-кислотних батарей на сучасні літієві вийшов з ладу один із магістральних автоматичних вимикачів введення резерву (АВР).
- Підвела механіка: тумблер перемикача не перейшов у положення «відключено», хоча показав, що все зроблено.
- Водночас увімкнули тумблер на сусідньому перемикачі. Система отримала навантаження на єдину робочу гілку з двох джерел у протифазі. Автоматика сприйняла це як коротке замикання i миттєво відключила живлення всього дата-центру.
- Інженери De Novo у повній темряві, підсвічуючи собі ліхтариками мобільних, за 14 хвилин все відновили.
Підписуйтеся на наші соцмережі
CEO De Novo підкреслив, що, навіть попри знеструмлення всього дата-центру, фізично зали з обладнанням залишилися фортецею: системи безпеки, доступу, відеоспостереження продовжували працювати безперебійно завдяки автономним акумуляторам.
Як відновлювали роботу сервісів De Novo 26 квітня 2025 року
- Електроживлення всього дата-центру повернули вже о 8:17. ЦОД перейшов до штатного режиму роботи з повним резервуванням інженерних систем.
- Хмара De Novo відновила роботу о 9:45 — стільки пішло на запуск обладнання.
- Протягом години після інциденту приїхали технічні команди всіх ключових клієнтів для перезапуску свого обладнання і сервісів.
- «Найповільніший» з них піднявся до 13:00, додав Максим Агеєв.
Агеєв декілька разів зауважив, що «вражений якістю роботи не лише інженерної команди De Novo, а й команд експлуатації клієнтів».
- Голова компанії вийшов з офіційним поясненням приблизно об 11:00, наголосивши, що компанія не бачить «ознак хакерського вторгнення з боку росії чи когось іще».
- Жодне вiдхилення від роботи не вийшло за межi контрактних зобов'язань: нагадаємо, дата-центр рівня Tier III може мати даунтайм до 96 хвилин на рік.
За його словами, інженери компанії Schneider Electric — саме її промислове енергообладнання стоїть на дата-центрі — також майже одразу прибули у De Novo, після аналізу ситуації у виробника не виникло жодної претензії до дій команди. Як пояснив головний інженер дата-центру De Novo Олександр Юрченко, той самий перемикач працював з 2018 року.
Максим Агеєв підкреслює, що команда спрацювала вiдкрито, без затримок у комунiкацiї. Допомогу запропонували всі держоргани, зокрема Держспецзв’язку, кiберполiцiя і деякі депутати.
Що De Novo робитиме далі
Чотири дні команда дата-центру разом із представниками постачальника обладнання, великих клієнтів і держорганів проводила аналіз ситуації. У звіті De Novo підкреслює: інцидент не був спричинений людським чинником або кібератакою, а виник унаслідок нестандартної реакції обладнання під час перемикання.
- Несправний перемикач замінять на більш сучасну модель з візуальним контролем роботи.
- Компанія розробляє три альтернативні сценарії подiбних перемикань на майбутнє.
- Внесли зміни до регламентiв «нульового вiкна обслуговування».
Що відомо про De Novo
Компанія має дата-центр у Києві (працює з 2010 року) і три майданчики для хмарних сервісів у Києві, Львові та Франкфурті. Після повномасштабного вторгнення постійно оновлює запас резервного дизельного палива для власних промислових генераторів, якого має вистачити на понад три доби роботи. Під час блекаутів центр працював безперервно.
Фізична конструкція дата-центру має достатній рівень динамічного захисту. У перекладі на людську мову це означає, що коли у січні 2024 року російські «Іскандери» влучили дуже близько, то в офісі повилітало скло, але зали з обладнанням залишились неушкодженими. «Наша платформа погасила вібрацію», — спокійно каже Агеєв.
Серед майже 150 клієнтів De Novo — Ощадбанк, «Дія», «Нова пошта», «Київ Цифровий», Kernel та інші великі компанії, фінансові і цифрові сервіси, державні структури. Приблизно 70% з них користуються хмарним сервісом, зокрема закритою приватною хмарою. Решта 30% фізично має власне обладнання у дата-центрі.
Чому фінансові й державні сервіси не піднялись одразу і були офлайн
Після інциденту багато хто з експертів поставив питання: невже великі компанії і сервіси не мають резервних варіантів, щоб забезпечити безперервну роботу? «Чому ви не перемкнулись на резервні майданчики (клауди)? Чи ISO 27001 (міжнародний стандарт безпеки IT. — Speka) у вас на папері?» — вибухнув Олександр Федієнко, голова парламентського підкомітету з кібербезпеки.
Максим Агеєв не відповів прямо на запитання Speka, чи є серед клієнтів De Novo ті, хто використовує синхронне резервування даних на інших майданчиках (тоді оброблення даних паралельне і одночасне). А також чи виникли у таких клієнтів проблеми у суботу і як швидко вони піднялись, якщо падали.
Деякі клієнти дійсно користуються резервними майданчиками у Львові і Франкфурті. Після інциденту частина клієнтів таке резервування замовила.
Держсервіси і структури по таку послугу не зверталися.