Команде пришлось отложить празднование и заняться расследованием инцидента. Вчера, 25 декабря, в 7:36 UTC команда zkSync в социальной сети X сообщила о «фиксировании различных проблем» в сети. Разработчики заявили, что «активно работают» над проблемой.
On December 25 at 05:50 UTC, zkSync Era encountered an issue triggered by one of the network’s automated safety procedures.
— zkSync Developers (@zkSyncDevs) December 25, 2023
The issue is completely resolved, but we want to share details with the community about what happened, and what teams did to address it.
TL;DR
There… pic.twitter.com/hO9TKlfBMQ
Оказалось, что из-за ошибки в программном коде одного из серверов был запущен «один из автоматических протоколов безопасности сети». При этом сам сбой случился в 5:50 утра по UTC. Работа решения была восстановлена к 11:00 утра. Разработчики подчеркнули, что никакие пользовательские средства не были под угрозой.
«Сама проблема была не слишком значительной ― относительно простая ошибка, связанная с обновлением состояний. Они вычисляются как часть протокола, однако оператору необходимо отправлять их на первый уровень сети. Сам оператор также вычисляет данные состояния и в способе этих вычислений на стороне оператора была небольшая ошибка. Поэтому состояния, вычисляемые протоколом и оператором, не совпадали, поэтому сеть перешла в максимально защищенный режим», ― рассказали разработчики.
После обнаружения и исправления ошибки разработчики zkSync распространили обновление ПО на все узлы сети, чтобы ошибка не повторилась. Они принесли извинения за неработоспособность решения и пообещали проработать более быстрый процесс реагирования в праздники.
В марте этого года масштабный сбой произошел в другом решении второго уровня ― Avalanche.