Разработчики Solana раскрыли причины семичасового сбоя сети 30 апреля

Огромное число входящих транзакций и интенсивный трафик привели к приостановке работы сети Solana в ночь с 30 апреля на 1 мая. Об этом сообщили разработчики по итогам расследования.

On April 30th, Solana’s Mainnet Beta cluster suffered a 7 hour outage caused by stalled consensus. Below is an investigation into the cause of the outage, and the steps core developers are taking to increase network resiliency and stability. https://t.co/pfkMTEwPda

— Solana Status (@SolanaStatus) May 3, 2022

Простой сети был связан с активностью ботов, которые соревновались за минтинг NFT, выпущенных с использованием инструмента Candy Machine. 

Спам-транзакции возникли в результате отказа от голландского аукциона в пользу продажи токенов по фиксированной цене. Это создало стимул для отправки пользователями и ботами огромного числа транзакций в надежде опередить конкурентов.

Today #Solana mainnet-beta went down partially due to botting on the Metaplex Candy Machine program. To combat this, we have merged and will soon deploy a botting penalty to the program as part of a broader effort to stabilize the network. https://t.co/QaAZT3VxXz

— Metaplex (@metaplex) May 1, 2022

В итоге у валидаторов закончилась память и произошел сбой. Общее количество форков, которое должны были оценить валидаторы, превысило их возможности сделать это автоматически. Это привело к необходимости ручного вмешательства для устранения проблемы.

«TPS достигло 6 млн, превысив 100 Гбит/с трафика у отдельных нод. Признаки DoS-атак не выявлены», — говорится в отчете. 

В среднем сеть Solana обрабатывает порядка 2700 TPS, верхний порог составляет более 710 000 TPS.

Происшествие в ночь на 1 мая имело ту же природу, что и сбой 14 сентября 2021 года.

Чтобы не допустить повторения подобных ситуаций в будущем, разработчики готовят обновление v1.10. Оно включает в том числе улучшения алгоритма использования памяти, что продлит время, в течение которого ноды могут выдерживать медленный или застопорившийся консенсус.

В последующей версии v 1.11 предполагается внедрения механизма приоритезации комиссий.

Напомним, в начале года сеть Solana оказалась недоступной в течение 48 часов. На тот момент разработчики не исключили, что проблема может повториться в будущем. Инцидент на тот момент стал шестым за предыдущие три месяца.