CZ: Relatório sobre o incidente de performance

A semana passada foi difícil. Foi uma boa semana para as empresas e exchanges de cripto, já que o preço do Bitcoin subiu, assim como os volumes negociados. Mas para vários usuários e nossos engenheiros foi uma semana difícil. Tivemos vários problemas de desempenho que impactaram negativamente a acessibilidade da nossa plataforma. Como sempre, consideramos importante manter a transparência em tempos difíceis e divulgaremos abertamente alguns dos problemas que enfrentamos.

A diferença desta vez em que o BTC bateu US$ 10.000 com relação às anteriores é que existem hoje muito mais usuários. Embora este seja um sinal sólido de forte recuperação para o mercado de cripto ele também carrega uma carga significativa em nossos sistemas.

Nos últimos dias, tivemos dois problemas principais:

1. Erro intermitente na interface do usuário de "Muitas solicitações", "Erro interno 5xx" e erros de tempo limite da API. Isso ocorreu porque nosso serviço de camada intermediária foi sobrecarregado muito rapidamente. Cada usuário afetado provavelmente fez repetidas tentativas, aumentando ainda mais a carga no sistema. O problema foi resolvido no curto prazo aumentando os níveis de recursos. No entanto, existem limitações para essa abordagem também. Devido à natureza complexa deste módulo, ele não é dimensionado automaticamente. Uma nova instância leva minutos para sincronizar o instantâneo inicial para poder lidar com o tráfego normal. Outros trabalhos já estavam em andamento para solucionar esse problema, mas não terminaram antes que o tráfego maciço nos atingisse apenas alguns dias atrás. Isso mudou de prioridade e será totalmente implantado nos próximos dias. Também há otimizações no lado do cliente para melhorar o tratamento de erros e não aumentar ainda mais a carga no sistema.

2. Atrasos na atualização dos dados de mercado / pedido / saldo. Também tivemos vários problemas com nossos intermediários de mensagens. Um dos subcomponentes dos intermediários de mensagens que normalmente extrai mais de 2,5 GB de dados por segundo diminuiu repentinamente a taxa de transferência em 100x, fazendo o backup das mensagens, resultando no livro de pedidos e em atrasos na atualização do saldo do usuário. Em outra instância, um cluster kafka travou com sucessivas falhas de vários nós com tráfego de pico. Reiniciar resolveu o problema e os sintomas imediatos. Melhorias a médio prazo estão em andamento para dividi-las ainda mais em tópicos separados para serem tratados por vários clusters kafka. Estima-se que isso aumente a capacidade de movimentação de carga desse componente em cerca de 10 vezes, e será lançado também esta semana. Soluções de longo prazo também estão em andamento para aumentar ainda mais a capacidade.

Olhando para o cenário mais amplo, lançamos muitos recursos durante o mercado de baixa, enquanto os testamos estressantemente como loucos em nossos ambientes de teste, nem sempre eles refletem os ambientes ao vivo, onde temos dezenas de milhões de usuários em todo o mundo. Houve áreas com “aumento de desempenho”, como adicionar um pouco mais de uso / estresse a um intermediário de mensagens existente aqui e ali, pensando que ainda temos um espaço de desempenho de 10 a 100x, enquanto na realidade, podemos reduzir para 3-5x . E o mercado aumenta em grandes picos, não 3-5x, mas facilmente 10x + em termos de cargas do sistema.

Em uma nota positiva, todos esses problemas podemos resolver. Nossa arquitetura é sólida e temos uma das melhores e mais capazes equipes desse setor. Resolveremos esses problemas rapidamente, em curto, médio e longo prazo. Não poderei garantir uma navegação tranquila a partir daqui, mas estamos comprometidos com problemas futuros e estamos confiantes de que os resolveremos rapidamente.

Em nossa breve história, a Binance encontrou muitos desafios, e nós resolvemos todos eles. A Binance não se tornou líder do setor fazendo o mais fácil, nos orgulhamo de resolver os desafios difíceis e de proteger nossos usuários enquanto fazemos isso.

Se você sentir que foi injustamente afetado pelos problemas que ocorreram recentemente no Binance.com, envie um ticket de suporte aqui com o máximo de detalhes possível, e a equipe analisará o mais rápido possível.

Sempre acreditamos que a transparência é a base do mundo habilitado para blockchain. Não temos medo de desafios e dificuldades; mais importante, temos a coragem e a capacidade de sermos responsáveis. Proteger os usuários é o nosso principal valor. Enquanto trabalhamos duro para otimizar ainda mais nossos sistemas, continuaremos divulgando informações de forma transparente.

Peço desculpas por qualquer inconveniente causado e saiba o quanto agradecemos seu apoio. Como sempre, estarei ativo no Twitter, se você precisar entrar em contato comigo.

- CZ, CEO @Binance

Siga-nos no Twitter, Instagram, Facebook e YouTube. Participe do nosso grupo oficial da Binance em Português Telegram para conversar com a nossa comunidade.