O Big Bang Que Custou 300 Milhões de Libras: TSB 2018 lido como um post-mortem de entrega

Contexto de registo público

Este caso de estudo analisa registos regulatórios disponíveis publicamente. Não é trabalho de entrega do hub. Nenhuma permissão de cliente é necessária porque nenhum cliente está envolvido. A etiqueta é Conceito: análise forense de registo público perante a hierarquia de evidência da nossa estratégia de conteúdo.

A falha de migração informática do TSB em abril de 2018 é a falha informática bancária mais exaustivamente documentada na história regulatória europeia. As notificações finais da FCA e PRA, as audiências do Treasury Committee, e os relatórios de testes Sabis/IBM fornecem um nível de detalhe de fonte primária que a maioria dos post-mortems privados de entrega nunca atinge.

O momento de decisão

Em 18 de abril de 2018, o comité de orientação do programa do TSB recomendou o go-live para a migração da plataforma partilhada do Lloyds Banking Group para a plataforma Protekt4 do SABADell. O conselho aprovou.

A decisão foi tomada com base numa recomendação da equipa do programa. Nenhuma avaliação independente de prontidão foi apresentada. Nenhum teste equivalente à produção tinha sido executado. Os testes que tinham sido completados usaram um ambiente sintético com uma fração do volume de dados de produção.

O CEO, Dr. Carlos Abarca, recebeu a recomendação. O conselho recebeu a recomendação. Nenhum órgão desafiou a evidência de testes. Nenhum órgão solicitou uma avaliação independente.

Dois dias depois, 1,9 milhões de clientes estavam bloqueados das suas contas.

A restrição real

A restrição não era a tecnologia. A plataforma Protekt4 do SABADell estava operacional. Tinha sido implementada nas operações espanholas do SABADell. A restrição era o caminho de migração: a extração de dados da plataforma Lloyds, a transformação para o esquema Protekt4, e o carregamento no novo ambiente.

A migração foi um cutover «big bang». Todos os dados de clientes, todas as contas, todos os produtos, todas as integrações migraram num único fim de semana. Não houve migração faseada. Não houve execução paralela. Não houve caminho de reversão que pudesse ser executado num prazo aceitável.

A abordagem big bang foi escolhida por razões de custo. Uma migração faseada teria exigido manter duas plataformas em paralelo durante meses. O custo de execução paralela foi considerado inaceitável. O custo de falha não foi quantificado.

O que partiu

Três coisas partiram, por esta ordem:

Erros de migração de dados. A extração de dados da plataforma Lloyds produziu registos corrompidos para um subconjunto de clientes. A corrupção não foi detetada durante a validação da migração porque as verificações de validação não foram desenhadas para apanhar esta classe de erro. Quando os clientes tentaram aceder às suas contas em 23 de abril, a plataforma Protekt4 não conseguiu resolver as suas credenciais contra os registos corrompidos.
Falhas de integração. A integração do TSB com redes de pagamento externas (BACS, Faster Payments, CHAPS) não estava corretamente configurada na plataforma Protekt4. Instruções de pagamento outbound foram rejeitadas. Pagamentos inbound não foram publicados nas contas dos clientes. Os testes de integração tinham sido realizados num ambiente sintético que não replicava as configurações de rede de produção.
Colapso da resposta a incidentes. Quando a falha se tornou aparente na manhã de 23 de abril, o plano de resposta a incidentes do TSB era inadequado. O plano assumia reversão para a plataforma Lloyds em 4 horas. A reversão não foi possível porque a plataforma Lloyds tinha sido desativada. O plano assumia comunicação aos clientes em 2 horas. A primeira comunicação aos clientes foi emitida 14 horas após o início da falha.

A lição de design

A lição não é «não fazer migrações big bang». A lição é «não fazer migrações big bang sem governança que corresponda ao perfil de risco».

Um quadro de governança de migração que teria prevenido esta falha:

Avaliação independente de prontidão. Uma parte externa à equipa do programa produz uma avaliação escrita contra critérios definidos. O conselho vê tanto a recomendação do programa como a avaliação independente. O avaliador independente não tem interesse de carreira na decisão de go-live.
Testes equivalentes à produção. Os testes devem usar volumes de dados, casos extremos e pontos de integração que repliquem a produção. Um teste que passa num ambiente sintético com 10% do volume de produção é um ensaio, não um teste.
Reversão testada. O plano de reversão deve ser testado, cronometrado e executável sem aprovação da equipa do programa. Se a reversão não puder ser executada num prazo definido, a migração não prossegue.
Comunicação aos clientes pré-redigida. A comunicação aos clientes deve ser pré-redigida, pré-aprovada e ativável pela equipa de resposta a incidentes. O comité de orientação do programa não aprova a comunicação aos clientes durante um incidente. A equipa de resposta a incidentes aprova.

Métricas

Métrica	Valor	Fonte
Custo total (remediação, compensação, multas)	300M+ GBP	Relatório anual TSB 2018, notificações FCA/PRA
Clientes bloqueados	1,9 milhões	Notificação final FCA
Tempo de recuperação total	12 dias	Notificação final PRA
Multa regulatória	48,65M GBP	Notificações finais FCA + PRA, dezembro de 2022
Partida do CEO	Sim, setembro de 2018	Registo público

Fontes

Notificação Final da FCA, TSB Bank plc, 20 de dezembro de 2022 (referência FCA0018D)
Notificação Final da PRA, TSB Bank plc, 20 de dezembro de 2022 (referência PRA0128)
House of Commons Treasury Committee, «TSB IT problems», julho de 2018
IBM, «TSB Platform Migration Assurance Review», maio de 2018 (comissionado pelo TSB)

Caso de estudo Conceito. Análise forense de registo público. Sem permissão de cliente necessária. Sem relação de cliente implícita. Este não é trabalho de entrega do hub.