Um dia na pele de

A qualidade de um app de pagamento numa sexta de release

Você cuida da qualidade de uma carteira digital com 3 milhões de usuários: Pix, cartão, boleto, e agora o Pix parcelado, que sai hoje às 17h com campanha marcada para segunda. Nesta sexta-feira, quatro coisas pedem você ao mesmo tempo, e você decide a ordem.

Qualidade não se resolve só no seu painel de testes: a decisão de lançar está na sala de reunião, o bug está na ilha do produto, o ambiente de teste está na mesa da operação. Andar até lá leva tempo, e esse tempo entra no relógio do seu dia.

Dizer se dá para lançar quando todo mundo já decidiu que dá.

Profissões com um dia assim: Analista de QA Manual · Engenheiro de Automação de Testes · Engenheiro de QA · Engenheiro de QA Sênior · +1

Ler o dia inteiro (contém os desfechos)

A qualidade de um app de pagamento numa sexta de release: o dia por escrito

Sua mesa: Verde depois de três tentativas

O painel diz "suíte verde". Só que o pipeline repete até três vezes o teste que falha antes de desistir, e verde na terceira tentativa também conta como verde.

Você rodou os doze testes do fluxo de pagamento dez vezes seguidas durante a noite, sem repetição automática. Um teste que falha sempre é um defeito conhecido. Um que falha às vezes esconde alguma coisa.

Ache os testes que falham às vezes, mas não sempre. São esses quatro: falham às vezes e passam na repetição, por isso o painel fica verde. O do Pix parcelado é o que sai hoje às 17h, e três falhas em dez costuma ser duas coisas rodando ao mesmo tempo onde deviam esperar uma pela outra. O cartão virtual falha sempre: é defeito conhecido, com chamado aberto. Cada tentativa errada custa 5 minutos.

O que acontece conforme a hora em que você chega

Antes das 11h: Você achou antes das 11h. O time teve a tarde para olhar o teste do Pix parcelado antes do congelamento das 15h. O que eles achassem ainda cabia na release.
Entre 11h e 14h30: Você achou depois das 11h. O time só abriu o teste do Pix parcelado depois do almoço, com o congelamento das 15h na porta. Deu para olhar; não deu para mexer com calma.
Depois das 14h30: A suíte ficou para depois das 14h30. O congelamento das 15h passou com o painel verde. O que quer que se descobrisse depois sobre os quatro testes, já era sobre uma versão fechada.

Sala de reunião: Os centavos da tela

A gerente de produto está na sala de reunião com o plano da campanha de segunda aberto. Você trouxe um defeito: no Pix parcelado em 12 vezes, a tela de confirmação mostra o total arredondado para baixo, de 1 a 11 centavos a menos do que a fatura vai cobrar. A cobrança está certa. A tela, não.

"São centavos", diz a gerente. O conserto leva uma semana.

Lançar hoje e corrigir na semana que vem. O Pix parcelado sai às 17h. Você registra o defeito com prazo e um texto para o atendimento. Na segunda, a campanha leva o recurso para milhares de pessoas, e cada uma vai ver na tela um total que não é o da fatura.
Lançar o resto e deixar o Pix parcelado desligado. A release sai com o Pix parcelado escondido atrás de uma chave desligada. A gerente avisa o marketing, que adia a campanha. Na semana que vem, com a tela certa, o recurso entra no ar, e o marketing pergunta quem decidiu.

O que acontece conforme a hora em que você chega

Antes das 10h30: Você entrou antes das 10h30. A gerente ainda não tinha falado com o marketing. A conversa aconteceu antes de a campanha virar compromisso.
Entre 10h30 e 15h: Você entrou depois das 10h30. A gerente já tinha confirmado com o marketing o anúncio de segunda. O que você trouxesse chegava como problema numa decisão já comemorada.
Depois das 15h: A reunião ficou para depois das 15h. Às 15h a versão foi congelada e a gerente mandou a pergunta por mensagem. O que quer que tenha sido decidido, foi decidido com o pacote já fechado.

Ilha do produto: Nove segundos

No teste exploratório da manhã, num celular de 600 reais, o mesmo que metade dos usuários do app tem, a tela do Pix parcelado levou nove segundos para abrir. Você gravou em vídeo.

O desenvolvedor na ilha do produto abre no celular dele: um segundo. "No meu funciona." Nenhum teste automatizado roda em celular barato.

Abrir como defeito que segura a release. Você abre o defeito com o vídeo e o modelo do celular. O desenvolvedor passa a tarde achando a imagem pesada que trava a tela. Ele resolve, e fica com a sexta perdida e um comentário no canal do time sobre "QA que segura release por lentidão".
Registrar como melhoria para o próximo ciclo. Você registra a lentidão com o vídeo, para o próximo ciclo. O time segue o plano. Na segunda, quem tem celular barato vai abrir o Pix parcelado e esperar, e uma parte vai fechar o app antes da tela aparecer.

O que acontece conforme a hora em que você chega

Antes das 10h: Você foi à ilha do produto antes das 10h. O desenvolvedor ainda estava no primeiro café, sem outra tarefa aberta. O que fosse decidido entrava no dia dele inteiro.
Entre 10h e 13h: Você foi à ilha do produto depois das 10h. O desenvolvedor já estava no meio de outra correção da release. Qualquer coisa nova disputava a tarde com ela.
Depois das 13h: A ilha do produto ficou para depois das 13h. O vídeo dos nove segundos ficou no seu celular a manhã inteira. O que quer que tenha sido decidido depois, foi decidido com o time já fechando a versão.

Mesa da operação: CPFs de verdade no teste

Para reproduzir um defeito no extrato, um desenvolvedor copiou ontem uma parte da base de produção para o ambiente de teste: 40 mil clientes de verdade, com nome, CPF e saldo. Ao meio-dia, a empresa terceirizada que testa acessibilidade ganha acesso a esse mesmo ambiente.

O defeito do extrato só aparece com esses dados. Anonimizar leva quatro horas.

Apagar a cópia agora. A cópia sai do ambiente antes do meio-dia. A terceirizada entra num ambiente limpo. O desenvolvedor perde o único jeito que tinha de reproduzir o defeito do extrato e diz, sem levantar a voz, que agora vai demorar semanas.
Anonimizar e adiar o acesso da terceirizada. Você pede à operação que adie o acesso da terceirizada para segunda e passa a tarde, com o desenvolvedor, trocando nomes e CPFs por dados falsos que mantêm o defeito. A terceirizada cobra o dia parado. O registro de quem viu a cópia vai para o encarregado de dados.

O que acontece conforme a hora em que você chega

Antes das 9h30: Você foi à operação antes das 9h30. Quase ninguém tinha aberto o ambiente desde ontem. A cópia existiu por uma noite, com pouca gente olhando.
Entre 9h30 e 12h: Você foi à operação depois das 9h30. Dois estagiários já tinham usado o ambiente para testar o extrato, com os dados reais na tela. O que fosse decidido, decidia depois de eles terem visto.
Depois das 12h: A operação ficou para depois do meio-dia. Ao meio-dia a terceirizada recebeu o acesso, e a cópia estava lá. O que quer que tenha sido feito depois, gente de fora da empresa já tinha entrado num ambiente com 40 mil clientes de verdade.

Copa: Café, e a qualidade vista pelo time

Dois desenvolvedores esperam a água ferver.

“…QA é quem acha problema na sexta às quatro. Sempre na sexta às quatro.”

O problema não nasceu na sexta às quatro; só foi visto aí. Quinze minutos depois, você volta com isso: quanto mais cedo você entra no ciclo, menos você aparece como a pessoa que traz a má notícia.

O que se ouve de passagem

Atravessar a empresa não é só deslocamento. No corredor as pessoas continuam falando, e o que elas dizem depende da hora e do que você ainda não resolveu. Nada disso custa tempo nem muda o dia.

…a suíte tá verde, né? Então tá tudo certo pra hoje.
…o marketing já gravou o vídeo do Pix parcelado pra segunda.
…no meu celular abre num segundo. Não sei do que estão falando.
…a terceirizada da acessibilidade entra no ambiente de teste ao meio-dia.

O que vem depois das escolhas

Se você escolheu “Lançar o resto e deixar o Pix parcelado desligado” e “Abrir como defeito que segura a release”: Na mesma sexta, você desligou o Pix parcelado por causa de centavos e segurou a tela por causa de nove segundos. O recurso vai entrar no ar na semana que vem certo nas duas coisas, e o time vai lembrar de quem segurou duas vezes.
Se você escolheu “Lançar hoje e corrigir na semana que vem” e “Registrar como melhoria para o próximo ciclo”: O Pix parcelado sai hoje com o total errado na tela e lento no celular barato. Na segunda, a campanha leva as duas coisas para a mesma pessoa, e os dois defeitos já estão registrados com o seu nome.
Se você escolheu “Anonimizar e adiar o acesso da terceirizada” e “Lançar o resto e deixar o Pix parcelado desligado”: Você adiou a terceirizada para segunda e o Pix parcelado para a semana que vem. A sexta terminou com duas coisas a menos no ar e duas explicações por escrito: uma para o encarregado de dados, outra para o marketing.
Se você escolheu “Apagar a cópia agora” e “Registrar como melhoria para o próximo ciclo”: Você apagou a cópia da base sem discutir e deixou a lentidão para o próximo ciclo. Duas decisões rápidas: uma tirou um risco de vez, a outra deixou um risco para segunda.

Como o dia termina

Você foi para a suíte primeiro.

Havia uma gerente com a campanha aberta, um vídeo de nove segundos e uma base de produção no ambiente errado, e você abriu os resultados da noite. Passou 1h10 separando o teste que falha sempre do que falha às vezes.

Isso não é bom nem ruim. É informação: você desconfiou do verde. Em automação de testes, o trabalho é esse: fazer a máquina dizer a verdade, inclusive quando a verdade é "não sei".

Você foi para a reunião primeiro.

Você começou pela sala onde se decidia se o Pix parcelado saía hoje. Passou 45 min defendendo que centavos na tela importam, ou aceitando que podem esperar uma semana.

Quem lidera qualidade vive essa mesa: o QA não tem o botão de lançar, mas é quem tem de dizer, com clareza, o que vai junto com o lançamento.

Você foi para o celular primeiro.

Você começou pelo celular de 600 reais e pelo vídeo de nove segundos. Passou 50 min entre o "no meu funciona" e o aparelho que metade dos usuários tem.

Teste exploratório é isso: usar o produto como o usuário real usa, no aparelho dele, e achar o que nenhum script procurou.

Você foi para a base primeiro.

Você começou pelos 40 mil clientes de verdade no lugar errado. Passou 40 min decidindo entre o defeito que precisava deles e o risco de eles estarem ali.

Cuidar de ambiente e dado de teste é parte da qualidade que ninguém vê: um app de pagamento é testado com dinheiro de mentira, e alguém tem de garantir que seja mesmo de mentira.

As três portas de QA

QA não é uma profissão só, são três, e elas se separam pelo tipo de problema, não pela ferramenta.

Automação de testes. Construir os testes que rodam sozinhos e fazer o verde querer dizer alguma coisa.
Teste exploratório e manual. Usar o produto como o usuário real e achar o que nenhum script procurou.
Liderança de qualidade. Dizer o que vai junto com cada lançamento e cuidar do risco que ninguém vê.