Um dia na pele de

Os dados do app de mercado

Você trabalha com dados num app de mercado que entrega compras em duas horas: 300 funcionários, hubs em doze cidades e uma diretoria que olha o painel antes do café. Nesta terça-feira, quatro coisas pedem você ao mesmo tempo, e você decide a ordem.

O número sai da sua tela, mas quem precisa dele está na sala de reunião, na ilha do produto, na mesa da operação. Andar até lá leva tempo, e esse tempo entra no relógio do seu dia.

Dar o número rápido sem dar o número errado.

Profissões com um dia assim: Data Analyst · Analista de Dados Júnior · Analista de Dados Sênior · Analista de BI Sênior · +8

Ler o dia inteiro (contém os desfechos)

Os dados do app de mercado: o dia por escrito

O número sai da sua tela, mas quem precisa dele está na sala de reunião, na ilha do produto, na mesa da operação. Andar até lá leva tempo, e esse tempo entra no relógio do seu dia.

Sua mesa: A cidade que despencou

A diretoria abriu o painel de ontem às 8h e mandou uma mensagem só: "O que aconteceu com Osasco?". A receita da cidade caiu de um dia para o outro, e já se fala em pausar os anúncios de lá.

Antes de responder, você abre a tabela que alimenta o painel: pedidos e receita de cada hub, ontem.

Ache o hub cujo número não pode ser verdade. É esse. Osasco: R$ 1.509,20 em 980 pedidos dá R$ 1,54 por pedido. Ninguém faz compra de mercado de R$ 1,54. A operadora de pagamento de Osasco passou a mandar o valor em reais, e o pipeline continuou dividindo por 100 como se fosse centavo. Osasco não caiu. O número caiu. Cada tentativa errada custa 5 minutos.

O que acontece conforme a hora em que você chega

Antes das 11h: Você achou antes das 11h. A correção entrou antes de alguém mexer nos anúncios de Osasco. A diretoria recebeu, junto com a resposta, a lista das outras cidades que usam a mesma operadora.
Entre 11h e 15h: Você achou depois das 11h. O marketing já tinha pausado os anúncios de Osasco por precaução. Voltaram no fim da tarde, depois de meio dia sem aparecer para ninguém na cidade.
Depois das 15h: O painel ficou para depois das 15h. Osasco passou o dia aparecendo em vermelho no painel e os anúncios de lá ficaram pausados. Quem fechou a conta foi o financeiro, conferindo o extrato do dia, e mandou a pergunta para a diretoria com você em cópia.

Sala de reunião: Dezoito ou nove

A Renata, diretora de operações, apresenta ao conselho às 15h. Ela precisa do número de clientes perdidos no trimestre. Pela regra que a empresa usa desde sempre, cliente perdido é quem não compra há 30 dias: dá 18%. Se a regra for 60 dias, dá 9%.

"Ninguém faz compra de mercado todo mês", ela diz. "Sessenta dias é mais justo. Me dá os 9%."

Entregar os 9% com a regra nova escrita no rodapé. Você troca a regra para 60 dias e escreve, no rodapé do slide, o que mudou. A Renata agradece. No conselho, ninguém lê rodapé. No trimestre que vem, alguém vai pôr os 9% ao lado dos 18% do anterior e perguntar o que aconteceu.
Manter os 30 dias e mostrar os dois números lado a lado. Você mantém os 18% e põe os 9% ao lado, com uma linha explicando a diferença. A Renata diz que vai gastar cinco minutos do conselho explicando o que é cliente perdido, e que esses cinco minutos eram dela.

O que acontece conforme a hora em que você chega

Antes das 11h: Você entrou antes das 11h. O slide ainda estava em branco no lugar do número. Deu para decidir antes de a Renata ensaiar a fala em cima de um dos dois.
Entre 11h e 14h: Você entrou depois das 11h. A Renata já tinha mandado o rascunho ao CEO com "clientes perdidos: a confirmar". Você decidiu com o CEO em cópia.
Depois das 14h: A sala de reunião ficou para depois das 14h. A Renata montou o slide com o número que achou no painel antigo. O que quer que tenha sido combinado depois, foi trocado a uma hora do conselho, com ela já de pé.

Ilha do produto: O teste que ainda não terminou

Há cinco dias, metade dos clientes vê o checkout novo e metade vê o antigo. No novo, a conversão está em 3,3%; no antigo, 3,1%. Parece melhor, mas com cinco dias a diferença ainda pode ser sorte: para ter certeza, faltam seis.

A campanha de aniversário do app começa amanhã. O Tiago, que cuida do checkout, quer o novo para todo mundo hoje.

Liberar o checkout novo para todos com o que já se sabe. O checkout novo vai para todos hoje à noite e a campanha começa com ele. Se a conversão subir, ninguém vai saber se foi o checkout ou a campanha. O teste não termina nunca mais, só para de ser perguntado.
Manter o teste até o fim, campanha incluída. O teste segue com metade dos clientes em cada versão, durante a campanha. Em seis dias, vai existir uma resposta limpa. O Tiago leva à reunião de produto a frase "a análise segurou o lançamento", e ela é verdade.

O que acontece conforme a hora em que você chega

Antes das 12h: Você foi à ilha do produto antes do meio-dia. O Tiago ainda não tinha falado com o marketing. Qualquer que fosse a decisão, ela chegou antes de virar promessa para outro time.
Entre 12h e 16h: Você foi à ilha do produto depois do meio-dia. O Tiago já tinha dito ao marketing que o checkout novo entrava na campanha. Você decidiu sabendo que ia confirmar ou desdizer alguém.
Depois das 16h: A ilha do produto ficou para depois das 16h. O Tiago esperou até a reunião de produto e levou a pergunta para lá. O que quer que tenha sido decidido sobre o teste, foi discutido numa sala em que a análise não estava.

Mesa da operação: O app que vende o que não tem

A carga do estoque, que roda toda madrugada, falhou às 3h. O app abriu mostrando o estoque de ontem: produto esgotado aparece como disponível, e os pedidos chegam com item que não existe no hub.

A Ana, da operação, aponta o telão: o número de pedidos incompletos sobe a cada atualização.

Rodar a carga na mão agora, sem os testes. A carga roda em vinte minutos e o app volta a mostrar o estoque de hoje. Os testes que você pulou eram os que conferem linha repetida: à tarde, doze produtos aparecem com o dobro do estoque, e quem acha é alguém da operação, não você.
Achar a causa e rodar com os testes. A causa era uma coluna nova no arquivo do fornecedor. Você corrige, roda com os testes e a carga entra certa, horas depois. Enquanto isso, a operação liga para cada cliente que pediu o que não tinha.

O que acontece conforme a hora em que você chega

Antes das 10h: Você foi à operação antes das 10h. Eram 40 pedidos incompletos. Deu para a operação ligar para cada cliente antes de o entregador sair do hub.
Entre 10h e 13h: Você foi à operação depois das 10h. Eram 200 pedidos incompletos, e o atendimento já tinha fila de reclamação. A Ana passou a manhã respondendo por um problema que não era dela.
Depois das 13h: A operação ficou para depois das 13h. A Ana tirou do app, um por um, os produtos mais vendidos para parar os pedidos impossíveis. O que quer que tenha sido feito com a carga depois, a manhã já tinha fechado com 400 pedidos incompletos.

Copa: Café, e os dados vistos de fora

Duas pessoas do marketing estão na máquina de café.

“…pede pro pessoal de dados, eles fazem um gráfico em cinco minutos.”

O gráfico leva cinco minutos. Saber se o número dentro dele é verdade leva o resto do dia, e é essa a parte que ninguém pede. Quinze minutos depois, você volta para a mesa sabendo como o seu trabalho é visto de fora.

O que se ouve de passagem

Atravessar a empresa não é só deslocamento. No corredor as pessoas continuam falando, e o que elas dizem depende da hora e do que você ainda não resolveu. Nada disso custa tempo nem muda o dia.

…a diretoria quer pausar o marketing de Osasco. Diz que a cidade caiu inteira.
…o entregador voltou duas vezes ao hub hoje. O app vendeu banana que não tem.
…o Tiago já mandou no grupo que o checkout novo ganhou.
…a Renata tá refazendo o slide do conselho pela terceira vez.

O que vem depois das escolhas

Se você escolheu “Rodar a carga na mão agora, sem os testes” e “Liberar o checkout novo para todos com o que já se sabe”: O checkout novo foi para todos na mesma noite em que o estoque entrou sem os testes. Os primeiros pedidos da campanha com produto em dobro passaram pelo checkout novo, e ninguém vai conseguir separar um problema do outro.
Se você escolheu “Entregar os 9% com a regra nova escrita no rodapé” e “Liberar o checkout novo para todos com o que já se sabe”: Você mudou a regra de cliente perdido e liberou o checkout sem o fim do teste. Na mesma terça, dois números da empresa passaram a valer pela palavra de quem tinha pressa. Os dois podem estar certos. Nenhum dos dois dá para conferir.
Se você escolheu “Manter os 30 dias e mostrar os dois números lado a lado” e “Manter o teste até o fim, campanha incluída”: Você manteve a regra do churn e segurou o teste: duas vezes no mesmo dia, a análise disse não a quem tinha pressa. A Renata e o Tiago almoçaram juntos na quarta e falaram de você.
Se você escolheu “Achar a causa e rodar com os testes” e “Manter os 30 dias e mostrar os dois números lado a lado”: A carga entrou certa e devagar, e o slide do conselho saiu com os dois números. No fim da terça, a operação e a diretoria tinham a mesma queixa: os dados demoraram. Nenhuma das duas tinha um número errado na mão.

Como o dia termina

Você foi para o número estranho primeiro.

Havia uma diretora esperando um slide, um time de produto com pressa e um app vendendo o que não tinha, e você abriu a tabela de Osasco. Passou 1h20 dividindo receita por pedido.

Isso não é bom nem ruim. É informação: você desconfiou do número antes de explicar o número. Em análise e BI, metade do trabalho é responder "o que aconteceu?", e a outra metade é descobrir se aconteceu mesmo.

Você foi para a regra primeiro.

Você começou pela sala de reunião, onde um número do conselho dependia de uma definição. Passou 45 min decidindo se a regra de cliente perdido podia mudar porque alguém precisava que mudasse.

Governança de dados é isso: decidir o que cada número quer dizer, escrever, e segurar essa definição quando ela fica inconveniente.

Você foi para o teste primeiro.

Você começou pela ilha do produto, onde um teste de cinco dias parecia ter ganhado. Passou 50 min entre a data da campanha e a diferença que ainda podia ser sorte.

Ciência de dados de produto vive esse cabo de guerra: o time quer lançar, o teste quer terminar, e quem decide quanto de certeza basta é você.

Você foi para a carga primeiro.

Você começou pela operação, onde o app vendia o que o hub não tinha. Passou 1h00 com a carga da madrugada aberta e o telão subindo atrás de você.

Engenharia de dados é o encanamento: ninguém vê quando funciona, todo mundo vê quando entope, e o atalho que resolve agora é o que entope de novo depois.

As quatro portas de Dados

Dados não é uma profissão só, são várias, e elas se separam pelo tipo de problema, não pela ferramenta.

Análise e BI. Responder o que aconteceu, depois de conferir se aconteceu mesmo.
Governança de dados. Decidir o que cada número quer dizer e segurar essa definição quando ela incomoda.
Ciência de dados de produto. Medir se uma mudança no produto funcionou, e dizer quanto de certeza existe.
Engenharia de dados. Fazer o dado chegar certo e na hora, todo dia, sem ninguém notar.