Como vocês medem o impacto real de um programa VIP?

Question

Todo operador tem programa VIP. Poucos conseguem provar que ele gera valor incremental, a maior parte dos números que vejo compara jogador VIP com jogador comum, o que é comparação enviesada por construção: o VIP já era mais valioso antes de entrar no programa.

O que eu gostaria de discutir:

- Vocês conseguem isolar o **incremento** do programa, ou medem apenas a receita da carteira VIP?
- Alguém roda grupo de controle de verdade (jogador elegível que não recebe tratamento VIP)? Como lidam com a objeção comercial de "deixar dinheiro na mesa"?
- Qual sinal vocês usam para **entrar** alguém no programa, e qual usam para tirar?
- Como vocês separam o efeito do gestor de conta do efeito do benefício?

Se alguém tiver um desenho de medição que sobreviveu ao escrutínio do financeiro, seria muito útil ver.

Malu Hold · Accepted Answer

Essa é a pergunta que eu levo para toda entrevista de emprego, dos dois lados da mesa.

Resposta honesta: **muito poucos conseguem provar incremento, e eu incluída durante bastante tempo.**

O que fizemos para sair do lugar:

**Grupo de controle de verdade, pequeno e temporário.** Selecionamos jogadores elegíveis pelo mesmo critério e mantivemos uma fração sem tratamento VIP por um trimestre. A objeção comercial veio, forte, e o que resolveu foi enquadrar o custo: não estávamos "deixando dinheiro na mesa", estávamos comprando a informação de quanto o programa vale. Sem ela, o orçamento inteiro do programa era um ato de fé.

**Resultado:** o incremento existia, mas era menor que o alardeado, e estava concentrado em uma faixa específica da carteira. A parte de cima da carteira teria ficado de qualquer forma, o programa não estava criando aquele valor, estava acompanhando.

**Sobre entrada e saída:** entrada por potencial, não por valor já gasto. Valor gasto já aconteceu; potencial é o que dá para influenciar. E precisa existir saída, ou a carteira só cresce e o custo por jogador atendido despenca em qualidade.

**Efeito gestor versus efeito benefício:** rodamos uma variação com atendimento dedicado e benefício reduzido. Para nossa surpresa, o atendimento explicava mais do que o benefício em boa parte da carteira. Isso mudou onde colocamos o dinheiro.

André Martins · Answer

Do lado de medição, dois cuidados para quem for repetir o teste que a Malu descreveu.

**Viés de seleção do gestor.** Se o gestor escolhe quem entra no programa, o resultado do programa é indistinguível da capacidade do gestor de escolher bom jogador. Ou o critério de elegibilidade é automático, ou o teste não mede o que você acha que mede.

**Janela curta demais.** Programa VIP atua em horizonte longo. Teste de 30 dias captura quase só novidade. Trimestre é o mínimo, e mesmo assim com ressalva.

Um atalho útil para quem não pode segurar grupo de controle: **diferença em diferenças** usando jogadores que entraram no programa em momentos diferentes por motivo operacional, não por decisão de mérito. Não é tão limpo quanto experimento, mas é muito melhor que comparar VIP com não-VIP.

Como vocês medem o impacto real de um programa VIP?

Answers2

Share discussion