5 errores que invalidan un test A/B

No vamos a explicar aquí lo que es un test digital pero al menos recordemos que es una prueba entre dos o más opciones, realizada con el menor riesgo e inversión posible, para luego extrapolar el resultado ganador a lo grande y hacerme rico (o marcarme una medalla con el Presi).

El problema viene cuando hacemos mal el test y entonces lo único seguro es que hemos perdido tiempo y dinero.

Echando mano de la experiencia y de la memoria, estos son los errores más frecuentes: 
 
1. Testar más de una cosa a la vez

Ya lo dice la palabra “A/B testing”, test entre A y B.

Si añades una C sin darte cuenta se convierte en otra cosa.

Es el ejemplo con el que empezábamos, si A=2×1 y B= sorteo, las dos cosas se deben testar A LA VEZ, no una cosa esta semana y otra la que viene. Al hacerlo hemos invitado a la fiesta a C, la variable tiempo.

¿Por qué? Porque pasan cosas diferentes cada semana que afectan al resultado: la competencia puede sacar una promoción agresiva la semana que viene o una tormenta de nieve hace que la gente se quede en casa y compre más o que los griegos se pongan testarudos y hagan caer las Bolsas europeas (sí, Internet es muy sensible a todo lo que le rodea).

2. Confundir test con prueba

Un test es una cosa muy seria, científica.

Hechos y no buenas razones. Realidades y no opiniones.

Si hacemos una encuesta a nuestra base de datos y le preguntamos qué prefieren, un 2×1 o un sorteo, el resultado puede ser falso.

La gente dice una cosa y luego hace otra. Una cosa es una encuesta y otra muy diferente un test.

Si basas tu estrategia comercial sólo en encuestas, focus groups o similares, estás caminando sobre tierras movedizas.

 
3. Pasar de las mates

Si en unas elecciones nacionales abro cuatro sobres con votaciones y me salen 3 papeletas del partido Anti-botellones y 1 del partido Wifi-gratis-para-todos, ¿verdad que no puedo decir que ha ganado el Anti-botellones con un 75% de los votos?

Con el testing paso lo mismo, necesitamos una masa mínima de datos para poder creernos lo que nos dicen.

Sí, da pereza, pero hay que saber un poco de estadística y apoyarse en apps o calculadoras para que te digan si la muestra es significativa y por lo tanto el Anti-botellones ha ganado o no con confianza estadística suficiente.

4. Empezar por el tejado

Empezar testando si es mejor un botón o un link de texto puede ser todo lo fácil que quieras pero es perder el tiempo.

Si quieres crecer a saltos, empieza testando lo más importante y luego ve bajando en jerarquía.

• Así, lo más importantes son las bases de datos en los emailings, las keywords de AdWords, las segmentaciones de display o las listas de retargeting (el QUIÉN).

• En segundo lugar, tu propuesta, oferta, USP, promoción o similar (el QUÉ).

• Y por último, por donde empezamos todos: la creatividad de textos e imágenes (el CÓMO).

 5. Testar minucias

El test tonto del punto 4 todavía puede ser más tonto: testar un botón rojo contra otro magenta.
Si buscar mejorar métricas importantes como la conversión a leads o a ventas, déjate de historias y testa cosas potentes.
Dos cosas radicalmente diferentes y al mismo tiempo ganadoras.
De lo contrario, sí, puede que mejores el ratio de clic o el de visualización de una landing.
Pero al final del embudo verás que no se ha notado nada. Te lo digo por experiencia, es más difícil encontrar caballos ganadores de lo que parece.
Aunque por supuesto, el peor pecado de todos es… ¡no hacer un test!

BONUS

Para los que se tomen en serio esto del testing y quieran subir nota, aquí va un artículo sobre los ACE, los experimentos de AdWords. Una funcionalidad poco conocida de testing en AdWords y que nos revela cosas sorprendentes, cómo cuánto de alta tiene que ser tu puja de CPC: Ayrton Senna, cuánto cuesta ser nº1 y los experimentos de AdWords (ACE).