- Home
- Categorie
- Digital Marketing
- SEO
- A/B testing nella SEO
-
A/B testing nella SEO
un articolo che ho trovato molto curioso
http://www.blindfiveyearold.com/seo-a-b-testing
1 Risposta
-
@fabioantichi ottimo articolo e mi spingono dire che queste considerazioni non valgono solo per la SEO, ma proprio per gli A/B test in generale.
Il web è un ambiente dinamico con molte variabili fuori dal nostro controllo.
Più variabili che rischiano di sballare il campione, più è probabile che il test dia un falso negativo o positivo.
E questo sempre al netto di tutti i possibili bias cognitivi sempre in agguato.
1 Risposta
-
@kal assolutamente mi piace degli esperimenti su ads che ti da la valenza significativa per evitare l'influenza di fattori esterni, e in ogni caso servono numeri o la variabilità del sistema può drogare il dato falsandolo
-
@fabioantichi ha detto in A/B testing nella SEO:
per evitare l'influenza di fattori esterni
Il mio punto è che fattori esterni non è che si possano davvero eliminare. E' una pia illusione, a far bene dovresti fare A/B test solo in laboratorio e una campagna Ads non è un laboratorio.
Stagionalità, mode, differenze nel comportamento a seconda delle fasce orarie e del dispositivo, differenze regionali o di mercato... è tutta roba che agisce contemporaneamente e genera un caos di fondo che poi in ultima analisi mette a repentaglio la bontà dell'analisi statistica.
1 Risposta
-
Verissimo
-
@kal ha detto in A/B testing nella SEO:
@fabioantichi ha detto in A/B testing nella SEO:
per evitare l'influenza di fattori esterni
Il mio punto è che fattori esterni non è che si possano davvero eliminare. E' una pia illusione, a far bene dovresti fare A/B test solo in laboratorio e una campagna Ads non è un laboratorio.
Stagionalità, mode, differenze nel comportamento a seconda delle fasce orarie e del dispositivo, differenze regionali o di mercato... è tutta roba che agisce contemporaneamente e genera un caos di fondo che poi in ultima analisi mette a repentaglio la bontà dell'analisi statistica.
Non ho capito troppo quest'ultimo punto.
Cioè in un A/B testing stai testando due versioni differenti nello stesso identico momento.
In che modo la stagionalità impatta? Cioè se sei "fuori stagione" questo sarà vero sia per il test A che per il test B e il risultato, nei limiti della variabilità statistica, dovrebbe essere corretto, no?
-
@luqweb ha detto in A/B testing nella SEO:
Non ho capito troppo quest'ultimo punto.
Cioè in un A/B testing stai testando due versioni differenti nello stesso identico momento.Eh magari. Un A/B test dura giorni.
Potresti avere la variante A che funziona da dio nel weekend, mentre la variante B durante la settimana.
Oppure la variante A che funziona da dio quando è bel tempo e la variante B quando piove.
Etc.
Ogni variabile di "squilibrio" nel campionamento rischia di mandare a monte l'analisi statistica.
Ne aggiungo un'altra: se fai A/B test su una landing page con la pubblicità... Non stai testando per il pubblico che non clicca sulla pubblicità.
E potrebbero esserci differenze anche qua, ad esempio se uno usa un adblocker...
Insomma, è un campo minato.
-
Capisco quello che intendi, però secondo me il 90% delle volte che un test A/B fallisce è:
- Si sono testate troppe cose alla volta
- Non si è aspettata la significatività statistica
Il primo caso è abbastanza chiaro. Il secondo, per me, viene troppo spesso sottovalutato.
Vengo giusto da un test che dopo 2 giorni dava una variante in vantaggio all'80% sulla seconda. Dopo 6gg, sta al 40%.A questo ovviamente va accompagnata un'analisi delle idee da validare, possibili influenze sull'esperimento etc...
Cioè la vedo un po' come valutare un pokerista.
Fagli fare un torneo e potrà uscire ultimo quando invece è il migliore dei partecipanti.
Fagliene fare 10mila e potrai cominciare a dare un giudizio sulle sue qualità (a prescindere dagli avversari, dalle carte e da come si è svegliato quel giorno).
La varianza la si può abbattere solo accumulando molti tornei (o nel nostro caso molti dati), altrimenti è come giocare al gratta e vinci.Magari sono troppo ottimista
