16 misstag jag gjort inom digital analys (och hur du undviker dem)
0 likes219 views
r du intresserad av att f旦rdjupa dig inom analyticsomr奪det men tycker det verkar kr奪ngligt, sv奪rt och l辰tt att g旦ra misstag? H辰r en fast forward f旦rbi fallgropar jag ramlat i.
16 misstag jag gjort inom digital analys (och hur du undviker dem)
- 1. 16 misstag jag gjort inom digital analys (och hur du undviker dem) Daniel Hansson 6 mars 2018
- 2. #1 Jag har anv辰nt korrupt data i mina analyser
- 3. Korrupt data Drar du ut data 旦ver en l奪ng tid inneh奪ller den n辰stan alltid felaktigheter Har du allt annat 辰n standardsp奪rning s奪 slutar n辰stan alltid att fungera d奪 och d奪 L辰tt att missa n辰r du st辰ller in regler f旦r filtrering och/eller segmentering
- 5. Hantera korrupt data G奪 igenom sp奪rningshistoriken med erfarna analytiker som k辰nner till historien G奪 igenom annoteringar S辰tt upp en struktur f旦r annoteringar om det saknas S辰tt upp alerts som varnar vid anomaliteter Feeda in dem i Slack eller andra kanaler som flera i teamet monitorerar S辰tt upp automatiska tester som kontrollerar sp奪rningsskript Ha alltid minst en profil med ofiltrerad data
- 8. Exempel p奪 s辰songsvariationer jag st旦ter p奪 hos SVT Tittning p奪 sport h辰nger helt ihop med r辰ttigheter. T.ex. mycket vanligare med sporttittning p奪 helger under vintern p.g.a. Vinterstudion Begr辰nsat utbud av drama under maj-augusti g旦r att tittningen g奪r ner f旦r den h辰r typen av inneh奪ll Tabl奪anv辰ndning peakar under julhelgerna Stora titlar som Julkalendern ger extra transittrafik till andra tj辰nster
- 9. Tabl奪anv辰ndning 辰r klart mer popul辰rt under julhelgerna j辰mf旦rt med 旦vriga 奪ret Felaktig generalisering p.g.a. f旦r kort tidsperiod
- 10. J辰mf旦r med samma period tidigare 奪r
- 11. Hantera s辰songsvariationer J辰mf旦r med samma period tidigare 奪r + justera f旦r andra faktorer som kan p奪verka. T.ex. organisk tillv辰xt, inneh奪ll, kampanjer etc. Ha en tveksam inst辰llning till uppdrag d辰r du misst辰nker att s辰songsvariationer p奪verkar v辰rdet du kan skapa med ditt analysarbete. Du kan inte j辰mf旦ra med tidigare 奪r Du ska genomf旦ra A/B-test under perioder som inte 辰r signifikanta f旦r generella anv辰ndning. Dra ut historisk data f旦r l奪ng tid tillbaka f旦r att f旦rst奪 kontext och bransch. Prata med erfarna analytiker inom omr奪det.
- 12. #3 Jag har kommunicerat fel data
- 15. Finns otroligt m奪nga fallgropar Felaktigt uppsatta segment, t.ex. att en satt upp segment p奪 visit- ist辰llet f旦r visitor- eller hit-niv奪. Felaktigt uppsatta filter som g旦r att relevant data saknas Korrupt sp奪rning som g旦r att relevant data saknas eller 辰r felaktig UX-problem i analysverktyget som g旦r att en anv辰nt fel rapporter, fel segment, eller felaktig metric i kombination med dimension
- 16. Hantera os辰kerheten L奪t andra analytiker se 旦ver din data, dina rapporter och slutsatser. r du fortfarande os辰ker, kommunicera os辰kerheten ist辰llet f旦r att d旦lja den. Ha en 旦dmjuk attityd till dina analyser, hypoteser och rekommendationer
- 17. #4 Jag har missat suboptimering
- 18. Experiment: 旦kar MENY anv辰ndning av mobilmeny?
- 19. Exempel fr奪n ett p奪g奪ende experiment som ser ut att g奪 bra
- 20. I sj辰lva verket kan vi inte se n奪gon positiv effekt f旦r det 旦vergripande m奪let
- 21. STEG 1 9,7% (205 000) 100% (2 100 000)
- 22. Dropoff: Antal bes旦k som g奪r vidare fr奪n startsidan genom tombolan
- 24. Exempel: CTR p奪 l旦pet 旦kar ju mer redaktionellt inneh奪ll (lila) vi publicerar Samtidigt leder redaktionellt inneh奪ll till l辰gre m奪luppfyllnad, j辰mf旦rt med SVT Play-puffar (gr旦na).
- 25. F奪 en s奪 fullst辰ndig bild av anv辰ndningen som m旦jligt De flesta av de tj辰nster jag jobba med m辰ts p奪 r辰ckvidd och lojalitet Ta f旦r vana att, f旦rutom testets m奪l, st辰mma av mot: Time spent i kontexten som testas/bes旦k + /unik bes旦kare (sticky eller ej?) Time spent hela tj辰nsten/bes旦k + /unik bes旦kare Bounce rate Bes旦k / unik bes旦kare (lojalitet) terkommandegrad funktionalitet/inneh奪ll (olika intervall - anv辰nd cohortdiagram) Videostarter / bes旦k + /unik bes旦kare Nya titelstarter / bes旦k +/unik bes旦kare (uppt辰ckandegrad) Time spent nytt inneh奪ll / bes旦k + /unik bes旦kare (stickyness i uppt辰ckandet)
- 26. A: Original B: Under popul辰rt D: ver spr奪k E: Utan historik C: Flytta popul辰rt och historik l辰ngst ned
- 27. KPI:er A: Original B: Under popul辰rt C: Flytta popul辰rt och historik sist D: ver spr奪k E: Utan historik Spenderad tid nya titlar/unik bes旦kare 00:15:18 0,00% 00:15:57 4,25% 00:18:15 19,28% 00:17:39 15,36% 00:18:19 19,72% Bes旦k/unik bes旦kare 3,98 0,00% 3,97 -0,28% 4,00 0,45% 3,94 -1,10% 3,93 -1,23% Bounce rate 15,37% 0,00% 15,65% 1,82% 15,30% -0,46% 15,35% -0,13% 15,44% 0,46% SMST BST
- 28. Vikt KPI:er A: Original B: Under popul辰rt C: Flytta popul辰rt och historik sist D: ver spr奪k E: Utan historik 1,6 Spend. tid nya titlar/unik bes旦kare (tt:mm:ss) 00:15:18 0,00% 00:15:57 4,25% 00:18:15 19,28% 00:17:39 15,36% 00:18:19 19,72% 1,5 Bes旦k/unik bes旦kare 3,98 0,00% 3,97 -0,28% 4,00 0,45% 3,94 -1,10% 3,93 -1,23% 1,4 Bounce rate 15,37% 0,00% 15,65% 1,82% 15,30% -0,46% 15,35% -0,13% 15,44% 0,46% 1,4 Spenderad tid nya titlar/bes旦k (tt:mm:ss) 00:03:50 0,00% 00:04:01 4,78% 00:04:33 18,70% 00:04:26 15,65% 00:04:39 21,30% 1,3 Nya titelstarter/unik bes旦kare 2,57 0,00% 2,69 4,39% 3,04 18,07% 2,92 13,56% 3,10 20,52% 1,3 Nya titelstarter/bes旦k 0,65 0,00% 0,68 4,64% 0,76 17,65% 0,73 13,62% 0,79 22,14% 1,0 Spenderad tid/bes旦k (tt:mm:ss) 00:26:27 0,00% 00:26:23 -0,25% 00:26:29 0,13% 00:26:42 0,95% 00:26:19 -0,50% 1,0 Spenderad tid/unik bes旦kare (tt:mm:ss) 01:45:20 0,00% 01:44:47 -0,52% 01:45:58 0,60% 01:46:22 0,98% 01:43:29 -1,76% 0,8 Videostarter/bes旦k 4,32 0,00% 4,29 -0,83% 4,28 -1,02% 4,35 0,69% 4,36 0,83% 0,8 Videostarter/unik bes旦kare 17,21 0,00% 17,02 -1,10% 17,12 -0,55% 17,34 0,73% 17,14 -0,41% Score 65 51 100 100 89 Viktad score 58 50 100 90 86 SMST BST
- 31. Rek - andra = Popul辰rt Rek - historik = Tombola + Svansen Rek - red = F旦r de 辰ldsta + F旦r de yngsta + Tips Se om = Du har sett Leta = A- + S旦k
- 33. Risker med suboptimering Nya features och nytt inneh奪ll leder till beteende som p奪verkar de 旦vergripande m奪len negativt. Det kan handla om att ny funktionalitet lockar till sig klick och beteende som sedan leder till h旦g exit rate. Samtidigt som produktens m奪l 辰r att jobba f旦r 旦kad time spent. Den nya funktionaliteten kan ocks奪 skapa s辰mre lojalitet till produkten j辰mf旦rt med annan funktionalitet.
- 35. #5 Jag har missat kannibalism
- 36. Hur p奪verkar en ny feature 旦vriga videokontexter?
- 38. Hantera kannibalism Inta en skeptisk h奪llning ven om ditt experiment visar p奪 bra resultat kanske det bara flyttar anv辰ndning fr奪n ett st辰lle till ett annat. Vanligt n辰r en l辰gger till eller flyttar liknande element Var noggrann med att m辰ta anv辰ndning av alla element f旦r att se hur klick flyttas, 旦kar eller minskar. Bencha mot 旦vergripande m奪l.
- 39. Exempel: G旦r du en f旦r辰ndring i en lista/element p奪 Barnplays startsida beh旦ver du ocks奪 - detaljerat - m辰ta alla andra konkurrerande element
- 40. #6 Jag har dragit generaliserande slutsatser p奪 f旦r lite data
- 41. Exempel p奪 n辰r du inte ska chansa Du k辰nner dig pressad av team, chefer eller stakeholders att komma med insikter p奪 begr辰nsad tid T.ex. efter en lansering, Hur har det g奪tt? Du f奪r inte ut den data du beh旦ver p奪 r辰tt s辰tt T.ex. p奪 en aggregerad niv奪 eller s奪 segmenterat som du vill, Kan du inte g旦ra stickprov? Du ska f旦rklara varf旦r n奪got har h辰nt T.ex.: Varf旦r har det g奪tt s奪 bra 2017?
- 44. #7 Jag har blandat ihop korrelation med kasualitet
- 46. M辰nniskor uppvisar en kraftig tendens att tolka observerade korrelationer som orsakssamband; detta leder ofta till missf旦rst奪nd, och utnyttjas ibland medvetet. - Skolverkets l辰rarhandledning f旦r gymnasiet
- 47. Exempel: L辰ngre vy med fler alternativ leder till minskad exit rate A B A B
- 48. Exempel: M奪nga anv辰ndare leder till l奪ng total spenderad tid (snarare 辰n tv辰rtom) A B A B
- 49. Exempel: Snabbare laddtider leder till minskad bounce rate som leder till 旦kad genomsnittlig spenderad tid A B C A CB
- 50. Exempel: Mer popul辰rt inneh奪ll, i kombination med f辰rre appkrascher leder till fler antal bes旦kare A + B C A C B
- 51. Exempel: B辰ttre organisk SEO leder b奪de till 旦kat antal bes旦kare och 旦kat antal bes旦k C A B A B C
- 52. Exempel: Storbarnsserier har 旦kat i popularitet i takt med att exit rate p奪 inst辰llningssidan minskat A | B A B
- 53. Exempel: Storbarnsserier 辰r en del av inneh奪llet F旦r de 辰ldsta A 皃 B A B
- 54. Hur blir du s辰ker p奪 orsakssamband? Genomf旦r A/B-test Testa en f旦r辰ndring 奪t g奪ngen Testar du flera justeringar 奪t g奪ngen kan du inte vara s辰ker p奪 vilken f旦r辰ndring som ledde till f旦r辰ndring
- 55. #8 Jag har l奪tit k辰nslor p奪verka analys och slutsatser
- 56. Hantera k辰nslor och bias Mobba 辰ven analysarbete Bjud in och l奪t andra bli delaktiga i analysarbetet V辰nta ut f旦r辰ndringskurvan innan du avslutar experiment Det 辰r l辰tt att frestas till att avsluta experiment som validerar din hypotes, innan tillr辰ckligt med data har samlats in S辰tt upp teamregel: uppf旦ljningstest ska alltid genomf旦ras
- 57. #9 Jag har genomf旦rt f旦r begr辰nsade A/B-test
- 60. F旦r辰ndringskurvan Tid F旦r辰ndringskurvan verkar ha 壊岳温恢庄鉛庄壊艶姻温岳壊
- 61. Efter tre dagar har variationerna samma resultat:
- 62. Efter tre, fyra dagar har variationerna samma resultat:
- 63. F旦r辰ndringskurvan Anv辰ndarnas change curve kan variera beroende p奪 en rad faktorer. T.ex. andel lojala anv辰ndare och hur stor f旦r辰ndringen 辰r. F旦rs旦k f旦rst奪 hur f旦r辰ndringskurvan ser ut f旦r din produkt. Titta p奪 historiska releaser (och ta med s辰songsvariationer i analysen) Prata med erfarna analytiker som kan branschen/produkten V辰nta in statistisk signifikans 旦ver 95% Vid vissa f旦r辰ndringskurvor kan signifikansen g奪 upp 旦ver 95% f旦r att sedan backa tillbaka.
- 64. Beslutet att utveckla funktionaliteten togs efter ett tv奪veckors-A/B-test + 7 anv辰ndningstest Resultatet: halverad anv辰ndning efter tv奪 m奪nader Exempel: ny feature i Barnplay
- 65. Ta ut sv辰ngarna i experiment Det 辰r oftast sv奪rt att veta innan vilken variation som kommer prestera b辰st Genom att i f旦rsta testomg奪ngen testa brett snarare 辰n sm奪 skillnader av samma element 旦kar sannolikheten att hitta en st旦rre positiv effektf旦r辰ndring Testa flera parametrar Exempel f旦rb辰ttra utforskning nya titlar: relevansranking rekommendationer nya titlar, sl辰pp nytt inneh奪ll p奪 olika s辰tt, testa olika funktionalitet f旦r utforskning Designa experiment efter hur du l辰r dig snabbast (hint: v奪ga mer) Ha inte en lean ux-approach till experiment
- 67. #10 Jag har dragit slutsatser av f旦r f奪 experiment
- 68. Genomf旦r alltid (alltid!) uppf旦ljningstest Resultatet av f旦rsta testet kan vara skevt p.g.a: S辰songsvariationer som lov, helg, jul och ny奪r Onormalt (im)popul辰rt inneh奪ll som Skam, Bron, Sommarlov, terrorattack, sportevenemang, valspurt Transittrafik som spiller 旦ver F旦rsta testet kan ha varit fel uppsatt eller haft problem med sp奪rning av data Du kan vilja g旦ra mindre justeringar p奪 f旦rsta testet Timeboxa inte experimentperioder
- 69. #11 Jag har kommunicerat resultat av A/B-test som f旦rv辰ntade framtida effekter
- 70. Hantera f旦rv辰ntningar Den statistiska signifikansen i ett A/B-test g辰ller att variation X 辰r b辰ttre eller s辰mre 辰n originalet G旦r jag uppf旦ljningstest och f奪r liknande resultat med h旦g signifikans kan jag ibland r辰kna p奪 potentiella framtida effekter. Det g辰ller framf旦rallt n辰r jag vill 旦vertyga intressenter att prioritera upp en hypotes som visar potential.
- 72. #12 Jag har missat att skicka A/B-testdata till mitt analysverktyg
- 73. G奪 inte miste om v辰rdefull data Adobe Analytics och Google Analytics kan oftast m辰ta mycket mer 辰n externa A/B-testverktyg: Spenderad tid terkommandegrad Typ av bes旦kare (daglig, lojal, s辰llan) Detaljerade trafikk辰llor Anpassade dimensioner just f旦r din produkt Skicka med testets variationer/spannar som anpassade metrics/dimensioner eller liknande
- 74. #13 Jag har missat att segmentera A/B-test
- 75. G奪 inte miste om v辰rdefull data Ibland kan det generiska resultatet visa p奪 minimal f旦r辰ndring j辰mf旦rt med originalet Ta f旦r vana att ocks奪 unders旦k segmenterade resultat, t.ex.: Typ av enhet: mobil, platta, desktop Typ av anv辰ndare: lojal, s辰llan, daglig eller f旦rstag奪ngs Typ av landning: startsida, undersida Trafikk辰lla: s旦k, social media, direkt, l辰nk
- 77. #14 Jag har underskattat anv辰ndarens motivation
- 80. L辰gg inte tid p奪 arbete som riskerar att bli waste Viss anv辰ndning 辰r s奪 motivationsdriven att det 辰r sv奪rt att p奪verka/f旦rb辰ttra 旦nskad effekt, oavsett hur d奪lig upplevelsen 辰r. Exempel: Inneh奪ll som en bara kan komma 奪t p奪 ett st辰lle: Game of Thrones Uppgifter som en bara kan l旦sa p奪 ett st辰lle: k旦pa konsertbiljetter N辰r en redan har gjort sitt val: boka tid hos plastikkirurg F旦rs旦k att f旦rst f旦rst奪 hur stor motivationen 辰r hos anv辰ndarna, om de kan genomf旦ra processen p奪 andra s辰tt eller hos konkurrenter. Och hur h旦ga barri辰rerna 辰r f旦r alternativa s辰tt.
- 81. #15 Jag har lagt ned analystid p奪 saker som jag inte kan p奪verka
- 82. L辰gg inte tid p奪 arbete som riskerar att bli waste Organisationer som s辰ger att de jobbar datadrivet men bara agerar bara p奪 r辰tt data N辰r metoder anv辰nds p奪 felaktigt s辰tt T.ex. A/B-test p奪 p奪 tok f旦r lite trafik N辰r det finns rigida id辿er kring vad som ska g旦ras, trots p奪 f旦rhand uppenbart begr辰nsat v辰rde T.ex. experiment som 辰r uppsatta s奪 att de inte leder till l辰rande N辰r det finns sm奪 m旦jligheter att justera sp奪rning, T.ex. hos f旦retag som saknar tag management-system och samtidigt har f奪 releaser.
- 83. Hantera risk f旦r analytics-waste Kolla upp organisationens/teamets kultur, politik, bemanning och andra f旦ruts辰ttningar innan du tackar ja till uppdrag. En bra fr奪ga f旦r att kolla kulturen 辰r: N辰r tog ni senast bort en skeppad feature fr奪n er produkt?. Svaret visar ofta p奪 hur v辰l organisationen f旦ljer upp och agerar p奪 data.
- 84. #16 Jag har jobbat som specialist utanf旦r utvecklingsteamet
- 85. Varf旦r 辰r det en dum id辿? Det 辰r sv奪rt att p奪verka prioriteringar i backloggen (t.ex. features och sp奪rning som 辰r vitala f旦r ditt analysarbete) Det blir ofta en extra uppf旦rsbacke trov辰rdighetsm辰ssigt n辰r en presenterar analyser och f旦resl奪r hypoteser att validera (Not invented here-syndromet) Det 辰r l辰tt att missa produktjusteringar, buggar och insikter som bara kommuniceras informellt inom teamet Avst奪ndet mellan analytiker och UX/konceptutvecklare blir f旦r stort
- 86. Om du verkligen vill f旦r辰ndra Tacka nej till analysarbete utanf旦r utvecklingsteam om det inte finns starka sk辰l Utv辰xlingen 辰r n辰stan alltid st旦rre n辰r dina metoder naturligt integreras i det vanliga produktutvecklingsarbetet: i research i hypotesvalidering i uppf旦ljning i prioritering F旦r辰ndringen sker d奪 organiskt och h奪llbart. Och blir mycket mindre personberoende.