Grunderna i datadriven utveckling
1 like858 views
S奪 kommer du ig奪ng och jobbar datadrivet.
Grunderna i datadriven utveckling
- 1. Grunderna i datadriven utveckling Daniel Hansson 15 mars 2018
- 3. Det enda s辰ttet att vinna 辰r att l辰ra sig snabbare 辰n n奪gon annan - Eric Ries, 2012
- 4. En backlog 辰r endast en lista av otestade hypoteser - Jeff Gothelf, 2014
- 5. - Jeff Gothelf, 2014 Det enda acceptans- kriteriet 辰r business outcome
- 6. Best辰llni ng F旦rstudie Utveckling F旦rvaltning SPECADE OCH PRIORITERADE KRAV PROJEKTPENGARNA SLUT LANSERING Anv辰ndningstest Justering av krav FRVALTINGSORGANISATION HOS LEVERANTR ELLER EGEN FRVALTNING VANLIGA PROJEKT
- 7. vning: Vilka risker finns med den h辰r projektmodellen? Diskutera i grupper om tre i fem minuter.
- 8. vning: Hur skulle du definiera waste/svinn i ett projekt (eller linjearbete)? Ge g辰rna exempel fr奪n ditt arbete. Diskutera i grupper om tre i fem minuter.
- 9. Best辰llni ng F旦rstudie Utveckling F旦rvaltning SPECADE OCH PRIORITERADE KRAV PROJEKTPENGARNA SLUT LANSERING Anv辰ndningstest Justering av krav FRVALTINGSORGANISATION HOS LEVERANTR ELLER EGEN FRVALTNING VANLIGA PROJEKT
- 10. Best辰llnin g Initiativ i teamet Research Design studio Hypo- teser Experime nt Ut- veckling IBLAND SKER FRSTA KONTAKT MED BESTLLARE HR Utv辰rderi ng BEROENDE P KOMPLEXITET, RISK OCH KOSTNAD FR ATT TESTA ALTERNATIV MODELL
- 11. Ett datadrivet arbetss辰tt 旦kar chansen att skapa 旦nskade effekter.
- 12. Ett datadrivet arbetss辰tt minskar risken f旦r waste.
- 14. vning: Vad tror ni kr辰vs f旦r att b旦rja jobba p奪 ett datadrivet s辰tt? Diskutera tre och tre i fem minuter.
- 17. Mandat f旦r att g旦ra misstag
- 18. Gemensamma m奪l som 辰r l辰tta att f旦rst奪
- 20. Del 1: Definitioner Viktiga begrepp att k辰nna till
- 21. CTR Konverter- ingsgrad Konverter- ing / M奪l- uppfyllnad Bes旦k Unika bes旦kare Sidvisning Bounce Exit % Search refinement % Search exit nskade effekter Optimering
- 22. CTR Konverter- ingsgrad Konverter- ing / M奪l- uppfyllnad Bes旦k Unika bes旦kare Sidvisning Bounce Exit % Search refinement % Search exit nskade effekter Optimering
- 23. Del 2: Exempel: Svtplay.se Fr奪n utforskande best辰llning till validerad hypotes
- 24. Best辰llnin g Initiativ i teamet Research Design studio Hypo- teser Experime nt Ut- veckling IBLAND SKER FRSTA KONTAKT MED BESTLLARE HR Utv辰rderi ng BEROENDE P KOMPLEXITET, RISK OCH KOSTNAD FR ATT TESTA ALTERNATIV MODELL
- 25. Uppdrag: Utforska personalisering av Svtplay.se utan inloggning
- 26. Initiativ i teamet Research Design studio Hypo- teser Experime nt Ut- veckling IBLAND SKER FRSTA KONTAKT MED BESTLLARE HR Utv辰rderi ng BEROENDE P KOMPLEXITET, RISK OCH KOSTNAD FR ATT TESTA Best辰llnin g
- 28. Research Design studio Hypo- teser Experime nt Ut- veckling IBLAND SKER FRSTA KONTAKT MED BESTLLARE HR Utv辰rderi ng BEROENDE P KOMPLEXITET, RISK OCH KOSTNAD FR ATT TESTA Best辰llnin g Initiativ i teamet
- 29. Design studio Hypo- teser Experime nt Ut- veckling IBLAND SKER FRSTA KONTAKT MED BESTLLARE HR Utv辰rderi ng BEROENDE P KOMPLEXITET, RISK OCH KOSTNAD FR ATT TESTA Best辰llnin g Initiativ i teamet Research
- 30. Hur mycket research? Tillr辰ckligt mycket f旦r att kunna formulera tillr辰ckligt pricks辰kra hypoteser
- 32. vning: Ta fram tv奪 m辰tbara m奪l som ni tror 辰r relevanta f旦r SVT Play. Diskutera i grupper om tre i fem minuter.
- 34. Vilken enhet man anv辰nder? Var i landet man bor? Tidpunkt man anv辰nder tj辰nsten? Tidigare beteende? Inneh奪llet man tittat p奪 just nu? Vad kan p奪verka anpassning? N辰r 辰r skillnaden s奪 stor att anpassning av gr辰nssnitt och inneh奪ll kan leda till b辰ttre m奪luppfyllnad?
- 36. Var finns potentialen att f旦rb辰ttra relevansen? Vi vill l辰gga tid och resurser d辰r det ger b辰st effekt. Det 辰r ingen id辿 att personalisera och anpassa d辰r effekten 辰r liten. Startsidan? Mobila enheter? Video- sidan? Slut- sk辰rmen? S旦k? Barn?
- 38. vning: Var i tj辰nsten - p奪 vilka vyer - tror ni att potentialen finns till att 旦ka videostarter? Diskutera i grupper om fyra i fem minuter.
- 42. Listvisningar 15 186 320 Listklick 1 533 000 Videostarter (4,04%) 613 060 10,1% 40,0% Exempel: Sista chansen
- 43. # LISTA STARTADE MINUTER 1 Startsida - Skyltf旦nster 19 642 380 2 Startsida - Popul辰rast just nu 15 393 240 3 Startsida - Senaste program 12 186 140 4 Video - Mer fr奪n Barn 7 248 300 5 Startsida - Sista chansen 5 969 020 6 Nyheter - Senaste riksnyheter 5 114 080 7 Film & Drama - Skyltf旦nster 4 548 080 8 Startsida - Senaste nyheter 3 324 520 9 Video - Mer fr奪n Film & Drama 2 446 900
- 45. Best辰llnin g Initiativ i teamet Hypo- teser Experime nt Ut- veckling IBLAND SKER FRSTA KONTAKT MED BESTLLARE HR Utv辰rderi ng BEROENDE P KOMPLEXITET, RISK OCH KOSTNAD FR ATT TESTA Research Design studio
- 46. Design studio
- 47. Design studio Tv辰rfunktionellt 2-3 rundor Se upp f旦r tendenser till att bli urvattnad kommitt辿design
- 48. vning: Brainstorma fram en id辿 som ni tror kan 旦ka antalet videostarter p奪 SVT Play. Diskutera i grupper om tre i tio minuter.
- 49. ID 1 ID 2 ID 3
- 50. Best辰llnin g Initiativ i teamet Experime nt Ut- veckling IBLAND SKER FRSTA KONTAKT MED BESTLLARE HR Utv辰rderi ng BEROENDE P KOMPLEXITET, RISK OCH KOSTNAD FR ATT TESTA Research Design studio Hypo- teser
- 51. Hypotes MVP och m辰tpunkter Rekommendationer Anpassning av rekommendationer p奪 startsidan efter tidpunkt, veckodag och enhet b旦r 旦ka CTR och videostarter. A/B-test d辰r vi l辰gger till tema- och rekommenderatrader baserat p奪 tidpunkt, enhet och veckodag. Total CTR f旦r startsidan b旦r 旦ka med minst 10%. Nya rader b旦r ha 5-7% CTR beroende p奪 placering. Videostarter 5% b辰ttre 辰n original. Mer relevanta rekommendationer p奪 videosidan 旦kar videostarter och tittad tid A/B-test d辰r vi byter ut Mer inom <kategori>-listan med rekommendationer baserat p奪 verkligt sekvenstittande. Testa p奪 9 olika program i olika genres som 辰r relevanta f旦r m奪lgruppen. Testa p奪 2-3% av anv辰ndarna. CTR b旦r vara 30% b辰ttre 辰n original. Videostarter 10% b辰ttre. Anpassning av rekommendationer efter geografisk plats b旦r 旦ka videostarter och tittad tid. Blockerad, extra research visar p奪 liten potential. Genom att pusha f旦r Barnplay f旦r anv辰ndare som tittar mycket p奪 barnrelaterat inneh奪ll kan vi ge dessa anv辰ndare en b辰ttre upplevelse. Anv辰nd local storage f旦r att spara ner barntittande. Visa playpushar i s旦k, start, videosida, titelsida samt kategorisidan f旦r barn. Konverteringsgrad (klick p奪 push) b旦r vara 25%. F旦r 奪terkommande barnbes旦kare b旦r konverteringsgrad vara 50%. Testa p奪 5% av bes旦kare under 1 m奪nad.
- 52. Hypotes MVP och m辰tpunkter Personlig funktionalitet En yta p奪 startsidan som visar senast sedda program b旦r 旦ka CTR samt videostarter. Spara ner i local storage/kaka likt barnkanalen g旦r. Visa ny rad under karusell. Validering: CTR > 5% + listan genererar 25% av totala videostarter. Testa p奪 3% av anv辰ndare under 1 m奪nad. En yta p奪 startsidan som ger anv辰ndaren m旦jlighet att forts辰tta att titta p奪 ej avslutade program b旦r 旦ka: CTR, videostarter samt tittad tid. Spara ner i local storage/kaka. Visa ny rad ovanf旦r karusell. Validering: CTR > 4% + klickkvalitet p奪 40%. Testa p奪 3% av anv辰ndare under 1 m奪nad. En Visat-markering p奪 program som anv辰ndaren tittat p奪 b旦r f旦rb辰ttra den personliga upplevelsen och leda till fler videostarter. Spara ner i local storage/kaka. 5% 旦kad total CTR i listor med Visat-element j辰mf旦rt med nul辰ge. ven konvertering fr奪n dessa listor ska vara 5% b辰ttre 辰n nul辰ge. Testa p奪 3% av anv辰ndare under 1 m奪nad.
- 54. Best辰llnin g Initiativ i teamet Ut- veckling IBLAND SKER FRSTA KONTAKT MED BESTLLARE HR Utv辰rderi ng BEROENDE P KOMPLEXITET, RISK OCH KOSTNAD FR ATT TESTA Research Design studio Hypo- teser Experime nt
- 55. MVP Dumt A/B-test Bygg minsta m旦jliga funktionalitet D旦lj/visa A/B-test Validering
- 56. MVP Bygg minsta m旦jliga funktionalitet D旦lj/visa A/B-test Validering Dumt A/B-test
- 57. Hypotes: Anpassning av rekommendationer p奪 startsidan efter tidpunkt, veckodag och enhet b旦r 旦ka CTR och antalet videostarter.
- 59. Exits: 20% Minska Program: 15% Kanaler: 5% S旦k - autocomplete: 12% S旦k - resultatsida: 4% Videosida: 34% ka
- 60. Exits: 20% Minska Program: 15% Kanaler: 5% S旦k - autocomplete: 12% S旦k - resultatsida: 4% Videosida: 34% ka
- 61. Rader / Listor har upp mot 25% CTR vid vissa tider och f旦r vissa enhetstyper. Potentialen? Huvudsaklig m辰tpunkt 辰r total CTR f旦r alla listor. Tittar vi bara p奪 CTR f旦r nya rader missar vi eventuell kannibalism, d.v.s. CTR-tapp p奪 旦vriga rader.
- 62. vning: Diskutera vad som 辰r det minsta vi beh旦ver bygga f旦r att validera om det finns n奪gon potential i hypotesen. Hur ska ni utv辰rdera? Diskutera i grupper om tre i fem minuter.
- 64. Exempel p奪 test: Drama
- 65. A: Original (24,6% CTR) B: Rekommenderat (25,0% CTR = +1,5%) C: Film och drama (25,6% CTR = + 3,8%) D: TV-serier + Film (23,7% CTR = - 3,9%)
- 67. Exempel p奪 test: Nyheter
- 68. A: Original Totalt alla rader: 17,7% CTR. Nyheter: 3,6% B: Egen nyhetsrad tidigt p奪 morgonen Totalt alla rader: 19,7% CTR (+11,2%) Nyheter: 6,3% (+75%)
- 69. Hypotes: Anpassning av rekommendationer p奪 startsidan efter tidpunkt, veckodag och enhet b旦r 旦ka CTR och antalet videostarter.
- 70. Resultat Rekommendationer som extra rad(er) ger 4-6% fler totalt antal klick p奪 inneh奪ll i raderna p奪 startsidan (fr奪n 20,45% till c:a 21,40% i aggregerad CTR). Dock 辰r den statistiska signifikansen l奪g till mycket l奪g. Originalet vann tre av nio test. Majoriteten av klick p奪 nya rader kannibaliserar p奪 klicken som sker p奪 de gamla raderna (popl辰rast, live, sista chansen, senast och nyheter) Den st旦rsta skillnaden visades i nyhetstestet d辰r klick p奪 nyheter 旦kade med 75%. ven aggregerad CTR f旦r startsidelistor 旦kade med 11,2%. N辰st b辰sta resultatet gav dokument辰rer p奪 n辰tter med 6,1% f旦rb辰ttring av total CTR.
- 71. Resultat, forts. Listor anv辰nds mycket mer s辰llan i mobile och tablet j辰mf旦rt med desktop Inneh奪llet som ligger f旦rst i listorna, framf旦rallt f旦r mobile, p奪verkar CTR f旦r raderna St旦rst m旦jlighet att n奪 ut med pushat inneh奪ll/rekommendationer verkar vara kl 19-05 p奪 vardagar i desktop. Tv奪 extra rader ger b辰st total 旦kad CTR
- 72. Hypoteser som dykt upp CTR-旦kningen f旦r extra rader ligger i intervallet 4-6%. Med 50% konvertering p奪 videosidor motsvarar detta mellan 400 000 och 625 000 extra spelningar per 奪r. Gissningsvis kannibaliserar en del av dessa extra spelningar p奪 andra spelningar som 辰nd奪 skulle ha skett. D.v.s. all extra CTR kommer inte fr奪n minskad avvisning/exits. Justerar man CTR-旦kningen med 25% kannibalism motsvarar den uppskattade 旦kningen mellan 160 000 och 220 000 extra tittade timmar per 奪r. Rekommendation: G奪 vidare med extra nyhetsrad kl 06-08 p奪 morgonen. Bygg gr辰nssnitt f旦r redakt旦rer som kan l辰gga till kluster/temarader vid behov. Bygg ingen automatiserad l旦sning f旦r optimering efter tidpunkt, enhet och veckodag.
- 73. 雨沿沿韓旦鉛逮稼庄稼乙壊岳艶壊岳
- 74. A: Original Totalt alla rader: 17,1% CTR. Nyheter: 3,5% B: Egen nyhetsrad tidigt p奪 morgonen Totalt alla rader: 19,5% CTR (+12,2%) Nyheter: 5,8% (+54%)
- 75. vning: Varf旦r ska en alltid genomf旦ra uppf旦ljningstest? Diskutera tre och tre i fem minuter.
- 77. Exempel p奪 s辰songsvariationer jag st旦ter p奪 hos SVT Tittning p奪 sport h辰nger helt ihop med r辰ttigheter. T.ex. mycket vanligare med sporttittning p奪 helger under vintern p.g.a. Vinterstudion Begr辰nsat utbud av drama under maj-augusti g旦r att tittningen g奪r ner f旦r den h辰r typen av inneh奪ll Tabl奪anv辰ndning peakar under julhelgerna Stora titlar som Julkalendern ger extra transittrafik till andra tj辰nster
- 78. J辰mf旦r med samma period tidigare 奪r
- 79. Hantera s辰songsvariationer J辰mf旦r med samma period tidigare 奪r + justera f旦r andra faktorer som kan p奪verka. T.ex. organisk tillv辰xt, inneh奪ll, kampanjer etc. Ha en tveksam inst辰llning till uppdrag d辰r du misst辰nker att s辰songsvariationer p奪verkar v辰rdet du kan skapa med ditt analysarbete. Du kan inte j辰mf旦ra med tidigare 奪r Du ska genomf旦ra A/B-test under perioder som inte 辰r signifikanta f旦r generella anv辰ndning. Dra ut historisk data f旦r l奪ng tid tillbaka f旦r att f旦rst奪 kontext och bransch. Prata med erfarna analytiker inom omr奪det.
- 80. MVP Dumt A/B-test Bygg minsta m旦jliga funktionalitet D旦lj/visa A/B-test Validering
- 81. Hypotes: En omdesignad toppkarusell, som visar mer inneh奪ll, kommer leda till total 旦kad CTR (och videostarter) fr奪n startsidan.
- 82. ASYMMETRIC LIST (8) ORIGINAL (8) TEASER GRID (4)
- 84. ASYMMETRIC LIST (8) ORIGINAL (8) TEASER GRID (4) BST: +7,4% i total CTR
- 85. REKOMMENDERATRAD (8)ASYMMETRIC LIST (8) ORIGINAL (8) TEASER GRID (7)TEASER GRID (4)
- 86. ASYMMETRIC LIST (8) ORIGINAL (8) TEASER GRID (4) BTTRE: +1,4% i total CTR REKOMMENDERATRAD (8) TEASER GRID (7)
- 87. REKOMMENDERATRAD (8)ASYMMETRIC LIST (8) ORIGINAL (8) TEASER GRID (7)TEASER GRID (4) BTTRE: +3,4% i total CTR
- 88. REKOMMENDERATRAD (8)ASYMMETRIC LIST (8) ORIGINAL (8) TEASER GRID (7)TEASER GRID (4) BST: +7,0% i total CTR
- 90. Best辰llnin g Initiativ i teamet IBLAND SKER FRSTA KONTAKT MED BESTLLARE HR Utv辰rderi ng BEROENDE P KOMPLEXITET, RISK OCH KOSTNAD FR ATT TESTA Research Design studio Hypo- teser Experime nt Ut- veckling
- 91. Best辰llnin g Initiativ i teamet IBLAND SKER FRSTA KONTAKT MED BESTLLARE HR BEROENDE P KOMPLEXITET, RISK OCH KOSTNAD FR ATT TESTA Research Design studio Hypo- teser Experime nt Ut- veckling Utv辰rderi ng
- 92. Utv辰rdering 旦ver tid Se upp f旦r kannibalism och suboptimering Bencha mot l奪ngsiktiga m奪l, t.ex. lojalitet Kontrollera eventuella s辰songsvariationer V辰nta ut f旦r辰ndringskurvan
- 96. Experiment: 旦kar MENY anv辰ndning av mobilmeny?
- 97. I sj辰lva verket kan vi inte se n奪gon positiv effekt f旦r det 旦vergripande m奪let
- 98. Exempel fr奪n ett p奪g奪ende experiment som ser ut att g奪 bra
- 99. STEG 1 9,7% (205 000) 100% (2 100 000)
- 100. Dropoff: Antal bes旦k som g奪r vidare fr奪n startsidan genom tombolan
- 102. Exempel: CTR p奪 l旦pet 旦kar ju mer redaktionellt inneh奪ll (lila) vi publicerar Samtidigt leder redaktionellt inneh奪ll till l辰gre m奪luppfyllnad, j辰mf旦rt med SVT Play-puffar (gr旦na).
- 103. A: Original B: Under popul辰rt D: ver spr奪k E: Utan historik C: Flytta popul辰rt och historik l辰ngst ned
- 104. KPI:er A: Original B: Under popul辰rt C: Flytta popul辰rt och historik sist D: ver spr奪k E: Utan historik Spenderad tid nya titlar/unik bes旦kare 00:15:18 0,00% 00:15:57 4,25% 00:18:15 19,28% 00:17:39 15,36% 00:18:19 19,72% Bes旦k/unik bes旦kare 3,98 0,00% 3,97 -0,28% 4,00 0,45% 3,94 -1,10% 3,93 -1,23% Bounce rate 15,37% 0,00% 15,65% 1,82% 15,30% -0,46% 15,35% -0,13% 15,44% 0,46% SMST BST
- 105. Vikt KPI:er A: Original B: Under popul辰rt C: Flytta popul辰rt och historik sist D: ver spr奪k E: Utan historik 1,6 Spend. tid nya titlar/unik bes旦kare (tt:mm:ss) 00:15:18 0,00% 00:15:57 4,25% 00:18:15 19,28% 00:17:39 15,36% 00:18:19 19,72% 1,5 Bes旦k/unik bes旦kare 3,98 0,00% 3,97 -0,28% 4,00 0,45% 3,94 -1,10% 3,93 -1,23% 1,4 Bounce rate 15,37% 0,00% 15,65% 1,82% 15,30% -0,46% 15,35% -0,13% 15,44% 0,46% 1,4 Spenderad tid nya titlar/bes旦k (tt:mm:ss) 00:03:50 0,00% 00:04:01 4,78% 00:04:33 18,70% 00:04:26 15,65% 00:04:39 21,30% 1,3 Nya titelstarter/unik bes旦kare 2,57 0,00% 2,69 4,39% 3,04 18,07% 2,92 13,56% 3,10 20,52% 1,3 Nya titelstarter/bes旦k 0,65 0,00% 0,68 4,64% 0,76 17,65% 0,73 13,62% 0,79 22,14% 1,0 Spenderad tid/bes旦k (tt:mm:ss) 00:26:27 0,00% 00:26:23 -0,25% 00:26:29 0,13% 00:26:42 0,95% 00:26:19 -0,50% 1,0 Spenderad tid/unik bes旦kare (tt:mm:ss) 01:45:20 0,00% 01:44:47 -0,52% 01:45:58 0,60% 01:46:22 0,98% 01:43:29 -1,76% 0,8 Videostarter/bes旦k 4,32 0,00% 4,29 -0,83% 4,28 -1,02% 4,35 0,69% 4,36 0,83% 0,8 Videostarter/unik bes旦kare 17,21 0,00% 17,02 -1,10% 17,12 -0,55% 17,34 0,73% 17,14 -0,41% Score 65 51 100 100 89 Viktad score 58 50 100 90 86 SMST BST
- 110. Risker med suboptimering Nya features och nytt inneh奪ll leder till beteende som p奪verkar de 旦vergripande m奪len negativt. Det kan handla om att ny funktionalitet lockar till sig klick och beteende som sedan leder till h旦g exit rate. Samtidigt som produktens m奪l 辰r att jobba f旦r 旦kad time spent. Den nya funktionaliteten kan ocks奪 skapa s辰mre lojalitet till produkten j辰mf旦rt med annan funktionalitet.
- 113. Hur p奪verkar en ny feature 旦vriga videokontexter?
- 115. Hantera kannibalism Inta en skeptisk h奪llning ven om ditt experiment visar p奪 bra resultat kanske det bara flyttar anv辰ndning fr奪n ett st辰lle till ett annat. Vanligt n辰r en l辰gger till eller flyttar liknande element Var noggrann med att m辰ta anv辰ndning av alla element f旦r att se hur klick flyttas, 旦kar eller minskar. Bencha mot 旦vergripande m奪l.
- 116. Exempel: G旦r du en f旦r辰ndring i en lista/element p奪 Barnplays startsida beh旦ver du ocks奪 - detaljerat - m辰ta alla andra konkurrerande element
- 117. 酷旦姻辰稼糸姻庄稼乙壊一顎姻厩温稼
- 121. Efter tre dagar har variationerna samma resultat:
- 122. Efter tre, fyra dagar har variationerna samma resultat:
- 123. 酷旦姻辰稼糸姻庄稼乙壊一顎姻厩温稼 Anv辰ndarnas change curve kan variera beroende p奪 en rad faktorer. T.ex. andel lojala anv辰ndare och hur stor f旦r辰ndringen 辰r. F旦rs旦k f旦rst奪 hur f旦r辰ndringskurvan ser ut f旦r din produkt. Titta p奪 historiska releaser (och ta med s辰songsvariationer i analysen) Prata med erfarna analytiker som kan branschen/produkten V辰nta in statistisk signifikans 旦ver 95% Vid vissa f旦r辰ndringskurvor kan signifikansen g奪 upp 旦ver 95% f旦r att sedan backa tillbaka.
- 126. Exempel: Att f旦lja upp inneh奪ll p奪 Barnkanalen
- 127. BETYG: R辰ckvidd + tittad tid + lojalitet. Lysande stj辰rna = pris 辰r inr辰knat i betyget. SEGMENT: R辰ckvidd + tittad tid + lojalitet + pris f旦r att generera en tittad timma TILLGNGLIGHET: Andel veckor som titeln genererat minst 100 unika startare. Alla siffror (f旦rutom s辰songsbetonade titlar som Julkalendern och Sommarlov) 辰r justerade till 100% tillg辰nglighet. Detta g辰ller inte unika bes旦kare som skulle bli orimligt m奪nga.
- 128. Titlar i Barnplay 2017
- 129. Egenprod Ink旦p Titlar i Barnplay 2017 H旦gpresterande och billigt H旦gpresterande men dyrt L奪gpresterande, dyrt inneh奪ll L奪gpresterare men billigt
- 130. Titlar i Barnplay 2017 H旦gpresterande inneh奪ll: Beh奪ll, k旦p in/utveckla liknande inneh奪ll samt i vissa fall exponera mer. Dyrt men bra: F旦rhandla pris/r辰ttigheter eller se 旦ver budget f旦r egenprod. L奪gpresterande och dyrt. verv辰g att avveckla de titlar som f奪tt m奪nga chanser f旦r exponering. L奪gpresterare men billigt. Nischat eller impopul辰rt och billigt. Har ev potential att skapa v辰rde vid h旦g grad av personalisering. Fungerar inte det 辰r inneh奪llet f旦rmodligen ej efterfr奪gat. I mitten
- 131. Det hems旦kta huset 100 saker att g旦ra innan high school + Pepparkornen
- 140. Best辰llnin g Initiativ i teamet IBLAND SKER FRSTA KONTAKT MED BESTLLARE HR BEROENDE P KOMPLEXITET, RISK OCH KOSTNAD FR ATT TESTA Research Design studio Hypo- teser Experime nt Ut- veckling Utv辰rderi ng
- 141. vning: G奪 igenom f旦ljande case och diskutera vilken/vilka aktiviteter som 辰r mest l辰mpliga. I grupper om tre i fem minuter
- 142. Case F旦rstudie A/B-test K旦ra p奪 Flytta tv-tabl奪n p奪 SVT.se till svtplay.se Byt position och f辰rg p奪 Play-knappen i videospelaren Byt typsnitt fr奪n Helvetica till Roboto B旦rja med autostart av videos B旦rja med personaliserade tips/rekommendationer Ta bort funktioner som filter och sortering p奪 listsidor G旦r logotypen st旦rre Byt namn p奪 rubriker i huvudmenyn ndra sorteringsordning av episoder p奪 videosida ndra utseende p奪 delaknappar
- 143. Del 3: Exempel p奪 verktyg Monitorering, analys och visualisering
- 150. Del 4: Summering R奪d och tips
- 151. Kom ih奪g att du fr辰mst jobbar med f旦r辰ndringsledning.
- 152. Det var mycket roligare innan vi b旦rjade med datadriven utveckling. Nu skickar jag bara saker till ett system.
- 153. Jobba l奪ngsiktigt mot l奪g kostnad f旦r att testa hypoteser.
- 154. Ta fram - och h奪ll fast vid - disciplinerat enkla koncept.
- 155. Prata om hypoteser och os辰kerhet ist辰llet f旦r krav.
- 156. Prioritera backlog och experiment efter vad teamet l辰r sig mest p奪.
- 158. Kommunicera l辰rande ist辰llet f旦r features
- 159. Kommunicera l辰rande ist辰llet f旦r funktioner och inneh奪ll (speciellt i demosammanhang)
- 160. Anv辰nd data f旦r att 旦ka pricks辰kerheten i dina hypoteser.
- 161. Anv辰nd data f旦r att uppskatta potentiella effekter.
- 162. Anv辰nd data f旦r att ta kontroll 旦ver produkt- och inneh奪llsutvecklingen.
- 163. Anv辰nd data f旦r att minimera waste.
- 164. Anv辰nd data f旦r att lyfta krav-, koncept-, och inneh奪llsdiskussioner till en mer rationell niv奪.
- 165. vning till n辰sta vecka: Vad kr辰vs av min organisation i form av verktyg, trafik, kultur, m辰tpunkter etc f旦r att b旦rja jobba datadrivet?