Som man ropar i skogen

Det där med statistik är kul. Jag kan sitta i timmar och gräva i Google analytics och när vi för flera år sedan gjorde ett par läsarundersökningar på hd.se och fick in 1700 svar på bara ett par dagar så var det som en liten orgasm.

Men det är också en konst, en svår sådan. Man måste vara försiktig med siffrorna, och ett begrepp att alltid ha i bakhuvudet är klassikern ”som man ropar i skogen får man svar”. Just för att det är 1) viktigt med stats och 2) toksvårt har jag en professionell analytiker i mitt Mindpark-team. Det känns tryggt.

Dock behövde jag inte fråga Erik när det gällde luckan i analyserna av rapporten Bloggsverige 3 som publicerades på Media Culpa i tisdags. Missförstå mig inte – undersökningen är utmärkt och jag är otroligt imponerad över Hans Kullins insats. Hittar massor med föda för tanken där. Men…

Den allmänna slutsatsen, att unga kvinnor tar över i bloggosfären, måste jag protestera mot. Inte för det inte kan vara så, utan för att det inte går att hävda det med ledning av undersökningen. Bloggosfären har plockat upp det, så klart, och jag är förvånad över att ingen har yttrat ett eftertankens ord. Med tanke på hur mycket pisk Twingly report brukar få för att den bygger på ett begränsat universum borde något gjort samma koppling här.

För det enda undersökningen egentligen visar är vad de anser som valt att svara på enkäten. En lika sann slutsats skulle alltså kunna vara att ”Unga kvinnor är mer benägna att svara på en internetbaserad enkät”. Eftersom man inte slumpvis valt ut en population får man en stor osäkerhet i urvalet. Länken till undersökningen har kanske varit mer populär att skicka runt bland unga kvinnor som gillar vardagsbloggar och inte använder rss-läsare – helt enkelt.

Jämför med att HD skulle gå ut med en enkät, baserad på sitt prenumerationsregister, och fråga om man prenumererar på Helsingborgs Dagblad. Självklart blir det ett snett resultat, och svar som inte går att ta som hela saningen. Extremt exempel, men i grunden samma problem. Det där med urvalsgrupp är en hel vetenskap, liksom så mycket runt undersökningsmetodik. Det finns en ganska bra sammanfattning om undersökningar på TU:s sajt, och här kan man också läsa specifikt om urvalsram.

Men säger då någon: man kan ju jämföra med tidigare undersökningar och se tendenser och förändringar. Men inte ens det funkar om du inte har koll på urvalsramen. För att fortsätta på exemplet ovan: om HD nästa vecka frågar pendlare i stockholms tunnelbana samma fråga – då skulle det se ut som om man gick från 100% till 0% prenumeranter. På en vecka. Inte ens jag tror att det kommer att gå så snabbt ;)

På nätet, i bloggosfären, finns det en flockmentalitet. Precis som i verkliga livet. I våra relativt väl definierade bubblor är det lätt hänt att det som är hur stort som helst i en sfär knappt ens finns i en annan. En gång för evigheter sedan skrev jag i min gamla blogg om hur ett antal bloggare relativt lätt kunde ”spela” Bloggportalen och knuff.se och trots att de egentligen var ganska få ge intryck av ett folkuppror. Det är svagheten i mekaniska listor, och det är i förlängningen svagheten i en undersökning som inte bygger på en rättvisande urvalsram. Bara så!

Men ändå, och igen: jag applåderar undersökningen. Men ta den för vad den är. Min kritik riktas inte mot Kullin (som själv skriver i rapporten: ”Det innebär att resultaten i enkäten endast med säkerhet är representativt för respondenterna och inte med nödvändighet för alla svenska bloggare och bloggläsare.”), utan alla som okritiskt plockat upp en bra rubbe utan att tänka efter.

(Även utanför bloggosfären tar man upp den lika okritisk. Tex i Ny teknik med “Kvinnor är nu flitigast på att blogga“, svd.se om att “Bloggsverige blir allt yngre“, IDG: “Unga tjejer dominerar bloggandet” och Metro, länklösa eftersom man slarvade med cred till Hans, som drar till med rubriken: “Mode dominerar bloggvärlden”.)

26 thoughts on “Som man ropar i skogen”

  1. Helt korrekta iakttagelser. Men nyckeln här är att Hans har gjort tre stycken liknande undersökningar. Om urvalet i samtliga tre Bloggsverige skett på samma/liknande (om än skeva) sätt går det ändå att dra slutsatser om varthän det barkar genom att jämföra med de tidigare omgångarna. Det viktiga *egentligen* är ju inte de absoluta talen, utan trenden.

    Men om urvalet skett på samma premisser nu som vid de två tidigare undersökningarna vet jag inte. Hans?

    Reply
  2. Helt korrekta iakttagelser. Men nyckeln här är att Hans har gjort tre stycken liknande undersökningar. Om urvalet i samtliga tre Bloggsverige skett på samma/liknande (om än skeva) sätt går det ändå att dra slutsatser om varthän det barkar genom att jämföra med de tidigare omgångarna. Det viktiga *egentligen* är ju inte de absoluta talen, utan trenden.

    Men om urvalet skett på samma premisser nu som vid de två tidigare undersökningarna vet jag inte. Hans?

    Reply
  3. Helt korrekta iakttagelser. Men nyckeln här är att Hans har gjort tre stycken liknande undersökningar. Om urvalet i samtliga tre Bloggsverige skett på samma/liknande (om än skeva) sätt går det ändå att dra slutsatser om varthän det barkar genom att jämföra med de tidigare omgångarna. Det viktiga *egentligen* är ju inte de absoluta talen, utan trenden.

    Men om urvalet skett på samma premisser nu som vid de två tidigare undersökningarna vet jag inte. Hans?

    Reply
  4. Helt korrekta iakttagelser. Men nyckeln här är att Hans har gjort tre stycken liknande undersökningar. Om urvalet i samtliga tre Bloggsverige skett på samma/liknande (om än skeva) sätt går det ändå att dra slutsatser om varthän det barkar genom att jämföra med de tidigare omgångarna. Det viktiga *egentligen* är ju inte de absoluta talen, utan trenden.

    Men om urvalet skett på samma premisser nu som vid de två tidigare undersökningarna vet jag inte. Hans?

    Reply
  5. Helt korrekta iakttagelser. Men nyckeln här är att Hans har gjort tre stycken liknande undersökningar. Om urvalet i samtliga tre Bloggsverige skett på samma/liknande (om än skeva) sätt går det ändå att dra slutsatser om varthän det barkar genom att jämföra med de tidigare omgångarna. Det viktiga *egentligen* är ju inte de absoluta talen, utan trenden.

    Men om urvalet skett på samma premisser nu som vid de två tidigare undersökningarna vet jag inte. Hans?

    Reply
  6. Enligt Media Culpa så skedde urvalet med helt öppen insamling och genom länk-distribution: http://www.kullin.net/2008/01/bloggsverige-3-ny-bloggenkt.html

    Speciellt steg två kan vara något som har medfört att det skett en viss snedfördelning i urvalet, då kanske få tog sig tid att ta det steget.

    En intressant fråga vore ju hur lång tid det tog att samla in respondenterna den här gången jmf med tidigare år. Det ser ut som det gick på ett dygn, innan intaget stängdes – och en så kort tidsperiod vrider ju med alla sannolikhet också urvalsramen.

    Sammantaget tolkar jag det här som att det är omöjligt att säga att urvalsrmen varit sig lik från år till år, och därmed faller också möjligheten att utläsa tendenser. IMHO.

    Reply
  7. Enligt Media Culpa så skedde urvalet med helt öppen insamling och genom länk-distribution: http://www.kullin.net/2008/01/bloggsverige-3-ny-bloggenkt.html

    Speciellt steg två kan vara något som har medfört att det skett en viss snedfördelning i urvalet, då kanske få tog sig tid att ta det steget.

    En intressant fråga vore ju hur lång tid det tog att samla in respondenterna den här gången jmf med tidigare år. Det ser ut som det gick på ett dygn, innan intaget stängdes – och en så kort tidsperiod vrider ju med alla sannolikhet också urvalsramen.

    Sammantaget tolkar jag det här som att det är omöjligt att säga att urvalsrmen varit sig lik från år till år, och därmed faller också möjligheten att utläsa tendenser. IMHO.

    Reply
  8. Enligt Media Culpa så skedde urvalet med helt öppen insamling och genom länk-distribution: http://www.kullin.net/2008/01/bloggsverige-3-ny-bloggenkt.html

    Speciellt steg två kan vara något som har medfört att det skett en viss snedfördelning i urvalet, då kanske få tog sig tid att ta det steget.

    En intressant fråga vore ju hur lång tid det tog att samla in respondenterna den här gången jmf med tidigare år. Det ser ut som det gick på ett dygn, innan intaget stängdes – och en så kort tidsperiod vrider ju med alla sannolikhet också urvalsramen.

    Sammantaget tolkar jag det här som att det är omöjligt att säga att urvalsrmen varit sig lik från år till år, och därmed faller också möjligheten att utläsa tendenser. IMHO.

    Reply
  9. Enligt Media Culpa så skedde urvalet med helt öppen insamling och genom länk-distribution: http://www.kullin.net/2008/01/bloggsverige-3-ny-bloggenkt.html

    Speciellt steg två kan vara något som har medfört att det skett en viss snedfördelning i urvalet, då kanske få tog sig tid att ta det steget.

    En intressant fråga vore ju hur lång tid det tog att samla in respondenterna den här gången jmf med tidigare år. Det ser ut som det gick på ett dygn, innan intaget stängdes – och en så kort tidsperiod vrider ju med alla sannolikhet också urvalsramen.

    Sammantaget tolkar jag det här som att det är omöjligt att säga att urvalsrmen varit sig lik från år till år, och därmed faller också möjligheten att utläsa tendenser. IMHO.

    Reply
  10. Joakims synpunkter är relevanta (minus exemplet med HD). Samma kritik kom även från statistiker vid förra enkäten och jag har varit tydlig med att det är ett bekvämlighetsurval.

    Jag ser det såhär. Ska man ha en statistiskt säkerställd undersökning som går att jämföra år från år så ska den ske genom att man går tillväga på samma sätt och väljer respondenter slumpmässigt ur en viss population. Det har jag inte gjort, så då kan vi därmed lämna diskussionen om enkäten är “sann” eller inte.

    Sedan har jag strävat efter att göra ett så brett urval som möjligt iallafall, men det gör ju ingen statistiker lycklig. Urvalet har som tidigare skett via ett drygt tjugotal olika bloggar som länkat till enkäten och denna gång dessutom via en not till samtliga 58000 bloggare på blogg.se/webblogg.se.

    Jag anser att samtliga tre enkäter ger en trolig bild över läget sett till de breda trenderna. Det är klokt att inte ta det som en sanning, men resultatet kan ändå vara en grund för vidare diskussioner. Eftersom jag faktiskt betalar för enkäten ur egen ficka är jag beredd att teama upp med en finansiär för att göra den statistiskt säkerställd nästa gång.

    Reply
  11. Joakims synpunkter är relevanta (minus exemplet med HD). Samma kritik kom även från statistiker vid förra enkäten och jag har varit tydlig med att det är ett bekvämlighetsurval.

    Jag ser det såhär. Ska man ha en statistiskt säkerställd undersökning som går att jämföra år från år så ska den ske genom att man går tillväga på samma sätt och väljer respondenter slumpmässigt ur en viss population. Det har jag inte gjort, så då kan vi därmed lämna diskussionen om enkäten är “sann” eller inte.

    Sedan har jag strävat efter att göra ett så brett urval som möjligt iallafall, men det gör ju ingen statistiker lycklig. Urvalet har som tidigare skett via ett drygt tjugotal olika bloggar som länkat till enkäten och denna gång dessutom via en not till samtliga 58000 bloggare på blogg.se/webblogg.se.

    Jag anser att samtliga tre enkäter ger en trolig bild över läget sett till de breda trenderna. Det är klokt att inte ta det som en sanning, men resultatet kan ändå vara en grund för vidare diskussioner. Eftersom jag faktiskt betalar för enkäten ur egen ficka är jag beredd att teama upp med en finansiär för att göra den statistiskt säkerställd nästa gång.

    Reply
  12. Joakims synpunkter är relevanta (minus exemplet med HD). Samma kritik kom även från statistiker vid förra enkäten och jag har varit tydlig med att det är ett bekvämlighetsurval.

    Jag ser det såhär. Ska man ha en statistiskt säkerställd undersökning som går att jämföra år från år så ska den ske genom att man går tillväga på samma sätt och väljer respondenter slumpmässigt ur en viss population. Det har jag inte gjort, så då kan vi därmed lämna diskussionen om enkäten är “sann” eller inte.

    Sedan har jag strävat efter att göra ett så brett urval som möjligt iallafall, men det gör ju ingen statistiker lycklig. Urvalet har som tidigare skett via ett drygt tjugotal olika bloggar som länkat till enkäten och denna gång dessutom via en not till samtliga 58000 bloggare på blogg.se/webblogg.se.

    Jag anser att samtliga tre enkäter ger en trolig bild över läget sett till de breda trenderna. Det är klokt att inte ta det som en sanning, men resultatet kan ändå vara en grund för vidare diskussioner. Eftersom jag faktiskt betalar för enkäten ur egen ficka är jag beredd att teama upp med en finansiär för att göra den statistiskt säkerställd nästa gång.

    Reply
  13. Joakims synpunkter är relevanta (minus exemplet med HD). Samma kritik kom även från statistiker vid förra enkäten och jag har varit tydlig med att det är ett bekvämlighetsurval.

    Jag ser det såhär. Ska man ha en statistiskt säkerställd undersökning som går att jämföra år från år så ska den ske genom att man går tillväga på samma sätt och väljer respondenter slumpmässigt ur en viss population. Det har jag inte gjort, så då kan vi därmed lämna diskussionen om enkäten är “sann” eller inte.

    Sedan har jag strävat efter att göra ett så brett urval som möjligt iallafall, men det gör ju ingen statistiker lycklig. Urvalet har som tidigare skett via ett drygt tjugotal olika bloggar som länkat till enkäten och denna gång dessutom via en not till samtliga 58000 bloggare på blogg.se/webblogg.se.

    Jag anser att samtliga tre enkäter ger en trolig bild över läget sett till de breda trenderna. Det är klokt att inte ta det som en sanning, men resultatet kan ändå vara en grund för vidare diskussioner. Eftersom jag faktiskt betalar för enkäten ur egen ficka är jag beredd att teama upp med en finansiär för att göra den statistiskt säkerställd nästa gång.

    Reply
  14. @Hans: Låt oss ta ett samtal om det där vid tillfälle. Jag kan mycket väl tänka mig att det vore ett bra spons-projekt för Mindpark. Du har bred kompetens och ett fantastiskt engagemang. Kan vi sy ihop något vore det kanon. Kanske redan ett första varv till våren så vi kan göra två om året och snabbt börja bygga upp en ny bas.

    (Not: har fått repons från flera håll, alla manliga oldtime-bloggers, om att de inte hann in och svara i tid innan den stängde. Så helt ovetenskapligt är min aning att det kan ha varit en större skevhet i år, just pga trycket av respondenter).

    Reply
  15. @Hans: Låt oss ta ett samtal om det där vid tillfälle. Jag kan mycket väl tänka mig att det vore ett bra spons-projekt för Mindpark. Du har bred kompetens och ett fantastiskt engagemang. Kan vi sy ihop något vore det kanon. Kanske redan ett första varv till våren så vi kan göra två om året och snabbt börja bygga upp en ny bas.

    (Not: har fått repons från flera håll, alla manliga oldtime-bloggers, om att de inte hann in och svara i tid innan den stängde. Så helt ovetenskapligt är min aning att det kan ha varit en större skevhet i år, just pga trycket av respondenter).

    Reply
  16. @Hans: Låt oss ta ett samtal om det där vid tillfälle. Jag kan mycket väl tänka mig att det vore ett bra spons-projekt för Mindpark. Du har bred kompetens och ett fantastiskt engagemang. Kan vi sy ihop något vore det kanon. Kanske redan ett första varv till våren så vi kan göra två om året och snabbt börja bygga upp en ny bas.

    (Not: har fått repons från flera håll, alla manliga oldtime-bloggers, om att de inte hann in och svara i tid innan den stängde. Så helt ovetenskapligt är min aning att det kan ha varit en större skevhet i år, just pga trycket av respondenter).

    Reply
  17. @Hans: Låt oss ta ett samtal om det där vid tillfälle. Jag kan mycket väl tänka mig att det vore ett bra spons-projekt för Mindpark. Du har bred kompetens och ett fantastiskt engagemang. Kan vi sy ihop något vore det kanon. Kanske redan ett första varv till våren så vi kan göra två om året och snabbt börja bygga upp en ny bas.

    (Not: har fått repons från flera håll, alla manliga oldtime-bloggers, om att de inte hann in och svara i tid innan den stängde. Så helt ovetenskapligt är min aning att det kan ha varit en större skevhet i år, just pga trycket av respondenter).

    Reply
  18. @Hans: Och du skriver ju så klokt “Det är klokt att inte ta det som en sanning, men resultatet kan ändå vara en grund för vidare diskussioner” – och det var just diskussionen som jag saknade. Det togs som en sanning, om du tittar på det absoluta flertalet av de medier och bloggar som rapporterade om det. NU diskuterar vi ;)

    Reply
  19. @Hans: Och du skriver ju så klokt “Det är klokt att inte ta det som en sanning, men resultatet kan ändå vara en grund för vidare diskussioner” – och det var just diskussionen som jag saknade. Det togs som en sanning, om du tittar på det absoluta flertalet av de medier och bloggar som rapporterade om det. NU diskuterar vi ;)

    Reply
  20. @Hans: Och du skriver ju så klokt “Det är klokt att inte ta det som en sanning, men resultatet kan ändå vara en grund för vidare diskussioner” – och det var just diskussionen som jag saknade. Det togs som en sanning, om du tittar på det absoluta flertalet av de medier och bloggar som rapporterade om det. NU diskuterar vi ;)

    Reply
  21. @Hans: Och du skriver ju så klokt “Det är klokt att inte ta det som en sanning, men resultatet kan ändå vara en grund för vidare diskussioner” – och det var just diskussionen som jag saknade. Det togs som en sanning, om du tittar på det absoluta flertalet av de medier och bloggar som rapporterade om det. NU diskuterar vi ;)

    Reply
  22. Så du menar att gamla gubbar är långsammare än unga tjejer ;-)

    Jag tar till mig er vänliga invit och suger på den en stund. På det sätt jag lagt upp det har det kostat mig några hundralappar per gång, och det är ju inte mycket till investering, men om man ska utvidga det hela så tänker jag inte ta hela kostnaden ur egen plånbok. Jag kan inte servera mitt personliga varumärke till middag hemma, det är svårt nog att få ungarna att käka pannkakor…

    DN lägger in brasklappar i dagens artikel (vilket jag också varit tydlig med när jag pratat med olika journalister):
    http://www.dn.se/DNet/jsp/polopoly.jsp?d=3130&a=738753

    Reply
  23. Så du menar att gamla gubbar är långsammare än unga tjejer ;-)

    Jag tar till mig er vänliga invit och suger på den en stund. På det sätt jag lagt upp det har det kostat mig några hundralappar per gång, och det är ju inte mycket till investering, men om man ska utvidga det hela så tänker jag inte ta hela kostnaden ur egen plånbok. Jag kan inte servera mitt personliga varumärke till middag hemma, det är svårt nog att få ungarna att käka pannkakor…

    DN lägger in brasklappar i dagens artikel (vilket jag också varit tydlig med när jag pratat med olika journalister):
    http://www.dn.se/DNet/jsp/polopoly.jsp?d=3130&a=738753

    Reply
  24. Så du menar att gamla gubbar är långsammare än unga tjejer ;-)

    Jag tar till mig er vänliga invit och suger på den en stund. På det sätt jag lagt upp det har det kostat mig några hundralappar per gång, och det är ju inte mycket till investering, men om man ska utvidga det hela så tänker jag inte ta hela kostnaden ur egen plånbok. Jag kan inte servera mitt personliga varumärke till middag hemma, det är svårt nog att få ungarna att käka pannkakor…

    DN lägger in brasklappar i dagens artikel (vilket jag också varit tydlig med när jag pratat med olika journalister):
    http://www.dn.se/DNet/jsp/polopoly.jsp?d=3130&a=738753

    Reply
  25. Så du menar att gamla gubbar är långsammare än unga tjejer ;-)

    Jag tar till mig er vänliga invit och suger på den en stund. På det sätt jag lagt upp det har det kostat mig några hundralappar per gång, och det är ju inte mycket till investering, men om man ska utvidga det hela så tänker jag inte ta hela kostnaden ur egen plånbok. Jag kan inte servera mitt personliga varumärke till middag hemma, det är svårt nog att få ungarna att käka pannkakor…

    DN lägger in brasklappar i dagens artikel (vilket jag också varit tydlig med när jag pratat med olika journalister):
    http://www.dn.se/DNet/jsp/polopoly.jsp?d=3130&a=738753

    Reply

Leave a Reply to Joakim JardenbergCancel reply