Statistik, sociala medier och #webcoast

I helgen gick knytkonferensen #webcoast av stapeln i Göteborg och en av guldsponsorerna (tack för det!) var Meltwater Buzz. Företaget sysslar med omvärldsbevakning och gör analyser av bland annat sociala medier. Bra där, men hur är det med siffrorna egentligen?

Redan inför konferensen postade man ett inlägg med siffror som jag inte riktigt förstod, och i kommentarerna fick jag inte direkt någon klarhet. Så jag satte så klart upp en egen koll över helgen, via mitt konto hos malmöföretaget Notified (som jag känner lite, men inte på något sätt är inblandad i).

Nu har Meltwater presenterat sin syn på helgens event. De skiljer sig avsevärt från de siffror jag har. Så här ser det ut med omnämnande i ”microblogs”:
Dag | Notified | Meltwater
fredag | 1013 | 968
lördag | 2413 | 616
söndag | 1100 | 210

Så här ser min graf från Notified ut

Givetvis är den här sortens statistik ingen exakt vetenskap. Men om jag jämför med siffrorna från tex Twingly, så ligger mina siffror klart bättre till än Meltwater. Just att göra en ”sanity check” mot andra källor är ett bra tips när det gäller statistik, då slipper man också göra felaktiga analyser som den vi kan läsa i Meltwaters text: ”Att antalet träffar går ned under själva evenemanget beror förhoppningsvis på att deltagarna haft fullt upp med att nätverka och ta del av intressanta sessioner”.

Jag tror att vi som var där kan skriva under på att det var ett makalöst twitter-tryck under lördagen, och då är det lite trist om analysen ska leda i annan riktning. (Dessutom anser jag att Meltwater gör fel som kallar de som twittrar mest för ”top influencers” – det är ett begrepp som brukar infatta klart fler parametrar. Men det är ju en helt annan sak;)

Vore intressant att höra vad Meltwater säger – jag är fortfarande nyfiken på vad de har haft för sökord. Det kan knappast ha varit webcoast iaf…

Har du också mätt? Hojta, det är när vi jämför som vi lär oss.

Uppdaterat: Eventuellt gör vi en rejält jämförelse. Det finns ett embryo på mediebevakare.se

18 thoughts on “Statistik, sociala medier och #webcoast”

  1. Borde vi inte helt enkelt göra en showdown någon gång – sätta upp mätningar på alla. Jag har testat alla och är inte helt tillfreds med att det är så stora skillnader. Notified missade tidigare när vi jämförde med manuell infångning osv.

    Nästa fråga är: behöver vi den kvantitativa mätningen? Vad säger den mer än andelen som har ordet X i sig.

    Reply
  2. Kul post Jocke!

    Under denna helg hade twitter problem med sina API lösningar. Beroende på vad man använder för API och sökparametrar hos twitter (search eller streaming) så har antalet träffar varierat.

    Vi blev I fredags informerade av twitters “API Policy team” att det enorma söktryck som b.la. Japankatastrofen genererat lätt till begränsningar för vissa parametrar (“such as high “rpp”, or setting “lang” to a value”).

    Min gissning är att Meltwater har sökt med parametern “lang” och notified utan.

    Har man direkt dialog med twitter går allt som oftast dessa typer av “performance issues” att lösa utan att (som I detta fall) kunden förlorar data.

    Nu jobbar dock inte jag på Meltwater utan driver ett annat bevakningsföretag. Vi skulle gärna se att du utförde en sådan här jämförelse mellan flera verktyg och kanaler och är då gärna med och blir utvärderade.

    // Jesper

    ConnyCom

    Reply
  3. Vi på Silverbakk har alltid varit för en öppen och tydlig jämförelse för att påvisa styrkor och svagheter med respektive verktyg (för de finns hos alla). Har även tidigare vid ett par tillfällen försökt få till en jämförelse av denna typ med flertalet aktörer på den svenska och internationella marknaden. Dock har ingen av dessa varit intresserade av denna typ av öppna jämförelse på lika villkor, utan hänvisar allt som oftast till att “kunderna får avgöra”.

    Tror dock det är viktigt att respektive spelare får vara med och ge tips och trix (öppet för alla så klart) för att respektive verktyg skall komma till sin rätt.

    Reply
    • Tack för länken Razmus och bra diskussionsämne Jocke!

      Jag försöker få klarhet i ovan mätningar, “Microblogs” innfattar utöver twitter vadå? Publika facebook wall posts?

      Om vi håller oss till twitter så vad jag förstår finns det två sätt att få data 1) använda twitters API 2) köpa direkt åtkomst till twitters egna firehose.

      I en artikel på mashable.com diskuterades nyligen vilka som har direkt åtkomst till Twitters Firehose.

      För småföretag och privatbruk är det inte intressant, men om för omvärldsbevakning för större företag och för flera språk blir datan ganska oanvändbar om källan inte leverar, vilket har påpekats här.

      Jag kan inte mer än att hålla med alla andra inlägg här, vi behöver bättre information om källan data hämtas från. Många av de stora aktörerna lanserade sina produkter för flera år sedan och ämnade till att läsa av forum och bloggar, de har nu snyggt blivit brandade som Social media monitoring verktyg, en sanning med modifikation. Inhämtningen av data från sociala nätverk är minimal och kommer förmodligen förbli så om inte leverantörerna köper datan från nätverken. Varför skulle twitter (läs firehose), facebook (skillnad på datan i API och vad du kan söka på som inloggad) etc ge ut datan gratis?

      Reply
  4. Hej Joakim!
    Tack för en intressant blogpost och för ditt deltagande i det fina evenemanget Webcoast. Beklagar att jag inte hunnit svara tidigare.
    Jag tycker personligen att dessa jämförelser är intressanta.
    Som kommenterats av andra, kan resultaten skilja åt mellan olika leverantörer emellanåt vid en given tidpunkt. Och som Jesper kommenterat ovan, kan anledningen till att det sökresultat vi skickat till Webcoast avviker från de du fått fram ifrån ditt håll förklaras i begränsningar i Twitters API. Detta säger jag utan att ha haft tid att tala med våra tekniker om den exakta anledningen.

    Vi sponsrade Webcoast för att vi tyckte att det var ett bra initiativ. Medvetna om ovanstående, skickade jag dem ändå i all välvilja till Webcoast för att de, medan det fortfarande var aktuellt, skulle kunna publicera ett material som visade på att denna unconference haft en betydande impact i sociala medier. Det tror jag kan ha betydelse för dem för framtida arrangemang. Vi kommer att dela med oss av en mer korrekt analys till Webcoast lite senare. Hoppas att att såväl Webcoast som besökare kan ha överseeende med att vi visat på generell trend så länge.
    Texten i anslutning till graferna har skrivits av @stellan på Webocast,. Slutsatser som ”Att antalet träffar går ned under själva evenemanget beror förhoppningsvis på att deltagarna haft fullt upp med att nätverka och ta del av intressanta sessioner” är inte Meltwaters analys, men det tror jag framgår klart.

    Jag följer med intresse er fortsatta jämförelse av bevakningsverktyg för sociala medier. Det är av hela branschens intresse att detta görs på ett objektivt sätt. Feedback som din är viktig för oss alla. Tack för att ni får oss att bli ännu bättre!

    /Fredrick Clase
    Meltwater Buzz Göteborg

    Reply
    • Ber om ursäkt, jag trodde verkligen att den texten kom från er. Men det är ändå udda att grafen gått iväg från er i det skicket, dippen på lördagen borde har fått varningsklockar att ringa hos er – som det omedelbart gjorde hos mig och flera andra.

      Min uppfattning är ganska stark: gravt felaktiga siffror är värre än inga siffror alls. Håller du inte med?

      Reply
      • Hej Joakim

        Javisst, håller med om att det kan vara sämre.
        Det var dock till någon nytta för dem även om det kunde varit bättre.
        Men det var en avvägning jag gjorde i stunden.
        Kanske var det fel beslut i efterhand. Tar på mig det i så fall.

        /Fredrick

        Reply
        • Joakim, det finns flera parametrar till varför datat kan skilja sig. I grunden tror jag de flesta spelare jobbar med samma grund data i sina lösningar, det är mer hur det filtreras ut i gränssnittet från egen databas eller direkt från streaming API etc.

          T.ex är språk (ja, jag vet att jag tjatar om detta) en stor felfaktor. De flesta leverantörer förlitar sig på Twitter eller Google språk-klassning av tweets. Felkvoten för minoritetsspråk som svenska är tyvärr väldigt stor (gäller dessvärre nästa alla språk förutom engelska och FIGS språken) och resultaten varierar dessutom över tid.

          Detta gör att även om samma grunddata finns att tillgå så filtreras inte info med hög datakvalitet ut i gränssnittet till användarna och således blir upplevelsen inte topp i en del fall.

          Med risk för att sälja eget verktyg här….så disclaimer på nedan rader….

          Silverbakk har lös detta med att köra en helt egen språkklassning där vi har likställt alla språk med varandra, detta skiljer sig från många andra då de oftast startar med engelska och sen går vidare till andra språk, vi har automatiserat denna process och således är alla språk lika mycket värda. Vi har även haft med detta från start så det finns inga teckenuppsättningsproblem etc som många andra möter när de börjar kika på ryska och de asiatiska språken etc som har andra teckenuppsättningar och det kan ställa till det generellt i systemen.

          Reply
  5. Nästa problem att tackla är Facebook. Om vi kikar på publika wall posts dvs de profiler som inte har satt sina inställningar till privat, utan delar hela sin profil med omvärlden, ser omvärldsbevakningsverktygen dessa? Om man skall tror leverantörernas webbplatser så ja.

    Det är dock komplicerat. Vad jag har sätt så hämtar vissa sin data via de RRS-flöden som de kan komma åt, vad man ser då är mest inlägg från grupper.

    De som hämtar data från Facebooks Social Graph API är mer intressanta, dock är det problematiskt här också.

    Gör en sökning själva på http://graph.facebook.com/search?q=pizza&type=post – Sökordet är “pizza” och vi söker på “posts”. Gör testet både som inloggad och utloggad, får du olika resultat?

    Gör nu testet som inloggad men byt ditt språk till Franska, får du annat resultat?

    Vad kommentarar experterna hos Meltwater och Notefied?

    Reply
  6. Intressant med alla kommentarer ovan! En viktig diskussion som vi gärna deltar i.

    ConnyCom: Angående inhämtningen på Webcoast så var mycket riktigt frågan Jocke hade ställt in utan parametern lang. Detta är vad vi brukar rekommendera kunder att göra när risken för att ’felträffar’ (dvs. motsvarande begrepp i andra regioner som syftar på något annat) är minimal.

    Joakim Nilsson: Kul att du är så initierad, behöver du ett jobb i framtiden så är du välkommen till oss ;)

    Vi går mot Facebooks Social Graph API där vi i dagsläget har stöd för ett antal språk. Vi vet inte exakt hur andra leverantörer gör detta, men det vi ofta får höra från kunder som gör skarpa jämförelser är att vi har en bra täckning. Men det är ju något som #kollbattle kan skänka ytterligare ljus över.

    Generellt har vi i utvecklandet av vårt verktyg valt att fokusera på Skandinavien och till viss del Europa, och detta känner vi att vi behärskar bra. Problematiken är betydligt större om man ska göra en global lösning värd namnet, vilket inte är något vi planerar i dagsläget.

    //Marcus, Notified

    Reply
    • Såg just att jag stavade fel på er produkt, “Notified” ska det ju givetvis vara!

      Jag måste uppdatera mig på det senaste inläggen i #kollbattle, följer det med intresse.

      Efter att ha betat av stora jättar som Radian6 osv så drar jag samma slutsats som dig Marcus, en global heltäckande lösning är inget litet projekt. Vill man ha bäst möjliga omvärldsbevakning per region så är det fortfarande en kombination av verktyg som fungerar bäst, men till det kommer pris och -resursfrågor.

      Problematiken verkar dock fortfarande vara följande: Det finns inget motiv för sociala nätverk att ge ut all sin data gratis via en API. Twitter ger ut en filtrerad mängd data via sin publika API, medans en fullkomlig åtkost till datan (firehose) kan köpas.

      Jag gick häromdagen igenom Econsultancy’s rapport “Online Reputation and Buzzmonitoring Buyer’s guide 2010” där 20 av det största leverantörerna var med. Det intressanta är vilka källor de täcker. I rapporten finner man en check-box för de olika källorna, twitter, facebook etc. Men som visat ovan är det ibland ovesäntligt om man också inte vet nivån av åtkomst av data.

      Jag ser ett framtida scenario där Facebook tex kommer att sälja publik data via olika APIs baserat på regioner. Det verkar idag inte finnas någon omvärldsbevakare som har tillgång till någon annan data än Facebook’s utvecklar API vilket ger resultat från US English-regionen.

      Avslutningsvis hoppas jag att Jocke njöt av våren i Paris, och Marcus vad har du för twitter?

      Reply
      • Kul med engagemang i frågan.

        Vad gäller Facebook så stödjer Graph API att få ut data från olika regioner så t.ex Silverbakk tar hand om Facebook på alla språk (55 iaf) och från alla regioner. Således är Facebook redan relativt öppna med sin data (dock håller de iaf i Graph API hårt i användaruppg etc) och det är upp till oss användare om vi vill vara publika och fångas av dessa verktyg eller om vi vill vara stängda. Det vi dock ser är att vi i Sverige har en väldigt stark integritet mot många andra länder och är betydligt mer slutna på Facebook jämfört med många andra regioner, men det går nog hand i hand med hur vi är som släkte kan jag tro.

        Vidare tror jag du har helt rätt i att det idag inte finns “one ring to rule them all” utan att det som får styra är mål och krav för företag, projekt eller kampanj etc.

        Hade senast igår telefonkonference med av de största byrå nätverekn i världen (NYC baserat så klatt) och de håller just nu på att göra en genomlysning för att gå från att försöka lösa allt med ett verktyg och i stället vara mer situations och kundanpassad i valet av verktyg, tror vi kommer få se mer av det framöver.

        OneForty skrev om detta i dagarna också:
        http://oneforty.com/blog/how-to-evaluate-and-compare-social-media-tools/

        (vi är iaf omnämnda i fotnoten :) )

        Reply

Leave a Reply to Fredrik StenbeckCancel reply