Mindpark #013: Wikipedia klarar hård granskning

Den 14:e december 2005 publicerade Nature en undersökning (original bakom paywall, se piratversion här) som chockerade stora delar av världen. Man hade helt enkelt tagit in ämnesexperter, och jämfört antalet fel i artiklar hos Wikipedia, med de i onlineversionen av Encyclopædia Britannica, och funnit att de höll lika hög kvalitet. Varför var det så chockerande?

”Wikipedia has become the 37th most visited website, according to Alexa, a web ranking service. But critics have raised concerns about the site’s increasing influence, questioning whether multiple, unpaid editors can match paid professionals for accuracy.”

Jim Giles, Nature 438, 900-901

Här kom alltså en undersökning från en respekterad vetenskapstidskrift, som faktiskt visade att crowdsourcing producerade material som, i kvalitetshänseende, var jämförbart med betalda redaktörers jobb. Någon som känner igen diskussionerna från tidningsbranschen?

Givetvis väckte det starka känslor.

Britannica svarade förstås direkt med att såga undersökningen från alla håll de kunde. För att ytterligare öka spridningen för sin kritik, sattes flera helsidesannonser in i amerikanska och brittiska tidningar. Inte kan en publikation som lever på just trovärdighet se sig ikappsprungen av en simpel wiki? Huvudargumentationen var att flera av felen som hittats inte alls var fel, och att fullständiga testprotokoll inte har lämnats ut, något som gör undersökningen otillförlitlig.

Nature svarade i sin tur med mera information om hur studien gått till, direkta svar på Britannicas invändningar, och en uppföljningsartikel i en senare upplaga av tidsskriften. Man argumenterar att eventuella fel är distribuerade lika över både Wikipedia och Britannica, eftersom ämnesexperterna inte visste varifrån artiklarna dom undersökte kom. Ang. protokollen så valde flera av experterna att vara anonyma, och att då publicera fullständiga testprotokoll skulle bryta mot den sekretessen. Däremot finns nedkortade protokoll tillgängliga.

Och medan Nature och Britannica bråkade vidare om detaljer i studien, och Britannica valde att försvara många av sina texter, gick Wikipedia grundligt igenom felen som hittades i undersökningen (både i Britannica och Wikipedia). Lite över ett år senare, den 25:e januari 2006 (inte 24 timmar, som vissa felaktigt påstod), hade Wikipedia lyckats rätta alla de fel som upptäcktes av Nature.

Natures undersökning är förstås inte den enda som genomförts. Wikipedia själva listar 7 formella och 10 informella undersökningar (och även SvD har gjort en undersökning, som Jocke skrivit om tidigare), och säkert finns det flera. Men undersökningar som dessa, och speciellt Natures med all den publicitet det gav, är viktiga just för att dom på ett vetenskapligt sätt vågar jämföra etablerade sätt att bygga upp kunskap, med nya. Det handlar inte längre om att någon påstår att ”Wikipedia innehåller en massa skräp”, utan det undersöks noggrannt om så är fallet. Viktiga fakta att ha fakta med sig när man diskuterar nya fenomen.

Vad kan man då dra för slutsatser av detta? Att det faktiskt går att ersätta betalda experter, du och jag, med ett gäng intresserade och en wiki. För mig känns det inte särskilt konstigt, givetvis går det att hitta 10 personer som tillsammans skulle kunna ha skrivit den här artikeln bättre än vad jag gjort. Och visst finns det 100 personer som skulle kunna göra nästan vilket av våra jobb som helst. Det som känns ovant är inte att det kan hända, utan att det faktiskt händer. Helt plötsligt får någon för sig att bygga världens mest kompletta uppslagsverk, och folk bara hänger på, och får det att hända.

Varför just uppslagsverk? För att det råkade vara det man valde att inrikta sig på. Skulle det kunna vara en wikibaserad nyhetssajt istället? Javisst, Wikinews har sen 2004 levererat nyheter, och jämför sig tydligt med Associated Press (AP) i sin mission statement. Eller varför inte ta över publiceringen av hemligstämplade eller censurerade dokument man kommit över? Wikileaks gör just det, och Time Magazine skriver: “[Wikileaks] could become as important a journalistic tool as the Freedom of Information Act”. Utan tvekan.

Natures undersökning visade att wikis och speciellt crowdsourcing faktiskt fungerar. Nu sitter vi och väntar på vilken bransch som ska slukas härnäst. Tidningsbranschen ligger farligt nära till hands.

Emil Stenström är om dagarna konsultande webbstrateg, som har kvällar och helger vigda åt egna webbprojekt med inriktning på tvåvägskommunikation, och en gränssnittsutvecklingsblogg. Han finns att nå på Twitter, LinkedIn, och självklart gammal hederlig mail.