torsdag 6. august 2009

Debatt om sprikende målinger på Her og nå

I går meldte NRK at Høyre ligger på stusselige 11,3 prosent. I dag kan VG meddele sine lesere at det slett ikke står så ille til med Høyre - partiet har et nivå på over 15 prosent.

Bl.a. dette skal jeg debattere med Jon Gelius på P1s Her og Nå kl 15.30.

Oppdatert: Klippet ligger her (klikk på sendingen 06.08. og lytt en drøy halvtime uti programmet). Her stiller jeg Gelius noen spørsmål vedrørende NRKs mangel på metodeopplysinger (feilmarginer, tidspunkt, telefonbruk og utvalgsstørrelse). På en ene side hevdet han at dette var "sludder og vås" fra min side. På den annen side så var det en "blemme" fra NRK. Tolk dette den som vil!

Oppdatert 2: NRK har nå faktisk lagt ut den bakgrunninfoen som jeg etterspurte. Bra! Se også Gelius sin begrunnelse i kommentarfeltet. Så kom det jammen noe konstruktivt ut av denne dagen....

14 kommentarer:

  1. Siden Twitter har vært nede den siste halvannen timen, så legger jeg inn en kommentar her.

    Strålende innsats! Du satt Gelius glimrende til veggs! (Men spørs om du blir invitert til NRK igjen med det første etter dette ;-)

    Håper de skjerper seg nå!

    SvarSlett
  2. Dersom H "egentlig" har 13,1 %, så ligger vel både 11,3 og 15,0 innenfor feilmarginen?

    Sprik og sprik fru Blom. Dette er i stor grad resultat av tilfeldig variasjon fra utvalg til utvalg. Har ikke journalistene lært dette snart?

    SvarSlett
  3. Du var flink!

    Skjønte journaliste at metode er noe mer enn interessant bakgrunnstoff for statsvitere?

    Synes Gelius kom veldig på defensiven.Han begynte å forsvare seg med at en måling bare er et stemningsbilde. Men hvis det er det: hvorfor er da slike meningsmålinger hovedoppslaget i Dagsrevyen og basis for analyser av feks Høyres problemer?

    Flere som har savnet Twitter i ettermiddag?

    SvarSlett
  4. Takk og takk. Man gjør så godt man kan. Jeg liker meg nok strengt tatt best skriftlig, men stiller opp når jeg blir spurt om temaer jeg er opptatt av. Og dette er definitivt ett av dem!

    Synes Gelius bedrev en smule dobbelkommunikasjon. På den ene siden var målinger ikke noe viktige, på den annen side var det viktige likevel. Spesielt NRKs meget gode. På den ene side var mine innvendinger sludder, på den annen side så kunne det være en blemme....

    Ja, har slitt med twitter jeg og, men det funker visst sånn delvis nå.

    SvarSlett
  5. Twitter? Det jeg savner nå er en kald øl.

    SvarSlett
  6. Flott opptreden og vesentlige spørsmål. Jeg er også en av de som savner informasjon om tallenes bakgrunn, og spesielt fordi målinger tatt innenfor samme periode spriker.

    SvarSlett
  7. Veldig bra - syntes du klarte deg bra mot Gelius. Morosom og småfrekk. Jeg er enig med deg i at all informasjon om dette må fram, i hvertfall på nrks nettsider. Nå skal jeg forsøke meg på en konstruktiv kritikk.

    Debatten gikk så litt inn i en sirkel på hvorfor man egentlig trengte å fortelle alle disse detaljene, og jeg tror nok dessverre Gelius fikk et poeng om at det er bare de spesielt interesserte som bryr seg om det. Heldigvis kom du inn på noe viktig i slutten, nemlig folkeopplyserrollen, og at med slik informasjon så kan det hende at man ikke får lagd disse sensasjonelle oppslagene. Feilmarginer er jo ganske viktig, og jeg savnet at du fikk tydeligere fram hva disse to meningsmålingene kan ha slags betydning for H med hensyn til feilmarginer. Ellers: Stå på!

    SvarSlett
  8. En blemme fra Nrk er i så fall en systematisk blemme, ettersom statskringkastingen ikke har for vane å oppgi denne type informasjon om sine målinger. Opptaksperiode er ikke minst vesentlig på en "sen-feriemåling" som dette trolig var.

    SvarSlett
  9. Jon Gelius, nyhetsredaktør NRK6. august 2009 kl. 23:27

    Jeg skal være varsom med å kommentere min egen innsats i debatten. Det holder at Martinsen er fornøyd med sin. For spesielt interesserte kan jeg opplyse at nrk.no har oppdatert den informasjonen som ble etterlyst. Men med all respekt: det endrer jo ikke på det faktiske innholdet og tendensen i Norstats måling.

    SvarSlett
  10. Jon, jeg finner ikke podkast på det, men gå i arkivet til Politisk Kvarter 10. mars. Der hadde dere invitert Arne Strand og en medieforsker til å kommentere manglende informasjon i meningsmålingene. Jeg husker datoen godt, fordi dere to dager senere publiserte egen måling der ingenting av det som var sagt i PK var med.

    Fra å være dårligst i klassen til å gi informasjon om målingene er dere etter dagens oppdatering blitt blant de beste! Fortsett med det! Dette er helt essensiell statistikk, selv om du avfeier det med at det ikke endrer det faktiske innholdet. Saken var at vi ikke var i stand til å bedømme målingene slik de var presentert før.

    SvarSlett
  11. Berglund: Takk for kritikk. Ser ikke bort i fra at du har et poeng. Men samtidig er det slik at det ikke er alt man får, eller husker å få, med seg i en slik debatt.

    Løset: NRK kommer kanskje til å endre litt på de dårlige vanene nå. Det er i alle fall lov å håpe...

    Gelius: Flott! Ser fram til at NRK fortsetter å viderebringe denne helt essensielle metodeinformasjonen til oss lesere, lyttere og seere. Vi er nok noen flere enn du tror som har interesse av det....

    SvarSlett
  12. Gelius' poeng i debatten var vel delvis at tørr prat om metode ikke akkurat holder på seere/lesere. Informasjon om metode og utvalg trenger ikke være fokuset i hovedoppslaget, men med internett er det å gi tilgang til slikt en smal sak.

    Forhåpentligvis vil man i en ikke-så-fjern fremtid se på det som uredelig å ikke publisere rådata, all den tid det er temmelig trivielt å gjøre akkurat det.

    SvarSlett
  13. Er ingen ekspert i prosentregning (om man skal regne opp eller ned) men spranget mellom 11,3 og 15 er rimelig stort, mellom 30 og 40%.

    Et nærliggende spørsmål er derfor: Hvem av disse 2 byråene har vist mest treffsikkerhet ved tidligere valg ?

    SvarSlett
  14. Arve:
    Det ligger en del forutsetninger til grunn for å beregne feilmargin. Den rent statistiske feilmarginene skyldes at det er umulig å treffe nøyaktig så lenge utvalget er mye mindre enn befolkningen, dette er ikke en "feil" byråene gjør, men rett og slett noe som er uunngåelig så lenge man har et gitt utvalg. For H må vi nok regne med en margin på +/- 2 %. Det betyr at en måling som viser 11 % _like godt_ kan bety at H faktisk har en oppslutning på 12,5 %. Derfor er det helt tøvete å kommentere endringer fra uke til uke på 1-2 %.

    I tillegg er det svakheter ved byråenes metoder, ulike byråer har litt ulike fremgangsmåter. Tar man snittet av ulike byråers resultat jevner disse feilene seg ut. Disse svakhetene + den vanlige feilmarginen øver betyr at man ikke skal legge allverdens vekt på enkeltmålinger og små forskjeller.

    SvarSlett