Sådan målte vi 2.953 anmeldelser af håndværkere

Denne side forklarer metoden bag hovedartiklen om, at hver niende dårlige anmeldelse handler om svar. Vi skriver den, så du selv kan vurdere tallene. Hej Ida sælger en telefonpasser, så vi har en interesse i resultatet. Derfor viser vi også forbeholdene.

Hvilke firmaer

Vi søgte på Google Maps efter seks fag: "VVS-installatør", "elektriker", "kloakmester", "tømrer", "tagdækker" og "malermester". Vi søgte i fem byer: København, Aarhus, Odense, Aalborg og Vejle/Kolding. Fra hver søgning tog vi de øverste resultater, ca. 10 pr. fag og by. I Vejle og Kolding tog vi 5 i hver by.

Vi fandt 336 firmaer. 319 af dem havde anmeldelser. Vi udelod firmaer, der ikke er håndværkere (fx forsyning, grossister og hvidevarer), lukkede firmaer og firmaer uden for byen.

Hvilke anmeldelser

• De 25 nyeste anmeldelser pr. firma, med alle stjerner. Har et firma færre end 25, er de alle med.
• Kun Google-anmeldelser.
• Uden anmelderens persondata. Vi gemmer ikke anmeldernes navne.
• 2.953 anmeldelser i alt. 1.963 har en tekst. 285 har 1-2 stjerner og en tekst.
• Anmeldelserne er fra 2011 til november 2026. De fleste er fra 2019 og frem.

Vi citerer ingen anmeldelser ordret og nævner ingen firmaer. En Google-anmeldelse kan søges frem, også når den er anonymiseret.

Sådan blev teksterne mærket

En sprogmodel læste hver tekst og gav den emner efter en fast, skriftlig vejledning. Emnerne er det, kunden klager over eller roser: fx pris og regning, svar og kommunikation, telefon, kvalitet, punktlighed og venlighed. En anmeldelse kan have flere emner.

Sprogmodellen afgjorde også, om anmeldelsen handler om en kunde, der prøvede at nå firmaet og ikke fik svar. Den gav den i så fald en af tre typer:

• A. Telefonen: kunden ringede om en ny opgave. Ingen tog telefonen, eller ingen ringede tilbage.
• B. Henvendelse eller tilbud uden svar: kunden skrev om en ny opgave og fik intet svar, eller tilbuddet kom aldrig.
• C. Ingen kontakt under en sag: kunden kunne ikke få fat i firmaet om en regning, en reklamation eller en håndværker, der ikke kom.

Kun A og B tæller med i tallet. Ved C var der allerede en aftale eller et job i gang. Årsagen er en regning, en reklamation eller en udeblivelse, og den løser en telefonpasser ikke. Spørgsmålet ved tvivl mellem B og C var: "Var der allerede en aftale eller et job i gang?" Ja betyder C.

Vi læste efter

En sprogmodel kan tage fejl. Derfor læste vi selv 217 mærkede anmeldelser igen. Vi læste alle anmeldelser, der talte med i hovedtallet, og stikprøver af resten.

Efter rettelserne er tallet 32 af 285. Af de 33 anmeldelser med A eller B (én har 3 stjerner) er 31 klare. Det giver en præcision på 94 % (95 %-interval 80-98 %). Der kan stadig være oversete tilfælde blandt de dårlige anmeldelser, vi ikke har læst. I stikprøven på 40 fandt vi 1. Tallet er derfor snarere for lavt end for højt.

Hvad intervallerne betyder

Vi har kun et udsnit af alle anmeldelser. Derfor står hvert tal med et 95 %-interval i parentes. Intervallet viser, hvor det rigtige tal sandsynligvis ligger. 11,2 % (8,1-15,4) betyder: tallet ligger med stor sandsynlighed mellem 8,1 og 15,4 %. Vi bruger Wilsons metode, som også virker på små tal.

Overlapper to intervaller, kan forskellen være tilfældig. Telefonen (1,9-6,3 %) og tilbuddet uden svar (5,2-11,4 %) overlapper lidt. At tilbuddet fylder mere end telefonen, er derfor et tydeligt fingerpeg, men intet bevis. Alle fag og alle byer overlapper hinanden. Intet fag og ingen by skiller sig målbart ud.

Hovedtallene

En første, mindre måling natten til 13. november gav det samme: 11,2 % (18 af 160 dårlige anmeldelser).

Det er tallet ikke

• Det er ikke andelen af tabte opkald. Tallet siger, hvad der gør kunder vrede. Det siger ikke, hvor mange opkald der forsvinder. Det tal har vi ikke målt.
• Den tabte kunde er næsten usynlig. En kunde, der aldrig fik fat i firmaet, skriver sjældent en anmeldelse. Kunden ringer bare til det næste firma.
• 81 % af anmeldelserne har 5 stjerner. Mange firmaer beder glade kunder om en anmeldelse. Derfor er A+B kun 1,1 % af alle anmeldelser.
• Det tabte job kan ikke ses. Kun 1 af de 32 anmeldelser nævner, at kunden gik til et andet firma.
• Det siger ikke, om håndværkeren selv føler smerten. Anmeldelserne viser kundens oplevelse, ikke hans.

Sådan må tallet bruges: "Hver niende dårlige anmeldelse handler om en kunde, der aldrig fik svar." Ikke: "hvert niende opkald går tabt". Se hvordan vi bruger det i hovedartiklen.

Forbehold

• Udvalget er ikke tilfældigt. Google viser de mest synlige firmaer. Firmaer uden anmeldelser og meget små firmaer mangler.
• Dårlige anmeldelser er få: 285 med tekst. Tallene pr. fag og by har brede intervaller.
• En sprogmodel har mærket emnerne. Vi har læst 217 efter og rettet 3. Emnetallene (pris, svar og så videre) er ikke rettet anmeldelse for anmeldelse. Præcisionen i stikprøverne er 90-95 %.
• Emnet "professionalisme" blev brugt, når intet mere konkret passede. Læs det som "generelt godt" eller "generelt dårligt".
• Tallet er en andel af dårlige anmeldelser. Det er ikke andelen af tabte opkald.
• Firmaernes egne svar på anmeldelserne er kun talt, ikke læst.
• "De 25 nyeste" giver store firmaer kun nye anmeldelser. Sammenligner man år, er en tendens derfor kun et fingerpeg.

Hvornår vi måler igen

Vi gentager målingen hvert halve år med samme metode, næste gang i foråret 2027. Så opdaterer vi tallene her og i hovedartiklen med datoen.