Bør du stole på din analytiker? (Del I)

Den første fase af de fleste beslutningstagning i business er indsamling af data. I de fleste tilfælde er oplysninger indsamlet i form af ord (også kaldet kvalitative data, eller ustruktureret data). For eksempel, marketing forskere foretage fokusgrupper, udføre i dept interviews eller bruge åbne spørgsmål i undersøgelser til at aktivere produkt ledere og sælgere til at vælge det bedste produktdesign og de mest effektive budskab at viderebringe til kunder. Et andet eksempel er personalechefer, der gennemfører interviews med kandidater til det muligt virksomhed til at vælge den bedste kandidat til jobbet. Når indsamlingen af data er afsluttet, og ordene er tilgængelige, udføre de fagfolk, der samlet data en analyse af disse ord.

En nylig undersøgelse (Craigie M, Loader B, Burrows Rasmussen, Muncer S. Reliability af sundhedsinformation på internettet: en undersøgelse af eksperters vurderinger. Tidsskrift for medicinske Internetforskning. 2002 Jan-Mar;4(1):e2) målt, hvor konsekvent er eksperter når de analysere kvalitative data. Dataene indeholdt tekst fra 18 tråde (serie af forbundne meddelelser) indsendt på en opslagstavle af personer, der lider af en kronisk sygdom. Hver tråd bestod af en start besked, eller spørgsmål og et antal svar eller svar. Eksperterne den databehandling blev fem læger der arbejdede sammen i den samme enhed, specialist, og som havde mindst fem års erfaring i behandling af valgte sygdommen. For at behandle data, udtænkt lægerne de følgende to skalaer. Start besked eller spørgsmål var kodet efter en 6-del skala: A = fremragende; B = mindre godt, men med nogle detaljer; C = fattige med små detaljer; D = vage; E = vildledende eller irrelevante; F = uforståeligt. Svar eller svar var kodet efter en anden 6-del skala: en = beviser baseret, fremragende; B = accepterede visdom; C = personlige mening; D = vildledende, irrelevant; E = false; F = muligvis farlig.

Efter behandling af data, koder tildelt af alle fem eksperter blev sammenlignet ved hjælp af tre statistiske tests: kappa, gamma og Kendall’s W. Resultaterne viste dårlig aftale mellem koderne for alle fem eksperter i både den begyndende spørgsmål og svar.Desuden to af de fem eksperter viste en statistisk signifikant DIS aftale mellem koderne de knyttet til spørgsmålet, og forskellige parring af eksperter viste modsigelser mellem koderne de tildelt svarene. I enkle vendinger, når en læge mærket et svar med “Et = tegn baseret, fremragende”, en anden læge mærket det samme svar med “E = false,” eller endda “F = muligvis farlig.”

Punkter at overveje:

1. i denne undersøgelse var analytikerne læger med mindst fem års erfaring i behandling af den specifikke kroniske sygdom. Disse analytikere har et meget højere niveau af ekspertise inden for forskning emnet i forhold til selv de mest erfarne marked forskere analyserer kvalitative kundedata, eller de mest erfarne personalechefer kandidat dataanalyse. Så hvis disse højt uddannede eksperter ikke vise konsekvent behandling af kvalitative data, hvad er chancerne for, at de mindre uddannede fagfolk vil vise konsekvent analyse af deres data?

2. kriterium i denne undersøgelse var om et svar er “evidensbaseret” (Se kode A) eller ikke. Dette er et objektivt kriterium. I modsætning til denne undersøgelse indebærer det store flertal af kvalitative studier i business subjektive kriterier som smag, moral, værdier eller præferencer. Hvis lægerne ikke konsekvent anvender en enkelt objektive kriterium, når kodning teksten, hvordan kan de mindre uddannede fagfolk have tillid til at konsekvent anvende et stort sæt af subjektive kriterier ved vurdering af kvalitative data?

3. hvordan bekymret bør du, når en markedsanalytiker analysere din fokusgrupper? En typisk fokusgruppe rummer omkring 12.000 ord. Dataene i denne undersøgelse inkluderet 18 tråde. En gennemsnitlig tråd består af ca. 5 posteringer med omkring 120 ord hver. Disse tal tyder på, at dataene i denne undersøgelse medtaget 10.800 ord; mindre end en enkelt fokusgruppe. I modsætning hertil er består en typisk marked forskningsundersøgelse af 4-8 fokusgrupper eller 4 til 8 gange mere tekst. Så hvis eksperter i denne undersøgelse kunne ikke vise sammenhæng med en mængde data svarende til en enkelt fokusgruppe, hvad er chancerne for, at en markedsanalytiker vil vise konsistens med en meget større datasæt?

4. hvordan bekymret bør du, når en human resource manager analysere en pulje af ansøgere? En udskrift af en én times interview holder omkring 6.000 ord (ved ansættelse af mellemste og øverste ledere, interviewene kan tage en hel dag med en størrelsesorden mere ord). Når interviewe et par kandidater, kan de samlede data omfatte 30.000 eller flere ord (for 5 kandidater). Så hvis eksperter i denne undersøgelse kunne ikke vise sammenhæng med en mængde data svarende til en to interviews, hvad er chancerne for, at en human resource manager vil vise konsistens med en meget større datasæt?

5. hvordan bekymret bør du, når en investering analyst analysere nogle virksomheder for dig? En årsrapport kan omfatte anspændt i tusind ord. For eksempel, årsberetning for IBM 2004 er 100 sider lang og indeholder mere end 65.000 ord. Så hvis eksperter i denne undersøgelse ikke har kunnet vise konsekvens, når du analyserer et dataset, der indeholder mindre end 15% af dataene, indgår den årlige rapport fra et enkelt selskab, hvad er chancerne for, at en investering analyst vil vise konsekvens når analysere et meget større datasæt (f.eks. årlige rapporter, finansielle opgørelser og pressemeddelelser fra et par virksomheder)?

6. i denne undersøgelse tildelt par læger forskellige koder til de samme spørgsmål eller svar. For eksempel, en læge mærket et svar med “Et = tegn baseret, fremragende;”, mens en anden læge mærket det samme svar med “E = false,” eller endda “F = muligvis farlig.” Hvem der har ret? Efter alt dette er kan ikke medicin og begge være rigtigt. Der bør du mener? Og hvad gør du som beslutningstager? Hvis du mener, at den første læge er rigtigt, bør du betragte svar som gode råd og følge sine direktiver. Hvis du mener, at den anden læge er rigtige, skal du køre for dit liv. Nu, hvis sådanne store eksperter har kunnet overbevise os om, at de kan behandle en lille datasæt, korrekt, eller i det mindste konsekvent, hvordan kan vi stole på fagfolk når de siger, at de kan?

Resumé:

Den første fase af de fleste beslutningstagning i business er indsamling af data. I de fleste tilfælde er oplysninger indsamlet i form af ord. Når ordene er tilgængelige, de fagfolk, der samler data udføre en analyse af disse ord, og forelægge resultaterne for beslutningstageren. Som undersøgelsen af Craigie, et. al., antyder, disse fagfolk vil, hyppigst, mislykkes i deres analyse af kvalitative data og producere resultater, som vil forhindre beslutningstager i at gøre den rigtige beslutning.

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *