Generelt om Talent indikator Testen
Enhver test er en stikprøve af virkeligheden. Vi søger at afdække talent potentialet hos den enkelte person, så denne bliver bedre i stand til at italesætte sig selv, udvikle og udnytte egne talenter til at skabe styrker og kompetencer samt sætte disse i et systemisk univers.
Vi forholder os aktivt til “stikprøve” usikkerhed – på hvilken måde kan testen sige noget om det, vi egentlig er på jagt efter? Jo større stikprøve jo større sikkerhed, vi har valgt at måle på 34 talenter og 3 troværdighedsindikatorer. Kontrolspørgsmål, svar, næste & Time out, samt svarfordelings analyse er vores metoder til troværdigheds kontrol.
Vi arbejder med en kriterierelateret scoring, hvor det er testresultaterne i sig selv, der vurderes. De sammenlignes ikke med en given norm, så det bliver ikke afvigelser i forhold til et eller andet, der styrer tolkningen men det talent der har gennemført testen.
Formålet er at kunne indikere den enkelte persons talent profil så præcist som muligt. Normative test – hvor man angiver resultatet som en afvigelse i forhold til en norm – har en større tendens til at animere til en situationsafhængig besvarelse. Det betyder at en test tager kan have en tendens til at overeksponere det som vedkommende mener er en ønskværdig rolle for det givne projekt. Normative test tager udgangspunkt i hypoteser eller statistik der viser hvad der er mest normalt, alternativet de ipsative test har som formål at eliminere kontekst og “ønsket” profil.
Vi har valgt en ipsativ struktur hvilket reducerer graden af snyd og muligheden for at påvirke resultatet.
Den enkelte profil rang ordner den enkelte persons præferencer ifølge dennes vurdering af en række “tvungne valg”.
Kontrolspørgsmål er en konstruktion hvor et antal spørgsmål eksponeres to gange i løbet af testen, og der måles på graden af overensstemmelse, såvel på en absolut som en relativ dimension. Vi søger graden af konsistens i besvarelsen.
For at simulere virkelighedens pres er der angivet en mulig maksimal svartid på 20 sekunder, vi måler den brugte tid, antal gange tiden er løbet ud, og endelig har respondenten mulighed for aktivt at fravælge et spørgsmål. Dette har vi som mulighed for at sikre at respondenten ikke tvinges til at tage stilling til noget som vedkommende ikke kender til. Det giver os mulighed for præcist at måle hvor personen er usikker og måske styret af en given situation.
Den sidste parameter – en topologisk illustration af svarfordelingen, hvor vi søger en spejling i midteraksen, som med den anvendte algoritme tages som udtryk for at personen har gennemført en besvarelse med en høj grad af afklaret egen indsigt.
Under et bruger vi disse 3 parametre+ personens tidsforbrug som en indikator på den samlede validitet og reliabilitet af besvarelsen.
Talentindikatoren© er bygget op med en ipsativ scoringsstruktur. Alle valg og fravalg stammer fra en tvungen vurdering af to samtidige ligeværdige udsagn.
Formålet er at sammenligne en persons relative præference for forskellige værdisæt og ikke personens absolutte præference for hver af aktiviteterne sammenlignet med andre personer. lpsative scoringssystemer er således systemer der er velegnet til rangordning af en enkeltpersons score.
Måler testen det, man forventer? Vil testen være pålidelig? Viser testen det samme resultat over tid?
Når vi diskuterer validitet, er det fordi vi ønsker en så høj grad af forudsigende gyldighed som muligt – det er jo derfor, vi laver testen i første omgang.
Vi betragter validitet ud fra 3 niveauer: Regler, Retningslinjer og Resultater.
Regler
Datatilsynet stiller i deres egenskab som administrator af Persondataloven krav til håndtering og behandling af personfølsomme data. Vi arbejder ud fra 4 principper:
- Tilgængelighed – at en nærmere angivet gruppe af TalentInsights ansatte på rette tid og sted har adgang til de oplysninger, som personer har givet samtykke til, at de må bruge.
- Fortrolighed – at andre, som ikke bør have adgang til at behandle disse oplysninger, forhindres heri.
- Integritet – at data er, hvad de giver sig ud for at være, det vil sige, at de ikke er ændret (evt. slettet), uden at dette klart fremgår.
- Sporbarhed – at det kan dokumenteres, hvem der har indført, set, ændret, slettet eller på anden måde behandlet data.
Vi er godkendt hos Datatilsynet og registreret som databehandler af persondata.
TalentCloud eksekveres gennem et 128bit krypteret SSL link hos i23 og serverener certificeret efter godkendte standarder.
Det betyder blandt andet, at enhver tilgang til data skal være sikret gennem autenticitet, så man er så sikker som muligt på at den person, der har afgivet besvarelsen er den rigtige person, og andre har ikke haft mulighed for at ændre de registrerede data.
Data opbevares i TalentCloud i 6 måneder, hvorefter data anonymiseres.
Læs om vores håndtering af data her.
Retningslinjer
Vi efterlever retningslinjer udstukket af:
- Dansk Psykologforening5 (1999)
- Videnscenter for Professionel Personvurdering6 (2011)
for, hvordan man bør agere i forbindelse med personlighedstest, i vores egne instrukser og arbejdsmetoder
Tolkning af resultater – validitet
Tolkningen af resultater håndterer vi typisk ud fra 2 retningslinjer. Den indre og den ydre, hvor den indre afspejler de forhold, vi i vores modelstruktur har indarbejdet, mens den ydre er udtryk for, hvorvidt de personer vi vurderer, kan bekræfte det billede, vi tegner.
Den indre validitet omkring resultaterne har vi sikret ved at:
- Stille 408 spørgsmål udformet som 204 parrede positive udsagn
- Spørge 12 gange til hver faktor (talent)
- Have indbygget 16 kontrolspørgsmål
- Have en ipsativ scoringsstruktur
- Køre med tidsstyring på alle spørgsmål (maksimal tildelt tid per spørgsmål er 20 sek.)
- Ikke give mulighed for at rette i tidligere afgivne svar
- Benytte en skala uden et neutralt midtpunkt
Den ydre validitet har vi sikret ved, at der på nuværende tidspunkt ikke er nogen af testpersonerne, der har kunnet forkaste testresultaterne – der er enkelte, der har kommenteret rækkefølgen af de enkelte talenter, men ikke eksistensen af det pågældende træk.
Vi foretager med jævne mellemrum statistisk validering af den bagvedliggende model. Det, vi løbende verificerer, er graden af uafhængighed mellem de 34 faktorer. Det er vigtigt for modellens integritet og validitet, at de karaktertræk, vi afspejler, er så robuste og entydige som muligt.
Tolkning af resultater – reliabilitet
- Reliabiliteten i testen kontrolleres ved dels et longitunalt og dels et splithalf testdesign.
- Den akkumulerede base af testresultater testes løbende hver 12 måned, hvor de seneste 12 måneders test måles i forhold til alle tidligere afgivne, også kaldet en test-retest reliabilitet.
- Dels splittes alle resultater tilfældigt i to grupperinger og reliabiliteten mellem disse to valideres.
- Reliabiliteten måler i begge tilfælde ensartetheden over tid og på tværs af populationen. Vi har ikke kunnet konstatere målefejl i systemet, siden det blev frigivet i 2005.
- Vi måler med Cronbach Alpha på såvel hele populationen som split-half.
Test af korrelationer
Den gennemsnitlige korrelation mellem de i alt 561 parvise korrelationer blev sidste gang målt til 0,144 og senest 2020 til 0,122. Det vil sige at med et 99 % konfidensinterval på henholdsvis positive som negative korrelationer, siger analysen, at det er mellem 91,35% og 96,67% sikkert, at der ikke er korrelation mellem de enkelte 34 talenter. Det vil med andre ord sige, at modelstrukturen sikrer, at der ikke er nogen statistisk sammenhæng mellem den måde de enkelte præferencer afdækkes på.
Test af uafhængighed ved hjælp af tilfældige tal
Vi har yderligere lavet en test, der sammenligner de empiriske data med en tilfældigheds generet data population. En såkaldt Monte-Carlo kørsel af 561 hypotetiske korrelationer, beliggende i intervallet [-0,405;0,457] – dvs. den mindste og største i det empiriske materiale. Vi har benyttet Excels tilføjelsesprogram Dataanalyse, tilfældige tal og en jævn fordeling.
Ser vi på 99% konfidensinterval, nedre grænse tilfældighed (-0,004) og øvre grænse for den empiriske kørsel (-0,014) ligger de meget tæt på hinanden. Dvs. 1/100 af afstanden i intervallet [0; -1]. Eller 1/200 dvs. 5 promille i forhold til korrelationen mulige udfaldsområde [-1; 1].
