Percentiel

In de statistiek is een percentiel van een geordende dataset een van de in principe 99 punten die de dataset in 100 delen van gelijke grootte verdelen. Het ${\displaystyle k}$-de percentiel is dan een getal dat de ${\displaystyle k}$% kleinste data van de ${\displaystyle (100-k)}$% grootste scheidt. Het 95e percentiel is bijvoorbeeld een getal zodanig dat 95% van de data kleiner is of eraan gelijk en 5% groter of eraan gelijk. Veelal zal een percentiel een van de data zelf zijn, maar in sommige gevallen is het percentiel het gemiddelde van twee opeenvolgende data. Percentielen zijn op soortgelijke wijze ook gedefinieerd voor kansverdelingen.

Laat ${\displaystyle p}$ een reëel getal tussen 0 en 1 zijn.

Het ${\displaystyle 100p}$-de percentiel van de dataset bestaande uit de ${\displaystyle n}$ getallen ${\displaystyle x_{1},\ldots ,x_{n}}$, is het getal ${\displaystyle x_{p}}$ dat voldoet aan:

• ten minste ${\displaystyle pn}$ van de ${\displaystyle n}$ getallen zijn niet groter dan ${\displaystyle x_{p}}$
• ten minste ${\displaystyle (1-p)n}$ van de ${\displaystyle n}$ getallen zijn niet kleiner dan ${\displaystyle x_{p}}$.

Het ${\displaystyle 100p}$-de percentiel van de kansverdeling van de stochastische variabele ${\displaystyle X}$ is het getal ${\displaystyle x_{p}}$ dat voldoet aan:

${\displaystyle P(X\leq x_{p})\geq p}$

en

${\displaystyle P(X\geq x_{p})\geq 1-p}$

Percentielen zijn kwantielen die bij een percentage behoren. Percentielen verdelen een dataset in 100 ongeveer gelijke delen. Het 50e percentiel wordt ook de mediaan genoemd. Het 25e, 50e en 75e percentiel worden ook respectievelijk het 1e, 2e en 3e kwartiel genoemd. Decielen zijn de percentielen die bij de percentages 10, 20, ... , 90 behoren.

De bovenstaande definitie leidt niet in alle gevallen tot een eenduidige bepaling van de percentielen. Er worden verschillende berekeningswijzen gehanteerd. Hieronder worden tien verschillende methoden besproken. Een voorbeeld laat zien hoe divers de uitkomsten van de berekeningen kunnen zijn.

De geordende steekproef ${\displaystyle x_{(1)}\leq x_{(2)}\leq \ldots \leq x_{(n)}}$ bestaat uit de van klein naar groot geordende ${\displaystyle n}$ data. Voor het ${\displaystyle 100p}$-de percentiel neemt men het element in de dataset met het rangnummer dat "het dichtst" bij ${\displaystyle pn}$ ligt, en wel, met ${\displaystyle k=\lceil pn\rceil }$:

${\displaystyle x_{p}=x_{(k)}}$

Hoewel de bovenstaande geijkte crf-definitie van het ${\displaystyle p}$-de percentiel een eenduidig bepaalde waarde oplevert, blijken softwarepakketten en rekenmachines, afhankelijk van de specifieke dataset, verschillende waarden voor hetzelfde percentiel te geven. Een percentielcalculator kan op maar liefst acht verschillende methoden de percentielen berekenen.^[1]

Iets van de problematiek van praktische percentielberekeningen ziet men bij de berekening van kwartielen door de rekenmachines TI-83 en TI-84, die veel in het middelbaar onderwijs worden gebruikt. Voor de dataset 1, 2, ... , 9 geven deze rekenmachines ${\displaystyle Q_{1}=2{,}5}$ en ${\displaystyle Q_{3}=7{,}5}$, terwijl volgens de crf-definitie ${\displaystyle x_{0{,}25}=3}$ en ${\displaystyle x_{0{,}75}=7}$. Datzelfde verschijnsel treedt op bij alle datasets met ${\displaystyle n=4i+1}$.

Dat probleem is op te lossen door in voorkomende gevallen de kwartielen te berekenen, waarbij de mediaan inclusief zowel tot de linkerhelft als de rechterhelft van de dataset wordt gerekend.

Het instructieboekje van de TI-83 vermeldt dat ${\displaystyle Q_{1}}$ de mediaan is van de punten tussen ${\displaystyle X_{\text{min}}}$ en ${\displaystyle \mathrm {Med} }$, en dat ${\displaystyle Q_{3}}$ de mediaan is van de punten tussen ${\displaystyle \mathrm {Med} }$ en ${\displaystyle X_{\text{max}}}$. Bij oneven ${\displaystyle n}$ wordt echter de mediaan niet meegerekend, noch in de linker-, noch in de rechterhelft. Wel worden de kleinste en de grootste waarde in de rij meegerekend. De relatie tussen de geijkte percentielen en ${\displaystyle Q_{1}}$ en ${\displaystyle Q_{3}}$ is zwak. Bij bijvoorbeeld de dataset 1, 2, ... , 11 vallen drie punten uit de dataset: 3, 6 en 9, die immers medianen van een oneven aantal getallen zijn. Daardoor ligt links van ${\displaystyle Q_{1}}$ slechts 18,2% van de getallen en niet 25%. We zien dat door bepaalde keuzes percentielpunten, in dit geval kwartielen, anders berekend worden dan volgens de hierboven besproken geijkte crf-methode.

In softwarepakketten worden diverse methoden gebruikt om percentielen van niet-geklasseerde data te berekenen. Dat er voor verschillende berekeningen wordt gekozen, heeft te maken met een eigenaardigheid van de crf-definitie. Alle ${\displaystyle p}$-de percentielen, met ${\displaystyle k/n<p<(k+1)/n}$ zijn volgens deze definitie ${\displaystyle x_{p}=x_{k+1}}$. Voor veel percentages ${\displaystyle p}$ vallen de percentielen dus samen met hetzelfde datapunt. Dat is een gevolg van het discrete karakter van een eindige dataset. Als de dataset een steekproef is uit een continue stochast en een percentiel van de dataset een schatting is van de percentiel van de populatie, dan is dat samenvallen van percentielen ongewenst. Dat is de reden dat percentielen vaak via lineaire interpolatie worden berekend. Feitelijk vervangt men dan de discontinue crf-grafiek door een continue polygoon. Men kan daarbij echter op verschillende manieren te werk gaan, waarbij verschillende methoden ook verschillende waarden voor hetzelfde percentiel kunnen opleveren.

Om verschillende methoden om percentielen te berekenen te kunnen onderscheiden, gebruiken we een referentiepunt, een getal, zoals ${\displaystyle np}$, dat is afgeleid van ${\displaystyle p}$ en ${\displaystyle n}$. We onderscheiden van het betreffende referentiepunt het gehele deel ${\displaystyle k}$ en de fractie ${\displaystyle f}$, zodat ${\displaystyle \mathrm {referentiepunt} =k+f}$.^[1]

Bij deze methode is ${\displaystyle np=k+f}$.

Submethode A1: ${\displaystyle {\begin{cases}f=0\to x_{p}={\tfrac {1}{2}}(x_{k}+x_{k+1})\\f>0\to x_{p}=x_{k+1}\\\end{cases}}}$, bovenstaande geijkte crf-methode

Submethode A2: ${\displaystyle {\begin{cases}f=0\to x_{p}=x_{k}\\f>0\to x_{p}=x_{k+1}\\\end{cases}}}$, variant op geijkte crf-methode, zonder gemiddelde

Submethode A3: ${\displaystyle x_{p}=(1-f)\cdot x_{k}+f\cdot x_{k+1}}$, gewogen gemiddelde

Bij deze methode is ${\displaystyle (n+1)p=k+f}$.

Submethode B1: ${\displaystyle x_{p}=(1-f)\cdot x_{k}+f\cdot x_{k+1}}$^[2]

Submethode B2: ${\displaystyle {\begin{cases}f=0\to x_{p}=x_{k}\\f>0\to x_{p}=f\cdot x_{k}+(1-f)\cdot x_{k+1}\\\end{cases}}}$, gewogen gemiddelde

Submethode B3: ${\displaystyle {\begin{cases}f=0\to x_{p}=x_{k}\\0<f<0{,}5\to x_{p}=x_{k}\\f=0{,}5\to x_{p}={\frac {1}{2}}(x_{k}+x_{k+1})\\0{,}5<f<1\to x_{p}=x_{k+1}\\\end{cases}}}$

Bij deze methode is ${\displaystyle np+{\tfrac {1}{2}}=k+f}$.

${\displaystyle np+{\tfrac {1}{2}}=k+f\to x_{p}=x_{k}}$, dichtstbijzijnde datapunt, geen lineaire interpolatie

Het afronden van deze methode vindt op de gebruikelijke wijze plaats, maar om statistische vertekening te voorkomen, is 'afronden op even' hier aan te raden.

Bij deze methode is ${\displaystyle (n-1)p=k+f}$.

${\displaystyle {\begin{cases}f=0\to x_{p}=x_{k+1}\\f>0\to x_{p}=x_{k+1}+f\cdot (x_{k+2}-x_{k+1})\\\end{cases}}}$

Bij deze methode is ${\displaystyle (n-1)p+1=k+f}$.

${\displaystyle x_{p}=(1-f)\cdot x_{k}+f\cdot x_{k+1}}$^[2]

Gegeven de volgende dataset van 13 geordende getallen:

Rangnummer	1	2	3	4	5	6	7	8	9	10	11	12	13
Data	1	2	3	5	8	13	21	34	35	45	58	66	77

Met behulp van de negen besproken methoden en de TI-83 berekenen we de drie kwartielen en het 40e percentiel:

Methode:	A1	A2	A3	B1	B2	B3	C	D	E	TI-83
${\displaystyle x_{0{,}25}}$	5	5	3,5	4	4	4	3	5	5	4
${\displaystyle x_{0{,}40}}$	13	13	9	11	10	13	8	12	12	-
${\displaystyle x_{0{,}50}}$	21	21	17	21	21	21	21	21	21	21
${\displaystyle x_{0{,}75}}$	45	45	42,5	51,5	51,5	51,5	45	45	45	51,5

We zien dat afhankelijk van de berekeningsmethode, voor bovenstaande dataset, het 40e percentiel kan variëren van 8 tot 13. Opmerkelijk is dat methode A3 een mediaan oplevert die niet het middelste datapunt is.

De versie 2013 van Excel kent zowel methode B1 als methode E voor het berekenen van percentielpunten. Het verschil tussen de rangnummers van een exclusief berekende percentiel en een inclusief berekende percentiel is: ${\displaystyle R_{\text{EXC}}-R_{\text{INC}}=2p-1}$. Het inclusief berekende percentiel ligt daardoor dichter bij de mediaan dan het exclusief berekende percentiel, maar het verschil neemt toe met de afstand tot de mediaan. Hoe groter deze afstand, des te meer ‘trekt’ de mediaan aan het percentiel.

Nemen we als voorbeeld het percentiel ${\displaystyle x_{0{,}25}}$ van de dataset in het voorbeeld. Het rangnummer van het eerste kwartiel volgens de exclusieve methode (B1) is 3,5 en het bijbehorende eerste kwartiel is dus 4. Het rangnummer van het eerste kwartiel volgens de inclusieve methode (E) is 4 en het bijbehorende eerste kwartiel is 5. De inclusieve kwartielen liggen een half rangnummer dichter bij de mediaan dan de exclusieve kwartielen.

Zoals uit het bovenstaande blijkt berekenen softwarepakketten percentielen van niet over klassen verdeelde data met verschillende methoden. Men mag dus niet zeggen dat de percentielwaarde die een pakket produceert ‘het’ percentiel is. De gebruiker van het pakket dient zich bewust te zijn van de methode waarmee de berekening wordt uitgevoerd. Statistische software kan niet blindelings worden gebruikt.

Als ${\displaystyle f}$ de kansdichtheid is van een continue toevalsvariabele ${\displaystyle X}$ en ${\displaystyle F}$ de bijbehorende verdelingsfunctie, dan kunnen we voor ${\displaystyle 0<p<1}$ het ${\displaystyle p}$e percentiel ${\displaystyle x_{p}}$ berekenen via de inverse van de verdelingsfunctie: ${\displaystyle F(x_{p})=\int \limits _{-\infty }^{x_{p}}{f(u)\mathrm {d} u}=p\to x_{p}=F^{\text{inv}}(p)}$. De oppervlakte onder de kansdichtheidsfunctie wordt verdeeld in een linkerdeel met oppervlakte ${\displaystyle p}$ en een rechterdeel met oppervlakte ${\displaystyle 1-p}$.

Statistische software en de grafische rekenmachines bevatten rekenroutines voor het berekenen van waarden van de inverse van de verdelingsfunctie van diverse continue stochasten en dus van het ${\displaystyle p}$e percentiel.

Het 40e percentiel van de standaardnormale verdeling is ${\displaystyle x_{0{,}40}=-0{,}2533}$.

Bij het berekenen van percentielen van discrete toevalsvariabelen gaan we op dezelfde wijze te werk als bij het berekenen van percentielen van niet-gegroepeerde data. Als ${\displaystyle F}$ de verdelingsfunctie is van de discrete toevalsvariabele ${\displaystyle X}$, volgt uit de definitie van percentiel voor niet-gegroepeerde data:

${\displaystyle {\begin{cases}P(X\leq x_{p})\geq p\to F(x_{p}+0)\geq p\\P(X\geq x_{p})\geq 1-p\to P(X<x_{p})\leq p\to F(x_{p}-0)\leq p\\\end{cases}}}$

Als ${\displaystyle x_{k}}$ en ${\displaystyle x_{k+1}}$ twee opeenvolgende waarden zijn van ${\displaystyle X}$, en ${\displaystyle F(x_{k})<p<F(x_{k+1})}$, dan is ${\displaystyle x_{p}-x_{k+1}}$. Als daarentegen ${\displaystyle p=F(x_{p})}$, kan elk getal in het interval ${\displaystyle [x_{k},x_{k+1}]}$ het percentiel ${\displaystyle x_{p}}$ zijn. Men zou in dat geval het percentiel gelijk kunnen kiezen aan het midden van het interval: ${\displaystyle x_{p}={\tfrac {1}{2}}(x_{k}+x_{k+1})}$.

Zijn de ${\displaystyle n}$ data verdeeld over ${\displaystyle m}$ klassen ${\displaystyle [x_{k},x_{k+1}),}$, is ${\displaystyle f_{k}}$ de frequentie van de ${\displaystyle k}$-de klasse, zijn ${\displaystyle F_{k}=F(x_{k}-0)}$ en ${\displaystyle F_{k+1}=F(x_{k+1}-0)}$ de cumulatieve frequenties op de linker-, respectievelijk rechtergrens van de ${\displaystyle k}$-de klasse, en is ${\displaystyle F_{k}\leq np<F_{k+1}}$, dan kunnen we het ${\displaystyle p}$-de percentiel berekenen door toepassing van lineaire interpolatie: ${\displaystyle x_{p}=x_{k}+{\frac {1}{f_{k}}}(x_{k+1}-x_{k})(pn-F_{k})}$

Zeven studenten beoordelen hun leraar op een schaal van 1 tot en met 5. Als de scores 3, 3, 3, 3, 4, 4, 4 zijn, dan is de mediaan van de niet-gegroepeerde data 3. Als de scores 3, 3, 3, 4, 4, 4, 4 zijn, dan is de mediaan van de niet-gegroepeerde data 4. Men kan zich afvragen of het verschil tussen deze twee medianen wel realistisch is. Als men daarentegen de scores over twee klassen verdeelt, vindt men de medianen 3,375 en 3,675. Gezien de twee rijen scores lijken dit ‘eerlijker’ medianen.

Men ziet ook hier dat de keuze voor een specifieke methode bepalend is voor het verkregen antwoord.