Pearson-verdeling (chi-kwadraatverdeling). Chi-kwadraatverdeling. Verdelingen van wiskundige statistieken in MS EXCEL Waarde van de chikwadraatverdelingsfunctie
Ministerie van Onderwijs en Wetenschappen van de Russische Federatie
Federaal Agentschap voor Onderwijs van de stad Irkoetsk
Baikal Staatsuniversiteit voor Economie en Recht
Afdeling Informatica en Cybernetica
Chi-kwadraatverdeling en zijn toepassingen
Kolmykova Anna Andrejevna
2e jaars student
groep IS-09-1
Irkoetsk 2010
Invoering
1. Chi-kwadraatverdeling
Sollicitatie
Conclusie
Bibliografie
Invoering
Hoe worden de benaderingen, ideeën en resultaten van de waarschijnlijkheidstheorie in ons leven gebruikt?
De basis is een probabilistisch model van een reëel fenomeen of proces, d.w.z. een wiskundig model waarin objectieve relaties worden uitgedrukt in termen van waarschijnlijkheidstheorie. Waarschijnlijkheden worden voornamelijk gebruikt om de onzekerheden te beschrijven waarmee rekening moet worden gehouden bij het nemen van beslissingen. Het gaat hierbij zowel om ongewenste kansen (risico’s) als om aantrekkelijke (“gelukskansen”). Soms wordt willekeur opzettelijk in een situatie geïntroduceerd, bijvoorbeeld bij het loten, het willekeurig selecteren van eenheden voor controle, het houden van loterijen of het uitvoeren van consumentenonderzoeken.
De waarschijnlijkheidstheorie maakt het mogelijk dat één waarschijnlijkheid wordt gebruikt om andere te berekenen die van belang zijn voor de onderzoeker.
Een probabilistisch model van een fenomeen of proces vormt de basis van wiskundige statistieken. Er worden twee parallelle reeksen concepten gebruikt: concepten die verband houden met de theorie (probabilistisch model) en concepten die verband houden met de praktijk (steekproefneming van observatieresultaten). De theoretische waarschijnlijkheid komt bijvoorbeeld overeen met de frequentie die uit het monster wordt gevonden. De wiskundige verwachting (theoretische reeks) komt overeen met het rekenkundig gemiddelde van de steekproef (praktische reeks). In de regel zijn steekproefkenmerken schattingen van theoretische kenmerken. Tegelijkertijd zitten de grootheden die verband houden met de theoretische reeksen “in de hoofden van onderzoekers”, hebben ze betrekking op de ideeënwereld (volgens de oude Griekse filosoof Plato) en zijn ze niet beschikbaar voor directe meting. Onderzoekers beschikken alleen over steekproefgegevens waarmee ze de eigenschappen proberen vast te stellen van een theoretisch probabilistisch model dat hen interesseert.
Waarom hebben we een probabilistisch model nodig? Feit is dat alleen met zijn hulp de eigenschappen die zijn vastgesteld op basis van de analyse van een specifiek monster kunnen worden overgedragen naar andere monsters, evenals naar de gehele zogenaamde algemene bevolking. De term "populatie" wordt gebruikt wanneer wordt verwezen naar een grote maar eindige verzameling eenheden die worden bestudeerd. Bijvoorbeeld over het totaal van alle inwoners van Rusland of het totaal van alle consumenten van oploskoffie in Moskou. Het doel van marketing- of sociologische enquêtes is om uitspraken die zijn verkregen uit een steekproef van honderden of duizenden mensen over te brengen naar populaties van enkele miljoenen mensen. Bij kwaliteitscontrole fungeert een partij producten als een algemene populatie.
Om conclusies uit een steekproef over te brengen naar een grotere populatie zijn enkele aannames nodig over de relatie tussen de steekproefkenmerken en de kenmerken van deze grotere populatie. Deze aannames zijn gebaseerd op een geschikt probabilistisch model.
Uiteraard is het mogelijk om steekproefgegevens te verwerken zonder gebruik te maken van een of ander probabilistisch model. U kunt bijvoorbeeld een rekenkundig gemiddelde van een steekproef berekenen, de frequentie van vervulling van bepaalde voorwaarden tellen, enz. De berekeningsresultaten zullen echter alleen betrekking hebben op een specifieke steekproef; het overbrengen van de conclusies die met hun hulp zijn verkregen naar een andere populatie is onjuist. Deze activiteit wordt ook wel ‘data-analyse’ genoemd. Vergeleken met probabilistisch-statistische methoden heeft data-analyse een beperkte educatieve waarde.
Het gebruik van probabilistische modellen gebaseerd op het schatten en testen van hypothesen met behulp van steekproefkenmerken is dus de essentie van probabilistisch-statistische methoden voor besluitvorming.
Chi-kwadraatverdeling
Met behulp van de normale verdeling worden drie verdelingen gedefinieerd die nu vaak worden gebruikt bij de verwerking van statistische gegevens. Dit zijn de Pearson (“chi-kwadraat”), Student en Fisher-verdelingen.
Wij zullen ons concentreren op de distributie
(“chi – vierkant”). Deze verdeling werd voor het eerst bestudeerd door astronoom F. Helmert in 1876. In verband met de Gaussiaanse foutentheorie bestudeerde hij de som van de kwadraten van n onafhankelijke standaard normaal verdeelde willekeurige variabelen. Karl Pearson noemde deze verdelingsfunctie later ‘chi-kwadraat’. En nu draagt de distributie zijn naam.Vanwege het nauwe verband met de normale verdeling speelt de χ2-verdeling een belangrijke rol in de waarschijnlijkheidstheorie en wiskundige statistiek. De χ2-verdeling, en vele andere verdelingen die worden gedefinieerd door de χ2-verdeling (bijvoorbeeld de Student-verdeling), beschrijven steekproefverdelingen van verschillende functies uit normaal verdeelde observatieresultaten en worden gebruikt om betrouwbaarheidsintervallen en statistische tests te construeren.
Pearson-distributie
(chi - kwadraat) – verdeling van een willekeurige variabele waarbij X1, X2,..., Xn normale onafhankelijke willekeurige variabelen zijn, en de wiskundige verwachting van elk van hen nul is, en de standaardafwijking één.Som van de kwadraten
verdeeld volgens de wet
(“chi – vierkant”).In dit geval is het aantal termen, d.w.z. n wordt het “aantal vrijheidsgraden” van de chikwadraatverdeling genoemd. Naarmate het aantal vrijheidsgraden toeneemt, nadert de verdeling langzaam de normale waarde.
De dichtheid van deze verdeling
De verdeling van χ2 hangt dus af van één parameter n: het aantal vrijheidsgraden.
De verdelingsfunctie χ2 heeft de vorm:
als χ2≥0. (2.7.)
Figuur 1 toont een grafiek van de waarschijnlijkheidsdichtheid en de χ2-verdelingsfunctie voor verschillende vrijheidsgraden.
Foto 1 Afhankelijkheid van de waarschijnlijkheidsdichtheid φ (x) in de verdeling χ2 (chi – kwadraat) voor verschillende aantallen vrijheidsgraden.
Momenten van de chikwadraatverdeling:
De chikwadraatverdeling wordt gebruikt bij het schatten van variantie (met behulp van een betrouwbaarheidsinterval), het testen van hypothesen van overeenstemming, homogeniteit en onafhankelijkheid, voornamelijk voor kwalitatieve (gecategoriseerde) variabelen die een eindig aantal waarden aannemen, en bij veel andere taken van statistische gegevensanalyse. .
2. "Chi-kwadraat" bij problemen bij de analyse van statistische gegevens
Statistische methoden voor data-analyse worden op bijna alle gebieden van menselijke activiteit gebruikt. Ze worden gebruikt wanneer het nodig is om oordelen over een groep (objecten of subjecten) met enige interne heterogeniteit te verkrijgen en te rechtvaardigen.
De moderne ontwikkelingsfase van statistische methoden kan worden geteld vanaf 1900, toen de Engelsman K. Pearson het tijdschrift "Biometrika" oprichtte. Eerste derde van de twintigste eeuw. doorgegeven onder het teken van parametrische statistiek. Methoden werden bestudeerd op basis van de analyse van gegevens uit parametrische families van verdelingen beschreven door Pearson-familiecurven. Het populairst was de normale verdeling. Om de hypothesen te testen werden Pearson-, Student- en Fisher-tests gebruikt. De maximale waarschijnlijkheidsmethode en variantieanalyse werden voorgesteld, en de basisideeën voor het plannen van experimenten werden geformuleerd.
De chikwadraatverdeling is een van de meest gebruikte in de statistiek voor het testen van statistische hypothesen. Op basis van de chikwadraatverdeling wordt een van de krachtigste goodness-of-fit-tests geconstrueerd: de Pearson chikwadraattest.
Het criterium van overeenstemming is het criterium voor het testen van de hypothese over de veronderstelde wet van een onbekende verdeling.
De χ2 (chi-kwadraat)-toets wordt gebruikt om de hypothese van verschillende verdelingen te testen. Dit is zijn waardigheid.
De berekeningsformule van het criterium is gelijk aan
waarbij m en m’ respectievelijk empirische en theoretische frequenties zijn
de betreffende verdeling;
n is het aantal vrijheidsgraden.
Om dit te controleren moeten we empirische (waargenomen) en theoretische (berekend onder de aanname van een normale verdeling) frequenties vergelijken.
Als de empirische frequenties volledig samenvallen met de berekende of verwachte frequenties, is S (E – T) = 0 en is het χ2-criterium ook gelijk aan nul. Als S (E – T) niet gelijk is aan nul, duidt dit op een discrepantie tussen de berekende frequenties en de empirische frequenties van de reeks. In dergelijke gevallen is het noodzakelijk om de betekenis van het χ2-criterium te evalueren, dat theoretisch kan variëren van nul tot oneindig. Dit wordt gedaan door de feitelijk verkregen waarde van χ2ф te vergelijken met zijn kritische waarde (χ2st). De nulhypothese, d.w.z. de aanname dat de discrepantie tussen de empirische en theoretische of verwachte frequenties willekeurig is, wordt weerlegd als χ2ф groter is dan of gelijk is aan. χ2st voor het geaccepteerde significantieniveau (a) en het aantal vrijheidsgraden (n).
De kwantitatieve studie van biologische verschijnselen vereist noodzakelijkerwijs het creëren van hypothesen waarmee deze verschijnselen kunnen worden verklaard. Om een bepaalde hypothese te testen, wordt een reeks speciale experimenten uitgevoerd en worden de feitelijk verkregen gegevens vergeleken met de theoretisch verwachte gegevens volgens deze hypothese. Als er sprake is van toeval, kan dit voldoende reden zijn om de hypothese te aanvaarden. Als de experimentele gegevens niet goed overeenkomen met de theoretisch verwachte gegevens, ontstaat er grote twijfel over de juistheid van de voorgestelde hypothese.
De mate waarin de feitelijke gegevens overeenkomen met het verwachte (hypothetische) wordt gemeten met de chikwadraattoets:
- werkelijke waargenomen waarde van het kenmerk in i- dat; theoretisch verwacht getal of teken (indicator) voor een bepaalde groep, k-aantal gegevensgroepen.
Het criterium werd in 1900 voorgesteld door K. Pearson en wordt ook wel het Pearson-criterium genoemd.
Taak. Onder de 164 kinderen die een factor van de ene ouder en een factor van de andere ouder erven, waren er 46 kinderen met de factor, 50 met de factor en 68 met beide. Bereken de verwachte frequenties voor een verhouding van 1:2:1 tussen groepen en bepaal de mate van overeenstemming van de empirische gegevens met behulp van de Pearson-test.
Oplossing: De verhouding van de waargenomen frequenties is 46:68:50, theoretisch verwacht 41:82:41.
Laten we het significantieniveau instellen op 0,05. De tabelwaarde van het Pearson-criterium voor dit significantieniveau met een gelijk aantal vrijheidsgraden bleek 5,99 te zijn. Daarom kan de hypothese over de overeenstemming van experimentele gegevens met theoretische gegevens worden aanvaard, aangezien .
Merk op dat we bij het berekenen van de chikwadraattoets niet langer de voorwaarden stellen voor de onmisbare normaliteit van de verdeling. De chikwadraattoets kan worden gebruikt voor alle verdelingen die we vrij kunnen kiezen in onze aannames. Er is een zekere universaliteit van dit criterium.
Een andere toepassing van de Pearson-test is het vergelijken van de empirische verdeling met de Gaussiaanse normale verdeling. Bovendien kan het worden geclassificeerd als een groep criteria voor het controleren van de normaliteit van de distributie. De enige beperking is het feit dat het totale aantal waarden (opties) bij gebruik van dit criterium groot genoeg moet zijn (minimaal 40), en het aantal waarden in individuele klassen (intervallen) minimaal 5 moet zijn. Anders moeten aangrenzende intervallen worden gecombineerd. Het aantal vrijheidsgraden bij het controleren van de normaliteit van de verdeling moet als volgt worden berekend:
Fisher-criterium.
Deze parametrische test wordt gebruikt om de nulhypothese te testen dat de varianties van normaal verdeelde populaties gelijk zijn.
Of.
Bij kleine steekproeven kan het gebruik van de studententoets alleen correct zijn als de varianties gelijk zijn. Daarom is het, voordat de gelijkheid van steekproefgemiddelden wordt getest, noodzakelijk om de validiteit van het gebruik van de Student t-test te garanderen.
Waar N 1 , N 2 steekproefomvang, 1 , 2 aantal vrijheidsgraden voor deze monsters.
Wanneer u tabellen gebruikt, moet u erop letten dat het aantal vrijheidsgraden voor een monster met een grotere spreiding wordt geselecteerd als het tabelkolomnummer, en voor een kleinere spreiding als het tabelrijnummer.
Voor het significantieniveau vinden we de tabelwaarde uit de tabellen van de wiskundige statistiek. Als dit het geval is, wordt de hypothese van gelijkheid van varianties verworpen voor het geselecteerde significantieniveau.
Voorbeeld. Het effect van kobalt op het lichaamsgewicht van konijnen werd onderzocht. Het experiment werd uitgevoerd op twee groepen dieren: experimenteel en controle. De proefpersonen kregen een voedingssupplement in de vorm van een waterige oplossing van kobaltchloride. Tijdens het experiment was de gewichtstoename in grammen:
|
Controle |
|
Chi-kwadraatverdeling
Met behulp van de normale verdeling worden drie verdelingen gedefinieerd die nu vaak worden gebruikt bij de verwerking van statistische gegevens. Dit zijn de Pearson (“chi-kwadraat”), Student en Fisher-verdelingen.
We zullen ons concentreren op de verdeling (“chi-kwadraat”). Deze verdeling werd voor het eerst bestudeerd door astronoom F. Helmert in 1876. In verband met de Gaussiaanse foutentheorie bestudeerde hij de som van de kwadraten van n onafhankelijke standaard normaal verdeelde willekeurige variabelen. Later gaf Karl Pearson de naam “chi-kwadraat” aan deze verdelingsfunctie. En nu draagt de distributie zijn naam.
Vanwege de nauwe samenhang met de normale verdeling speelt de h2-verdeling een belangrijke rol in de kansrekening en wiskundige statistiek. De h2-verdeling, en vele andere verdelingen die worden bepaald door de h2-verdeling (bijvoorbeeld de Student-verdeling), beschrijven steekproefverdelingen van verschillende functies uit normaal verdeelde observatieresultaten en worden gebruikt om betrouwbaarheidsintervallen en statistische tests te construeren.
Pearson-verdeling (chi - kwadraat) - verdeling van een willekeurige variabele waarbij X1, X2,..., Xn normale onafhankelijke willekeurige variabelen zijn, en de wiskundige verwachting van elk van hen nul is, en de standaardafwijking één.
Som van de kwadraten
verdeeld volgens de wet (“chi - kwadraat”).
In dit geval is het aantal termen, d.w.z. n wordt het "aantal vrijheidsgraden" van de chikwadraatverdeling genoemd. Naarmate het aantal vrijheidsgraden toeneemt, nadert de verdeling langzaam de normale waarde.
De dichtheid van deze verdeling
De verdeling h2 hangt dus af van één parameter n: het aantal vrijheidsgraden.
De verdelingsfunctie h2 heeft de vorm:
als h2?0. (2.7.)
Figuur 1 toont een grafiek van de waarschijnlijkheidsdichtheid en h2-verdelingsfuncties voor verschillende vrijheidsgraden.
Figuur 1 Afhankelijkheid van de waarschijnlijkheidsdichtheid q (x) in de verdeling h2 (chi - kwadraat) voor verschillende aantallen vrijheidsgraden.
Momenten van de chikwadraatverdeling:
De chikwadraatverdeling wordt gebruikt bij het schatten van variantie (met behulp van een betrouwbaarheidsinterval), het testen van hypothesen van overeenstemming, homogeniteit en onafhankelijkheid, voornamelijk voor kwalitatieve (gecategoriseerde) variabelen die een eindig aantal waarden aannemen, en bij veel andere taken van statistische gegevensanalyse. .
"Chi-kwadraat" in problemen van statistische gegevensanalyse
Statistische methoden voor data-analyse worden op bijna alle gebieden van menselijke activiteit gebruikt. Ze worden gebruikt wanneer het nodig is om oordelen over een groep (objecten of subjecten) met enige interne heterogeniteit te verkrijgen en te rechtvaardigen.
De moderne ontwikkelingsfase van statistische methoden kan worden geteld vanaf 1900, toen de Engelsman K. Pearson het tijdschrift "Biometrika" oprichtte. Eerste derde van de twintigste eeuw. doorgegeven onder het teken van parametrische statistiek. Methoden werden bestudeerd op basis van de analyse van gegevens uit parametrische families van verdelingen beschreven door Pearson-familiecurven. Het populairst was de normale verdeling. Om de hypothesen te testen werden Pearson-, Student- en Fisher-tests gebruikt. De maximale waarschijnlijkheidsmethode en variantieanalyse werden voorgesteld, en de basisideeën voor het plannen van experimenten werden geformuleerd.
De chikwadraatverdeling is een van de meest gebruikte in de statistiek voor het testen van statistische hypothesen. Op basis van de chikwadraatverdeling wordt een van de krachtigste goodness-of-fit-tests geconstrueerd: de Pearson chikwadraattest.
Het criterium van overeenstemming is het criterium voor het testen van de hypothese over de veronderstelde wet van een onbekende verdeling.
De h2-toets ("chi-kwadraat") wordt gebruikt om de hypothese van verschillende verdelingen te testen. Dit is zijn waardigheid.
De berekeningsformule van het criterium is gelijk aan
waarbij m en m" respectievelijk empirische en theoretische frequenties zijn
de betreffende verdeling;
n is het aantal vrijheidsgraden.
Om dit te controleren moeten we empirische (waargenomen) en theoretische (berekend onder de aanname van een normale verdeling) frequenties vergelijken.
Als de empirische frequenties volledig samenvallen met de berekende of verwachte frequenties, zal S (E - T) = 0 en zal het criterium h2 ook gelijk zijn aan nul. Als S (E - T) niet gelijk is aan nul, duidt dit op een discrepantie tussen de berekende frequenties en de empirische frequenties van de reeks. In dergelijke gevallen is het noodzakelijk om de betekenis van criterium h2 te evalueren, dat theoretisch kan variëren van nul tot oneindig. Dit wordt gedaan door de werkelijke waarde van h2f te vergelijken met zijn kritische waarde (h2st), d.w.z. de veronderstelling dat de discrepantie tussen de empirische en theoretische of verwachte frequenties willekeurig is, wordt weerlegd als h2f groter is dan of gelijk is aan h2st. voor het geaccepteerde significantieniveau (a) en het aantal vrijheidsgraden (n).
De verdeling van waarschijnlijke waarden van de willekeurige variabele h2 is continu en asymmetrisch. Het hangt af van het aantal vrijheidsgraden (n) en benadert een normale verdeling naarmate het aantal waarnemingen toeneemt. Daarom gaat de toepassing van het h2-criterium op de beoordeling van discrete verdelingen gepaard met enkele fouten die de waarde ervan beïnvloeden, vooral bij kleine steekproeven. Om nauwkeurigere schattingen te verkrijgen, moet de steekproef verdeeld over de variatiereeksen minimaal 50 opties hebben. Voor een juiste toepassing van criterium h2 is tevens vereist dat de frequenties van varianten in extreme klassen niet kleiner mogen zijn dan 5; als er minder dan 5 zijn, worden ze gecombineerd met de frequenties van aangrenzende klassen, zodat het totale aantal groter is dan of gelijk is aan 5. Afhankelijk van de combinatie van frequenties neemt het aantal klassen (N) af. Het aantal vrijheidsgraden wordt bepaald door het secundaire aantal klassen, rekening houdend met het aantal beperkingen op de vrijheid van variatie.
Omdat de nauwkeurigheid van het bepalen van het h2-criterium grotendeels afhangt van de nauwkeurigheid van het berekenen van de theoretische frequenties (T), moeten niet-afgeronde theoretische frequenties worden gebruikt om het verschil tussen de empirische en de berekende frequenties te verkrijgen.
Laten we als voorbeeld een studie nemen die is gepubliceerd op een website gewijd aan de toepassing van statistische methoden in de geesteswetenschappen.
Met de Chi-kwadraattoets kunt u frequentieverdelingen vergelijken, ongeacht of deze normaal verdeeld zijn of niet.
Frequentie verwijst naar het aantal keren dat een gebeurtenis voorkomt. Gewoonlijk wordt de frequentie van het optreden van gebeurtenissen behandeld wanneer variabelen worden gemeten op een schaal van namen en hun andere kenmerken, naast de frequentie, onmogelijk of problematisch zijn om te selecteren. Met andere woorden: wanneer een variabele kwalitatieve kenmerken heeft. Ook hebben veel onderzoekers de neiging testscores om te zetten in niveaus (hoog, gemiddeld, laag) en tabellen met scoreverdelingen samen te stellen om het aantal mensen op deze niveaus te achterhalen. Om te bewijzen dat op een van de niveaus (in een van de categorieën) het aantal mensen echt groter (minder) is, wordt ook de Chi-kwadraatcoëfficiënt gebruikt.
Laten we naar het eenvoudigste voorbeeld kijken.
Er werd een test uitgevoerd onder jongere adolescenten om het gevoel van eigenwaarde te identificeren. De testscores zijn omgezet in drie niveaus: hoog, gemiddeld, laag. De frequenties zijn als volgt verdeeld:
Hoog (B) 27 personen.
Gemiddeld (C) 12 personen.
Laag (L) 11 personen
Het is duidelijk dat de meerderheid van de kinderen een hoog zelfbeeld heeft, maar dit moet statistisch worden bewezen. Om dit te doen gebruiken we de Chi-kwadraattoets.
Onze taak is om te controleren of de verkregen empirische gegevens verschillen van theoretisch even waarschijnlijke gegevens. Om dit te doen, moet je de theoretische frequenties vinden. In ons geval zijn theoretische frequenties even waarschijnlijke frequenties, die worden gevonden door alle frequenties op te tellen en te delen door het aantal categorieën.
In ons geval:
(B+C+H)/3 = (27+12+11)/3 = 16,6
Formule voor het berekenen van de chikwadraattoets:
h2 = ?(E - T)? / T
We bouwen de tafel:
|
Empirisch (E) |
Theoretisch (T) |
||
Zoek de som van de laatste kolom:
Nu moet u de kritische waarde van het criterium vinden met behulp van de tabel met kritische waarden (tabel 1 in de bijlage). Om dit te doen hebben we het aantal vrijheidsgraden (n) nodig.
n = (R - 1) * (C - 1)
waarbij R het aantal rijen in de tabel is, is C het aantal kolommen.
In ons geval is er slechts één kolom (dat wil zeggen de oorspronkelijke empirische frequenties) en drie rijen (categorieën), dus de formule verandert - we sluiten de kolommen uit.
n = (R - 1) = 3-1 = 2
Voor de foutkans p?0,05 en n = 2 is de kritische waarde h2 = 5,99.
De verkregen empirische waarde is groter dan de kritische waarde - de verschillen in frequenties zijn significant (h2 = 9,64; p? 0,05).
Zoals u kunt zien, is het berekenen van het criterium heel eenvoudig en kost het niet veel tijd. De praktische waarde van de chikwadraattoets is enorm. Deze methode is het meest waardevol bij het analyseren van antwoorden op vragenlijsten.
Laten we naar een complexer voorbeeld kijken.
Een psycholoog wil bijvoorbeeld weten of het waar is dat leraren meer gericht zijn op jongens dan op meisjes. Die. meer kans om meisjes te prijzen. Om dit te doen analyseerde de psycholoog de kenmerken van studenten, geschreven door docenten, op de frequentie waarmee drie woorden voorkomen: 'actief', 'ijverig', 'gedisciplineerd', en werden ook synoniemen van de woorden geteld. Gegevens over de frequentie van het voorkomen van woorden werden in de tabel ingevoerd:
Om de verkregen gegevens te verwerken gebruiken we de chikwadraattoets.
Om dit te doen, zullen we een tabel maken met de verdeling van empirische frequenties, d.w.z. de frequenties die we waarnemen:
Theoretisch verwachten we dat de frequenties gelijk verdeeld zullen zijn, d.w.z. de frequentie wordt proportioneel verdeeld tussen jongens en meisjes. Laten we een tabel met theoretische frequenties maken. Om dit te doen, vermenigvuldigt u de rijsom met de kolomsom en deelt u het resulterende getal door de totale som (s).
De definitieve tabel voor berekeningen ziet er als volgt uit:
h2 = ?(E - T)? / T
n = (R - 1), waarbij R het aantal rijen in de tabel is.
In ons geval is chikwadraat = 4,21; n = 2.
Met behulp van de tabel met kritische waarden van het criterium vinden we: met n = 2 en een foutniveau van 0,05, de kritische waarde h2 = 5,99.
De resulterende waarde is kleiner dan de kritische waarde, wat betekent dat de nulhypothese wordt geaccepteerd.
Conclusie: leraren hechten geen belang aan het geslacht van het kind bij het opschrijven van kenmerken voor hem.
Sollicitatie
Kritische distributiepunten h2
De chikwadraattoets is een universele methode om de overeenkomst tussen de resultaten van een experiment en het gebruikte statistische model te controleren.
Pearson-afstand X 2
Pyatnitsky A.M.
Russische Staatsmedische Universiteit
In 1900 stelde Karl Pearson een eenvoudige, universele en effectieve manier voor om de overeenkomst tussen modelvoorspellingen en experimentele gegevens te testen. De ‘chi-kwadraattoets’ die hij voorstelde is de belangrijkste en meest gebruikte statistische toets. De meeste problemen die verband houden met het schatten van onbekende modelparameters en het controleren van de overeenkomst tussen het model en experimentele gegevens kunnen met behulp hiervan worden opgelost.
Laat er een a priori (“pre-experimenteel”) model zijn van het object of proces dat wordt bestudeerd (in de statistiek spreken ze van de “nulhypothese” H 0), en de resultaten van een experiment met dit object. Het is noodzakelijk om te beslissen of het model adequaat is (komt het overeen met de werkelijkheid)? Zijn de experimentele resultaten in tegenspraak met onze ideeën over hoe de werkelijkheid werkt, of moet H0 met andere woorden worden verworpen? Vaak kan deze taak worden teruggebracht tot het vergelijken van de waargenomen (O i = Waargenomen) en verwachte volgens het model (E i = Verwachte) gemiddelde frequenties van voorkomen van bepaalde gebeurtenissen. Er wordt aangenomen dat de waargenomen frequenties zijn verkregen in een reeks van N onafhankelijke (!) waarnemingen gedaan onder constante (!) omstandigheden. Als resultaat van elke waarneming wordt één van M gebeurtenissen geregistreerd. Deze gebeurtenissen kunnen niet gelijktijdig plaatsvinden (ze zijn in paren onverenigbaar) en een van hen vindt noodzakelijkerwijs plaats (de combinatie ervan vormt een betrouwbare gebeurtenis). Het geheel van alle waarnemingen wordt gereduceerd tot een tabel (vector) met frequenties (O i )=(O 1 ,… O M ), die de resultaten van het experiment volledig beschrijft. De waarde O 2 =4 betekent dat gebeurtenis nummer 2 4 keer heeft plaatsgevonden. Som van frequenties O 1 +… O M =N. Het is belangrijk om onderscheid te maken tussen twee gevallen: N – vast, niet-willekeurig, N – willekeurige variabele. Voor een vast totaal aantal experimenten N hebben de frequenties een polynomiale verdeling. Laten we dit algemene schema illustreren met een eenvoudig voorbeeld.
De chikwadraattoets gebruiken om eenvoudige hypothesen te testen.
Laat het model (nulhypothese H 0) zijn dat de dobbelsteen eerlijk is - alle vlakken verschijnen even vaak met waarschijnlijkheid p i =1/6, i =, M=6. Er werd een experiment uitgevoerd waarbij de dobbelsteen 60 keer werd gegooid (N = 60 onafhankelijke pogingen werden uitgevoerd). Volgens het model verwachten we dat alle waargenomen frequenties O i van voorkomen 1,2,... 6 punten dicht bij hun gemiddelde waarden E i =Np i =60∙(1/6)=10 moeten liggen. Volgens H 0 is de vector van gemiddelde frequenties (E i )=(Npi )=(10, 10, 10, 10, 10, 10). (Hypothese waarin de gemiddelde frequenties volledig bekend zijn vóór de start van het experiment worden eenvoudig genoemd.) Als de waargenomen vector (O i ) gelijk zou zijn aan (34,0,0,0,0,26), dan is het onmiddellijk het is duidelijk dat het model onjuist is - bone kan niet correct zijn, aangezien slechts 1 en 6 60 keer zijn gegooid. De kans op een dergelijke gebeurtenis voor een correcte dobbelsteen is verwaarloosbaar: P = (2/6) 60 =2,4*10 -29. Het optreden van dergelijke duidelijke discrepanties tussen het model en de ervaring is echter een uitzondering. Laat de vector van waargenomen frequenties (Oi) gelijk zijn aan (5, 15, 6, 14, 4, 16). Komt dit overeen met H0? We moeten dus twee frequentievectoren (E i) en (O i) vergelijken. In dit geval is de vector van de verwachte frequenties (Ei) niet willekeurig, maar de vector van de waargenomen frequenties (Oi) is willekeurig - tijdens het volgende experiment (in een nieuwe reeks van 60 worpen) zal het anders blijken te zijn. Het is nuttig om een geometrische interpretatie van het probleem te introduceren en aan te nemen dat in de frequentieruimte (in dit geval 6-dimensionaal) twee punten zijn gegeven met de coördinaten (5, 15, 6, 14, 4, 16) en (10, 10, 10, 10, 10, 10). Liggen ze ver genoeg uit elkaar om dit als onverenigbaar met H 0 te beschouwen? Met andere woorden, we hebben nodig:
- afstanden tussen frequenties leren meten (punten in de frequentieruimte),
- een criterium hebben voor welke afstand als te (“ongeloofwaardig”) groot moet worden beschouwd, dat wil zeggen inconsistent met H 0 .
Het kwadraat van de gewone Euclidische afstand zou gelijk zijn aan:
X 2 Euclides = S(O ik -E ik) 2 = (5-10) 2 +(15-10) 2 + (6-10) 2 +(14-10) 2 +(4-10) 2 +(16-10) 2
In dit geval zijn de oppervlakken X 2 Euclides = const altijd bollen als we de waarden van E i vastleggen en O i veranderen. Karl Pearson merkte op dat het gebruik van de Euclidische afstand in de frequentieruimte niet mag worden gebruikt. Het is dus onjuist om aan te nemen dat de punten (O = 1030 en E = 1000) en (O = 40 en E = 10) zich op gelijke afstanden van elkaar bevinden, hoewel het verschil in beide gevallen O -E = 30 is. Hoe hoger de verwachte frequentie, hoe groter afwijkingen daarvan mogelijk moeten worden geacht. Daarom moeten de punten (O =1030 en E =1000) als “dichtbij” worden beschouwd, en de punten (O =40 en E =10) “ver” van elkaar. Er kan worden aangetoond dat als de hypothese H 0 waar is, de frequentiefluctuaties O i ten opzichte van E i in de orde van de wortel(!) van E i zijn. Daarom stelde Pearson voor om bij het berekenen van de afstand niet de verschillen (O i -E i) te kwadrateren, maar de genormaliseerde verschillen (O i -E i)/E i 1/2. Dus hier is de formule om de Pearson-afstand te berekenen (het is eigenlijk het kwadraat van de afstand):
X 2 Pearson = S((O ik -E ik )/E ik 1/2) 2 = S(O ik -E ik) 2 /E ik
In ons voorbeeld:
X 2 Pearson = (5-10) 2 /10+(15-10) 2 /10 +(6-10) 2 /10+(14-10) 2 /10+(4-10) 2 /10+( 16-10) 2/10=15,4
Voor een gewone dobbelsteen zijn alle verwachte frequenties E i hetzelfde, maar meestal zijn ze verschillend, dus oppervlakken waarop de Pearson-afstand constant is (X 2 Pearson = const) blijken ellipsoïden te zijn, geen bollen.
Nu de formule voor het berekenen van de afstanden is gekozen, is het noodzakelijk om uit te zoeken welke afstanden als “niet te groot” moeten worden beschouwd (consistent met H 0). Wat kunnen we bijvoorbeeld zeggen over de afstand die we hebben berekend 15.4? ? In welk percentage van de gevallen (of met welke waarschijnlijkheid) zouden we een afstand groter dan 15,4 krijgen als we experimenten uitvoeren met een gewone dobbelsteen? Als dit percentage klein is (<0.05), то H 0 надо отвергнуть. Иными словами требуется найти распределение длярасстояния Пирсона. Если все ожидаемые частоты E i не слишком малы (≥5), и верна H 0 , то нормированные разности (O i - E i )/E i 1/2 приближенно эквивалентны стандартным гауссовским случайным величинам: (O i - E i )/E i 1/2 ≈N (0,1). Это, например, означает, что в 95% случаев| (O i - E i )/E i 1/2 | < 1.96 ≈ 2 (правило “двух сигм”).
Uitleg. Het aantal metingen O i dat in de tabelcel met nummer i valt, heeft een binomiale verdeling met de parameters: m =Np i =E i,σ =(Np i (1-p i)) 1/2, waarbij N het getal is van metingen (N " 1), p i is de waarschijnlijkheid dat één meting in een bepaalde cel valt (bedenk dat de metingen onafhankelijk zijn en onder constante omstandigheden worden uitgevoerd). Als p i klein is, dan: σ≈(Np i ) 1/2 =E i en de binominale verdeling ligt dicht bij Poisson, waarbij het gemiddelde aantal waarnemingen E i =λ, en de standaarddeviatie σ=λ 1/2 = E ik 1/2. Voor λ≥5 ligt de Poisson-verdeling dicht bij normaal N (m =E i =λ, σ=E i 1/2 =λ 1/2), en de genormaliseerde waarde (O i - E i )/E i 1 /2 ≈ N (0,1).
Pearson definieerde de willekeurige variabele χ 2 n – “chi-kwadraat met n vrijheidsgraden”, als de som van de kwadraten van n onafhankelijke standaard normale willekeurige variabelen:
χ 2 n = T 1 2 + T 2 2 + …+ T n 2 , waar is iedereen T ik = N(0,1) - N. O. R. Met. V.
Laten we proberen de betekenis van deze belangrijkste willekeurige variabele in de statistiek duidelijk te begrijpen. Om dit te doen, presenteren we op het vlak (met n = 2) of in de ruimte (met n = 3) een wolk van punten waarvan de coördinaten onafhankelijk zijn en een standaard normale verdeling hebbenf T (x) ~exp (-x 2 /2 ). Op een vlak, volgens de “twee sigma”-regel, die onafhankelijk wordt toegepast op beide coördinaten, bevindt 90% (0,95*0,95≈0,90) van de punten zich binnen een vierkant (-2 f χ 2 2 (a) = Сexp(-a/2) = 0,5exp(-a/2). Bij een voldoende groot aantal vrijheidsgraden n (n > 30) benadert de chikwadraatverdeling normaal: N (m = n; σ = (2n) ½). Dit is een gevolg van de ‘centrale limietstelling’: de som van identiek verdeelde grootheden met eindige variantie benadert de normale wet naarmate het aantal termen toeneemt. In de praktijk moet je onthouden dat het gemiddelde kwadraat van de afstand m (χ 2 n) = n is, en de variantie ervan is σ 2 (χ 2 n) = 2n. Vanaf hier is het gemakkelijk te concluderen welke chikwadraatwaarden als te klein en te groot moeten worden beschouwd: het grootste deel van de verdeling ligt in het bereik van n -2∙(2n) ½ tot n +2∙(2n) ½. Pearson-afstanden die aanzienlijk groter zijn dan n +2∙ (2n) ½ moeten dus als onwaarschijnlijk groot worden beschouwd (in strijd met H 0). Als het resultaat dichtbij n +2∙(2n) ½ ligt, moet je tabellen gebruiken waarin je precies kunt achterhalen in welk percentage van de gevallen dergelijke en grote chikwadraatwaarden kunnen voorkomen. Het is belangrijk om te weten hoe je de juiste waarde kiest voor het aantal vrijheidsgraden (afgekort n.d.f.). Het leek logisch om aan te nemen dat n simpelweg gelijk was aan het aantal cijfers: n =M. In zijn artikel suggereerde Pearson hetzelfde. In het dobbelsteenvoorbeeld zou dit betekenen dat n = 6. Enkele jaren later werd echter aangetoond dat Pearson zich vergiste. Het aantal vrijheidsgraden is altijd kleiner dan het aantal cijfers als er verbanden bestaan tussen de willekeurige variabelen O i. Voor het dobbelstenenvoorbeeld is de som O i 60 en kunnen slechts 5 frequenties onafhankelijk worden gewijzigd, dus de juiste waarde is n = 6-1 = 5. Voor deze waarde van n krijgen we n +2∙(2n) ½ =5+2∙(10) ½ =11,3. Aangezien 15.4>11.3 moet de hypothese H 0 - de dobbelsteen correct is, worden verworpen. Na het ophelderen van de fout moesten de bestaande χ 2-tabellen worden aangevuld, omdat ze aanvankelijk niet het geval n = 1 hadden, aangezien het kleinste aantal cijfers = 2. Nu blijkt dat er gevallen kunnen zijn waarin de Pearson-afstand de verdeling χ 2 n = 1 heeft. Voorbeeld. Bij 100 opgooien is het aantal kop O 1 = 65 en munt O 2 = 35. Het aantal cijfers is M = 2. Als de munt symmetrisch is, zijn de verwachte frequenties E 1 =50, E 2 =50. X 2 Pearson = S(O ik -E ik) 2 /E ik = (65-50) 2 /50 + (35-50) 2 /50 = 2*225/50 = 9. De resulterende waarde moet worden vergeleken met de waarden die de willekeurige variabele χ 2 n =1 kan aannemen, gedefinieerd als het kwadraat van de standaardnormale waarde χ 2 n =1 =T 1 2 ≥ 9 ó
T1 ≥3 of T1 ≤-3. De waarschijnlijkheid van een dergelijke gebeurtenis is zeer laag P (χ 2 n =1 ≥9) = 0,006. Daarom kan de munt niet als symmetrisch worden beschouwd: H 0 moet worden afgewezen. Dat het aantal vrijheidsgraden niet gelijk kan zijn aan het aantal cijfers blijkt uit het feit dat de som van de waargenomen frequenties altijd gelijk is aan de som van de verwachte frequenties, bijvoorbeeld O 1 +O 2 =65+ 35 = E 1 +E 2 =50+50=100. Daarom bevinden willekeurige punten met coördinaten O 1 en O 2 zich op een rechte lijn: O 1 +O 2 =E 1 +E 2 =100 en de afstand tot het centrum blijkt kleiner te zijn dan wanneer deze beperking niet zou bestaan en ze bevonden zich in het hele vliegtuig. Voor twee onafhankelijke willekeurige variabelen met wiskundige verwachtingen E 1 =50, E 2 =50 zou de som van hun realisaties niet altijd gelijk moeten zijn aan 100 - de waarden O 1 =60, O 2 =55 zouden bijvoorbeeld aanvaardbaar zijn. Uitleg. Laten we het resultaat van het Pearson-criterium bij M = 2 vergelijken met wat de Moivre-Laplace-formule geeft bij het schatten van willekeurige fluctuaties in de frequentie van optreden van een gebeurtenis ν = K /N met een waarschijnlijkheid p in een reeks van N onafhankelijke Bernoulli-tests ( K is het aantal successen): χ 2 n =1 = S(O ik -E ik) 2 /E ik = (O 1 -E 1) 2 /E 1 + (O 2 -E 2) 2 /E 2 = (Nν -Np) 2 /(Np) + (N ( 1-v )-N (1-p )) 2 /(N (1-p ))= =(Nν-Np) 2 (1/p + 1/(1-p))/N=(Nν-Np) 2 /(Np(1-p))=((K-Np)/(Npq) ½ ) 2 = T2 Waarde T =(K -Np)/(Npq) ½ = (K -m (K))/σ(K) ≈N (0,1) met σ(K)=(Npq) ½ ≥3. We zien dat in dit geval het resultaat van Pearson precies samenvalt met wat wordt verkregen door de normale benadering voor de binominale verdeling te gebruiken. Tot nu toe hebben we eenvoudige hypothesen overwogen waarvan de verwachte gemiddelde frequenties Ei vooraf volledig bekend zijn. Zie hieronder voor informatie over het kiezen van het juiste aantal vrijheidsgraden voor complexe hypothesen. In de voorbeelden met een gewone dobbelsteen en munt konden de verwachte frequenties vóór(!) het experiment worden bepaald. Dergelijke hypothesen worden “eenvoudig” genoemd. In de praktijk komen ‘complexe hypothesen’ vaker voor. Om de verwachte frequenties Ei te vinden, is het bovendien noodzakelijk om eerst een of meerdere grootheden (modelparameters) te schatten, en dit kan alleen worden gedaan met behulp van experimentele gegevens. Als resultaat hiervan blijken voor “complexe hypothesen” de verwachte frequenties E i afhankelijk te zijn van de waargenomen frequenties O i en worden daarom zelf willekeurige variabelen, variërend afhankelijk van de resultaten van het experiment. Tijdens het selecteren van parameters neemt de Pearson-afstand af: de parameters worden geselecteerd om de overeenkomst tussen het model en het experiment te verbeteren. Daarom moet het aantal vrijheidsgraden afnemen. Hoe modelparameters schatten? Er zijn veel verschillende schattingsmethoden: "maximale waarschijnlijkheidsmethode", "momentenmethode", "substitutiemethode". U kunt echter geen extra geld gebruiken en parameterschattingen vinden door de Pearson-afstand te minimaliseren. In het pre-computertijdperk werd deze aanpak zelden gebruikt: het is lastig voor handmatige berekeningen en kan in de regel niet analytisch worden opgelost. Bij berekeningen op een computer is numerieke minimalisatie meestal eenvoudig uit te voeren, en het voordeel van deze methode is de veelzijdigheid ervan. Dus volgens de ‘chi-kwadraat-minimalisatiemethode’ selecteren we de waarden van de onbekende parameters zodat de Pearson-afstand de kleinste wordt. (Door veranderingen in deze afstand te bestuderen met kleine verplaatsingen ten opzichte van het gevonden minimum, kun je trouwens de mate van nauwkeurigheid van de schatting schatten: construeer betrouwbaarheidsintervallen.) Nadat de parameters en deze minimale afstand zelf zijn gevonden, is het opnieuw nodig om de vraag te beantwoorden of het klein genoeg is. De algemene volgorde van acties is als volgt: P (χ 2 n > χ 2 crit) = 1-α, waarbij α het “significantieniveau” of “grootte van het criterium” of “omvang van de eerste typefout” is (typische waarde α = 0,05). Meestal wordt het aantal vrijheidsgraden n berekend met behulp van de formule n = (aantal cijfers) – 1 – (aantal te schatten parameters) Als X 2 > χ 2 crit, dan wordt de hypothese H 0 verworpen, anders wordt deze aanvaard. In α∙100% van de gevallen (dat wil zeggen vrij zelden) zal deze methode om H 0 te controleren leiden tot een “fout van de eerste soort”: de hypothese H 0 zal ten onrechte worden verworpen. Voorbeeld. Bij het bestuderen van 10 series van 100 zaden werd het aantal met groene ogen geïnfecteerde zaden geteld. Ontvangen gegevens: Oi =(16, 18, 11, 18, 21, 10, 20, 18, 17, 21); Hier is de vector van de verwachte frequenties vooraf onbekend. Als de gegevens homogeen zijn en worden verkregen voor een binominale verdeling, is één parameter onbekend: het aandeel p van geïnfecteerde zaden. Merk op dat er in de originele tabel eigenlijk niet 10 maar 20 frequenties zijn die aan 10 verbindingen voldoen: 16+84=100, ... 21+79=100. X 2 = (16-100p) 2 /100p +(84-100(1-p)) 2 /(100(1-p))+…+ (21-100p) 2 /100p +(79-100(1-p)) 2 /(100(1-p)) Door termen in paren te combineren (zoals in het voorbeeld met een munt), verkrijgen we de vorm van het schrijven van het Pearson-criterium, dat meestal onmiddellijk wordt geschreven: X 2 = (16-100p) 2 /(100p(1-p))+…+ (21-100p) 2 /(100p(1-p)). Als nu de minimale Pearson-afstand wordt gebruikt als methode voor het schatten van p, dan is het noodzakelijk om een p te vinden waarvoor X 2 =min. (Het model probeert zich, indien mogelijk, aan te passen aan de experimentele gegevens.) Het Pearson-criterium is het meest universele criterium dat in de statistiek wordt gebruikt. Het kan worden toegepast op univariate en multivariate gegevens, kwantitatieve en kwalitatieve kenmerken. Juist vanwege de veelzijdigheid moet men er echter voor oppassen geen fouten te maken. 1.Selectie van categorieën. Parameterschatting. Het gebruik van ‘zelfgemaakte’, inefficiënte schattingsmethoden kan leiden tot opgeblazen Pearson-afstandswaarden. Het juiste aantal vrijheidsgraden kiezen. Als parameterschattingen niet worden gemaakt op basis van frequenties, maar rechtstreeks op basis van de gegevens (het rekenkundig gemiddelde wordt bijvoorbeeld genomen als een schatting van het gemiddelde), dan is het exacte aantal vrijheidsgraden n onbekend. We weten alleen dat het de ongelijkheid bevredigt: (aantal cijfers – 1 – aantal parameters dat wordt geëvalueerd)< n
< (число разрядов – 1) Daarom is het noodzakelijk om X 2 te vergelijken met de kritische waarden van χ 2 crit berekend over dit bereik van n. Hoe onwaarschijnlijk kleine chikwadraatwaarden te interpreteren? Moet een munt als symmetrisch worden beschouwd als deze na 10.000 keer gooien 5.000 keer op het wapen belandt? Voorheen waren veel statistici van mening dat ook H 0 verworpen moest worden. Nu wordt een andere aanpak voorgesteld: accepteer H 0, maar onderwerp de gegevens en de methodologie voor hun analyse aan aanvullende verificatie. Er zijn twee mogelijkheden: óf een te kleine Pearson-afstand betekent dat het vergroten van het aantal modelparameters niet gepaard ging met een behoorlijke afname van het aantal vrijheidsgraden, óf de data zelf zijn vervalst (misschien onbedoeld aangepast aan het verwachte resultaat). Voorbeeld. Twee onderzoekers A en B berekenden het aandeel recessieve homozygoten aa in de tweede generatie van een AA*aa monohybride kruising. Volgens de wetten van Mendel is deze breuk 0,25. Elke onderzoeker voerde 5 experimenten uit en in elk experiment werden 100 organismen bestudeerd. Resultaten A: 25, 24, 26, 25, 24. Conclusie van de onderzoeker: De wet van Mendel is waar(?). Resultaten B: 29, 21, 23, 30, 19. Conclusie van de onderzoeker: De wet van Mendel is niet eerlijk(?). De wet van Mendel is echter van statistische aard, en kwantitatieve analyse van de resultaten keert de conclusies om! Door vijf experimenten in één te combineren, komen we tot een chikwadraatverdeling met 5 vrijheidsgraden (een eenvoudige hypothese wordt getest): X 2 A = ((25-25) 2 +(24-25) 2 +(26-25) 2 +(25-25) 2 +(24-25) 2)/(100∙0,25∙0,75)=0,16 X 2 B = ((29-25) 2 +(21-25) 2 +(23-25) 2 +(30-25) 2 +(19-25) 2)/(100∙0,25∙0,75)=5,17 Gemiddelde waarde m [χ 2 n =5 ]=5, standaardafwijking σ[χ 2 n =5 ]=(2∙5) 1/2 =3,2. Daarom is het, zonder verwijzing naar de tabellen, duidelijk dat de waarde van X 2 B typisch is, en dat de waarde van X 2 A onwaarschijnlijk klein is. Volgens tabellen P (χ 2 n =5<0.16)<0.0001. Dit voorbeeld is een bewerking van een reëel geval dat zich in de jaren dertig heeft voorgedaan (zie Kolmogorovs werk ‘On Another Proof of Mendel’s Laws’). Interessant genoeg was onderzoeker A een voorstander van genetica, en onderzoeker B ertegen. Verwarring in notatie. Het is noodzakelijk om de Pearson-afstand, die aanvullende conventies vereist bij de berekening ervan, te onderscheiden van het wiskundige concept van een chi-kwadraat willekeurige variabele. De Pearson-afstand heeft onder bepaalde omstandigheden een verdeling dichtbij chikwadraat met n vrijheidsgraden. Daarom is het raadzaam om de Pearson-afstand NIET aan te duiden met het symbool χ 2 n, maar een soortgelijke maar andere notatie X 2 te gebruiken. Het Pearson-criterium is niet almachtig. Er zijn oneindig veel alternatieven voor H 0 waar hij geen rekening mee kan houden. Stel dat u de hypothese test dat het kenmerk een uniforme verdeling heeft, dat u 10 cijfers heeft en dat de vector van de waargenomen frequenties gelijk is aan (130,125,121,118,116,115,114,113,111,110). Het Pearson-criterium kan niet 'opmerken' dat de frequenties monotoon afnemen en dat H 0 niet wordt verworpen. Als het zou worden aangevuld met een reekscriterium, dan wel! De chikwadraatverdeling is een van de meest gebruikte in de statistiek voor het testen van statistische hypothesen. Op basis van de chikwadraatverdeling wordt een van de krachtigste goodness-of-fit-tests geconstrueerd: de Pearson chikwadraattest. Het criterium van overeenstemming is het criterium voor het testen van de hypothese over de veronderstelde wet van een onbekende verdeling. De χ2 (chi-kwadraat)-toets wordt gebruikt om de hypothese van verschillende verdelingen te testen. Dit is zijn waardigheid. De berekeningsformule van het criterium is gelijk aan waarbij m en m’ respectievelijk empirische en theoretische frequenties zijn de betreffende verdeling; n is het aantal vrijheidsgraden. Om dit te controleren moeten we empirische (waargenomen) en theoretische (berekend onder de aanname van een normale verdeling) frequenties vergelijken. Als de empirische frequenties volledig samenvallen met de berekende of verwachte frequenties, is S (E – T) = 0 en is het χ2-criterium ook gelijk aan nul. Als S (E – T) niet gelijk is aan nul, duidt dit op een discrepantie tussen de berekende frequenties en de empirische frequenties van de reeks. In dergelijke gevallen is het noodzakelijk om de betekenis van het χ2-criterium te evalueren, dat theoretisch kan variëren van nul tot oneindig. Dit wordt gedaan door de feitelijk verkregen waarde van χ2ф te vergelijken met zijn kritische waarde (χ2st). De nulhypothese, d.w.z. de aanname dat de discrepantie tussen de empirische en theoretische of verwachte frequenties willekeurig is, wordt weerlegd als χ2ф groter is dan of gelijk is aan. χ2st voor het geaccepteerde significantieniveau (a) en het aantal vrijheidsgraden (n). De verdeling van waarschijnlijke waarden van de willekeurige variabele χ2 is continu en asymmetrisch. Het hangt af van het aantal vrijheidsgraden (n) en benadert een normale verdeling naarmate het aantal waarnemingen toeneemt. Daarom gaat de toepassing van het χ2-criterium op de beoordeling van discrete verdelingen gepaard met enkele fouten die de waarde ervan beïnvloeden, vooral in kleine steekproeven. Om nauwkeurigere schattingen te verkrijgen, moet de steekproef verdeeld over de variatiereeksen minimaal 50 opties hebben. Een correcte toepassing van het χ2-criterium vereist ook dat de frequenties van varianten in extreme klassen niet minder dan 5 mogen zijn; als er minder dan 5 zijn, worden ze gecombineerd met de frequenties van aangrenzende klassen, zodat het totale aantal groter is dan of gelijk is aan 5. Afhankelijk van de combinatie van frequenties neemt het aantal klassen (N) af. Het aantal vrijheidsgraden wordt bepaald door het secundaire aantal klassen, rekening houdend met het aantal beperkingen op de vrijheid van variatie. Omdat de nauwkeurigheid van het bepalen van het χ2-criterium grotendeels afhangt van de nauwkeurigheid van het berekenen van theoretische frequenties (T), moeten niet-afgeronde theoretische frequenties worden gebruikt om het verschil tussen de empirische en berekende frequenties te verkrijgen. Laten we als voorbeeld een studie nemen die is gepubliceerd op een website gewijd aan de toepassing van statistische methoden in de geesteswetenschappen. Met de Chi-kwadraattoets kunt u frequentieverdelingen vergelijken, ongeacht of deze normaal verdeeld zijn of niet. Frequentie verwijst naar het aantal keren dat een gebeurtenis voorkomt. Gewoonlijk wordt de frequentie van het optreden van gebeurtenissen behandeld wanneer variabelen worden gemeten op een schaal van namen en hun andere kenmerken, naast de frequentie, onmogelijk of problematisch zijn om te selecteren. Met andere woorden: wanneer een variabele kwalitatieve kenmerken heeft. Ook hebben veel onderzoekers de neiging testscores om te zetten in niveaus (hoog, gemiddeld, laag) en tabellen met scoreverdelingen samen te stellen om het aantal mensen op deze niveaus te achterhalen. Om te bewijzen dat op een van de niveaus (in een van de categorieën) het aantal mensen echt groter (minder) is, wordt ook de Chi-kwadraatcoëfficiënt gebruikt. Laten we naar het eenvoudigste voorbeeld kijken. Er werd een test uitgevoerd onder jongere adolescenten om het gevoel van eigenwaarde te identificeren. De testscores zijn omgezet in drie niveaus: hoog, gemiddeld, laag. De frequenties zijn als volgt verdeeld: Hoog (B) 27 personen. Gemiddeld (C) 12 personen. Laag (L) 11 personen Het is duidelijk dat de meerderheid van de kinderen een hoog zelfbeeld heeft, maar dit moet statistisch worden bewezen. Om dit te doen gebruiken we de Chi-kwadraattoets. Onze taak is om te controleren of de verkregen empirische gegevens verschillen van theoretisch even waarschijnlijke gegevens. Om dit te doen, moet je de theoretische frequenties vinden. In ons geval zijn theoretische frequenties even waarschijnlijke frequenties, die worden gevonden door alle frequenties op te tellen en te delen door het aantal categorieën. In ons geval: (B+C+H)/3 = (27+12+11)/3 = 16,6 Formule voor het berekenen van de chikwadraattoets: χ2 = ∑(E - T)I / T We bouwen de tafel: Zoek de som van de laatste kolom: Nu moet u de kritische waarde van het criterium vinden met behulp van de tabel met kritische waarden (tabel 1 in de bijlage). Om dit te doen hebben we het aantal vrijheidsgraden (n) nodig. n = (R - 1) * (C - 1) waarbij R het aantal rijen in de tabel is, is C het aantal kolommen. In ons geval is er slechts één kolom (dat wil zeggen de oorspronkelijke empirische frequenties) en drie rijen (categorieën), dus de formule verandert - we sluiten de kolommen uit. n = (R - 1) = 3-1 = 2 Voor de foutkans p≤0,05 en n = 2 is de kritische waarde χ2 = 5,99. De verkregen empirische waarde is groter dan de kritische waarde - de verschillen in frequenties zijn significant (χ2= 9,64; p≤0,05). Zoals u kunt zien, is het berekenen van het criterium heel eenvoudig en kost het niet veel tijd. De praktische waarde van de chikwadraattoets is enorm. Deze methode is het meest waardevol bij het analyseren van antwoorden op vragenlijsten. Laten we naar een complexer voorbeeld kijken. Een psycholoog wil bijvoorbeeld weten of het waar is dat leraren meer gericht zijn op jongens dan op meisjes. Die. meer kans om meisjes te prijzen. Om dit te doen analyseerde de psycholoog de kenmerken van studenten, geschreven door docenten, op de frequentie waarmee drie woorden voorkomen: 'actief', 'ijverig', 'gedisciplineerd', en werden ook synoniemen van de woorden geteld. Gegevens over de frequentie van het voorkomen van woorden werden in de tabel ingevoerd: Om de verkregen gegevens te verwerken gebruiken we de chikwadraattoets. Om dit te doen, zullen we een tabel maken met de verdeling van empirische frequenties, d.w.z. de frequenties die we waarnemen: Theoretisch verwachten we dat de frequenties gelijk verdeeld zullen zijn, d.w.z. de frequentie wordt proportioneel verdeeld tussen jongens en meisjes. Laten we een tabel met theoretische frequenties maken. Om dit te doen, vermenigvuldigt u de rijsom met de kolomsom en deelt u het resulterende getal door de totale som (s). De definitieve tabel voor berekeningen ziet er als volgt uit: χ2 = ∑(E - T)I / T n = (R - 1), waarbij R het aantal rijen in de tabel is. In ons geval is chikwadraat = 4,21; n = 2. Met behulp van de tabel met kritische waarden van het criterium vinden we: met n = 2 en een foutniveau van 0,05 is de kritische waarde χ2 = 5,99. De resulterende waarde is kleiner dan de kritische waarde, wat betekent dat de nulhypothese wordt geaccepteerd. Conclusie: leraren hechten geen belang aan het geslacht van het kind bij het opschrijven van kenmerken voor hem. Conclusie. K. Pearson heeft een belangrijke bijdrage geleverd aan de ontwikkeling van wiskundige statistieken (een groot aantal fundamentele concepten). Pearsons belangrijkste filosofische standpunt is als volgt geformuleerd: de concepten van de wetenschap zijn kunstmatige constructies, middelen om zintuiglijke ervaringen te beschrijven en te ordenen; de regels om ze in wetenschappelijke zinnen te verbinden worden geïsoleerd door de grammatica van de wetenschap, namelijk de wetenschapsfilosofie. De universele discipline – toegepaste statistiek – stelt ons in staat ongelijksoortige concepten en verschijnselen met elkaar te verbinden, ook al is dit volgens Pearson subjectief. Veel van de constructies van K. Pearson houden rechtstreeks verband met of zijn ontwikkeld met behulp van antropologische materialen. Hij ontwikkelde talrijke methoden voor numerieke classificatie en statistische criteria die in alle wetenschapsgebieden worden gebruikt. Literatuur. 1. Bogolyubov A. N. Wiskunde. Mechanica. Biografisch naslagwerk. - Kiev: Naukova Dumka, 1983. 2. Kolmogorov A.N., Joesjkevitsj A.P. (red.). Wiskunde van de 19e eeuw. - M.: Wetenschap. - T.I. 3. 3. Borovkov A.A. Wiskundige statistieken. M.: Nauka, 1994. 4. 8. Feller V. Inleiding tot de waarschijnlijkheidstheorie en haar toepassingen. - M.: Mir, T.2, 1984. 5. 9. Harman G., Moderne factoranalyse. - M.: Statistieken, 1972.De chikwadraattoets gebruiken om complexe hypothesen te testen
Belangrijke punten
