Η κατανομή \(\chi_N^2\)

Η κατανομή \(\chi_N^2\) ορίζεται να είναι η κατανομή του αθροίσματος \[ Z_1^2+\cdots+Z_N^2 \] όπου οι \(Z_1,\ldots,Z_N\) είναι ανεξάρτητες \(N(0,1)\) (τυπικές κανονικές). Η παράμετρος \(N\) ονομάζεται πλήθος των βαθμών ελευθερίας της \(\chi_N^2\) (degrees of freedom).

Η πυκνότητα της \(\chi_N^2\) δίνεται από τον τύπο \[ \frac{1}{2^{N/2}\Gamma(N/2)} x^{\frac{N}{2}-1} e^{-x/2}, \] και επίσης έχει μέση τιμή \(Ν\) και διασπορά \(2N\). Η ροπογεννήτρια συνάρτηση της \(\chi_N^2\) είναι η \((1-2t)^{-N/2}\).

Παρακάτω βλέπουμε τις πυκνότητες της \(\chi_N^2\) για διάφορες τιμές του \(N\).

Οι πυκνότητες \chi_k^2 για διάφορους βαθμούς ελευθερίας k

Ανεξαρτησία δειγματικού μέσου και δειγματικής διασποράς από κανονική κατανομή

Η έννοια της ροπογεννήτριας συνάρτησης που έχουμε δει μέχρι τώρα για αριθμητικές ΤΜ επεκτείνεται με φυσιολογικό τρόπο και για διανυσματικές ΤΜ. Αν \(X=(X_1,\ldots,X_N)\) είναι μια \(N\)-διάστατη ΤΜ τότε η ροπογεννήτριά της ορίζεται να είναι η συνάρτηση \[ M_X(t_1,\ldots,t_N) = {{{\mathbb E}\left[{e^{t_1 X_1+\cdots+t_N X_N}}\right]}}, \] για όποια φυσικά διανύσματα \((t_1,\ldots,t_N)\) αυτή υπάρχει. Το πολύ σημαντικό θεώρημα μοναδικότητας (``ίδια ροποσυνάρτηση συνεπάγεται ίδια κατανομή’’) ισχύει κι εδώ. Εύκολα βλέπουμε ότι ισχύει και το εξής Λήμμα.

Λήμμα Αν \(X = (X_1,\ldots,X_N)\) και οι \(X_1,\ldots,X_N\) είναι ανεξάρτητες τότε \[ M_X(t_1,\ldots,t_N) = M_{X_1}(t_1)\cdots M_{X_N}(t_N). \]

Άσκηση Αποδείξτε το.

Από το θεώρημα της μοναδικότητας προκύπτει ότι αν για μια διανυσματική ΤΜ \((Χ_1,Χ_2)\) (όπου τα \(X_1, X_2\) είναι κι αυτά διανύσματα) ισχύει \[ Μ_{(Χ_1,Χ_2)}(t_1, t_2) = M_{X_1}(t_1) M_{X_2}(t_2), \] (όπου \(t_1, t_2\) είναι κι αυτά διανύσματα με τις διαστάσεις των \(X_1, X_2\)) τότε οι \(X_1, X_2\) είναι ανεξάρτητες.

Δείχνουμε τώρα το παρακάτω σημαντικό θεώρημα που αφορά δειγματοληψία από κανονική κατανομή.

Θεώρημα Αν \(X_1,\ldots,X_N\) είναι ανεξάρτητα δείγματα που αντλούνται από την κανονική κατανομή \(N(\mu,\sigma^2)\) τότε ο δειγματικός μέσος \[ \overline{X} = \frac{X_1+\cdots+X_N}{N} \] και η διασπορά \[ S^2 = \frac{1}{N} \sum_{j=1}^N (X_j-\mu)^2, \] είναι ανεξάρτητες ΤΜ.

(Προσοχή, η διασπορά αυτή δεν είναι η γνωστή μας δειγματική διασπορά, που για τον υπολογισμό της δεν απαιτεί γνώση του \(\mu\).)

Το θεώρημα αυτό προκύπτει άμεσα ως πόρισμα του παρακάτω ισχυρότερου.

Θεώρημα Αν \(X_1,\ldots,X_N\) είναι ανεξάρτητα δείγματα που αντλούνται από την κανονική κατανομή \(N(\mu,\sigma^2)\) τότε ο δειγματικός μέσος \[ \overline{X} = \frac{X_1+\cdots+X_N}{N} \] και η διανυσματική ΤΜ \[ (X_1-\mu, X_2-\mu,\ldots,X_N-\mu) \] είναι ανεξάρτητες.

Άσκηση Γιατί το πρώτο θεώρημα είναι πόρισμα του δεύτερου;

Η ροπογεννήτρια συνάρτηση του διανύσματος \[ (\overline{X}, X_1-\mu, \ldots, X_N-\mu), \] είναι η συνάρτηση \[ M(s,t_1,\ldots,t_N) = {{{\mathbb E}\left[{e^{s\overline{X} + t_1(X_1-\mu)+\cdots+t_N(X_N-\mu)}}\right]}}. \] Για να δείξουμε ότι οι \(\overline{X}\) και \(Y=(X_1-\mu,\ldots,X_N-\mu)\) είναι ανεξάρτητες αρκεί να δείξουμε ότι η άνω ροπογεννήτρια γράφεται ως γινόμενο \[ M(s,t_1,\ldots,t_N) = Μ_{\overline{X}}(s) M_Y(t_1,\ldots,t_N). \] Κάνοντας πράξεις στον εκθέτη βλέπουμε ότι η \(M(\cdot)\) γράφεται στη μορφή \[ M(s,t_1,\ldots,t_N) = {{{\mathbb E}\left[{e^{a_1 X_1+\cdots+ a_N X_N}}\right]}}, \] όπου \[ a_j = \frac{s}{N} + (t_j-\overline{t}),\ \ \ j\in{{\left\{{1,2,\ldots,N}\right\}}}. \] Έχουμε χρησιμοποιήσει το συμβολισμό \(\overline{t} = (t_1+\cdots+t_N)/N\).

Με άλλα λόγια έχουμε δείξει ότι \[ M(s,t_1,\ldots,t_N) = Μ_{X_1}(a_1) \cdots M_{X_N}(a_N), \] χρησιμοποιώντας και την ανεξαρτησία των \(X_j\). Λαμβάνοντας υπόψιν και το ότι οι \(X_j\) είναι \(N(\mu,\sigma^2)\) έχουμε \[ M(s,t_1,\ldots,t_N) = \prod_{j=1}^N e^{\mu a_j + \frac{\sigma^2}{2}a_j^2} \] και μετά από απλές πράξεις βλέπουμε την παραγοντοποίηση \[ M(s,t_1,\ldots,t_N) = e^{\mu s + \sigma^2 s^2/(2N)} e^{\frac{\sigma^2}{2} \sum_{j=1}^N(t_j-\overline{t})^2}, \] ή, αλλιώς, \[ M(s,t_1,\ldots,t_N) = Μ_{\overline{X}}(s) M_{Y}(t_1,\ldots,t_N), \] που συμπληρώνει την απόδειξη.

Διαστήματα εμπιστοσύνης για \(\sigma^2\) από \(N(\mu,\sigma^2)\) με γνωστό \(\mu\)

Ας υποθέσουμε ότι η \(X\) ακολουθεί τη \(N(\mu, \sigma^2)\) και ότι το \(\mu\) μας είναι γνωστό. Σκοπός μας είναι να βρούμε διάστημα εμπιστοσύνης \(1-\alpha\) για το \(\sigma^2\).

Βρίσκουμε κατ αρχήν δύο αριθμούς \(0<a<b\) τ.ώ. \[ {{\mathbb P}\left[{a \le Y \le b}\right]} = 1-\alpha, \] όπου \(\alpha \in (0,1)\) και \(Y\) είναι μια ΤΜ που ακολουθεί \(\chi_N^2\). (Παρατηρείστε ότι αυτή η σχέση καθορίζει το \(b\) ως συνάρτηση του \(a\) και το αντίστροφο.) Γράφουμε επίσης \[ S^2 = \frac{1}{N} \sum_{j=1}^N (X_j-\mu)^2, \] η οποία ποσότητα είναι μια αμερόληπτη εκτιμήτρια του \(\sigma^2\). Εύκολα βλέπουμε ότι η \(Y = N S^2/\sigma^2\) είναι άθροισμα από \(N\) ανεξάρτητες τυπικές κανονικές και άρα ακολουθεί την κατανομή \(\chi_N^2\), οπότε ισχύει \[ {{\mathbb P}\left[{a \le \frac{N S^2}{\sigma^2} \le b}\right]} = 1-\alpha, \] το οποίο μπορούμε να το μεταγράψουμε ως \[ {{\mathbb P}\left[{\frac{N S^2}{b} \le \sigma^2 \le \frac{N S^2}{a}}\right]} = 1-\alpha. \] Έχουμε λοιπόν βρει ένα διάστημα εμπιστοσύνης \(1-\alpha\) \[ \left(\frac{N S^2}{b}, \frac{N S^2}{a} \right), \] και το μόνο που μένει είναι να πούμε το πώς βρίσκουμε τα \(a\) και \(b\).

Ένας απλός τρόπος είναι να μοιράσουμε εξίσου την πιθανότητα αποτυχίας του διαστήματος αριστερά του \(a\) και δεξιά του \(b\), βρίσκοντας δηλ. τα \(a, b\) από τις σχέσεις \[ F_{\chi_N^2}(a) = \frac{\alpha}{2},\ \ 1-F_{\chi_N^2}(b) = \frac{\alpha}{2}. \] (Από πρακτική άποψη αυτό μπορεί να γίνει με κλήση στη συνάρτηση qchisq της γλώσσας R.)

Όμως αν κάποιος δεν ενδιαφέρεται να ισοκατανείμει την πιθανότητα αποτυχίας αλλά ενδιαφέρεται μόνο να έχει ένα διάστημα εμπιστοσύνης όσο γίνεται πιο μικρό τότε θα πρέπει να επιλέξει τα \(a, b\) ώστε και να ικανοποιούν την \[ {{\mathbb P}\left[{a \le Y \le b}\right]} = 1-\alpha, \] να ελαχιστοποιούν το μήκος, πράγμα ισοδύναμο με ελαχιστοποίηση της ποσότητας \[ \frac{1}{a} - \frac{1}{b}. \] Λαμβάνοντας υπόψιν ότι η προπροηγούμενη σχέση καθορίζει το \(b\) σα συνάρτηση του \(a\) παραγωγίζουμε το μήκος και θέτουμε την παράγωγο ίση με το 0, οπότε παίρνουμε τη σχέση \[ b'(a) - \frac{b^2}{a^2}. \] Η σχέση που συνδέει μεταξύ τους τα \(a\) και \(b\) μπορεί να γραφεί μέσω της συνάρτησης κατανομής της \(\chi_N^2\) ως \[ F_{\chi_N^2}(a) + 1 - F_{\chi_N^2}(b) = 1 - \alpha,\ \ \ \ (*) \] η οποία παραγωγιζόμενη ως προς \(a\) δίνει τη σχέση \[ b'(a) = \frac{f_{\chi_N^2}(a)}{f_{\chi_N^2}(b)}, \] και από την προηγούμενή μας έκφραση για την \(b'(a)\) παίρνουμε την εξίσωση \[ a^2 f_{\chi_N^2}(a) = b^2 f_{\chi_N^2}(b) \] που μαζί με την (*) μας δίνουν δύο εξισώσεις για τα \(a, b\), οι οποίες επιλύονται αριθμητικά (προσεγγιστικά) και μας δίνουν τις δύο τιμές για το ελάχιστο διάστημα εμπιστοσύνης \(1-\alpha\).

Διαστήματα εμπιστοσύνης για το \(\theta\) από ομοιόμορφη \(U(0,\theta)\)

Ας είναι \(X_1,\ldots,X_N\) ένα ανεξάρτητο δείγμα από την ομοιόμορφη κατανομή \(U(0,\theta)\). Σκοπός μας είναι να βρούμε ένα διάστημα εμπιστοσύνης \(1-\alpha\) για το \(\theta\).

Αν συμβολίσουμε με \(Y\) το μέγιστο των \(X_1,\ldots,X_N\) ξέρουμε ότι η \(Y\) είναι εκτιμήτρια του \(\theta\) (από τη μέθοδο της μέγιστης πιθανοφάνειας).

Εύκολα υπολογίζει κανείς τη συνάρτηση κατανομής \(F_Y(t)\) (Άσκηση Κάντε το.) από την οποία με παραγώγιση προκύπτει η πυκνότητα \[ f_Y(t) = \frac{N t^{N-1}}{\theta^N} {{\bf 1}}(0 \le t \le \theta). \] Ορίζοντας \(T = Y/\theta\) έχουμε τη συνάρτηση πυκνότητας της \(T\) να είναι η \[ f_T(t) = N t^{N-1} 1{0 \le 1}, \] και το σημαντικό εδώ είναι ότι η άγνωστη παράμετρος \(\theta\) δεν υπεισέρχεται στην έκφραση για την \(f_T\).

Παίρνουμε δύο αριθμούς \(a<b\), \(a,b \in (0,1)\) που να ικανοποιούν τη σχέση \[ {{\mathbb P}\left[{a \le T \le b}\right]} = b^N - a^N = 1-\alpha, \ \ \ \ (1) \] και παρατηρούμε ότι η σχέση αυτή καθορίζει το \(a\) σα συνάρτηση του \(b\) και αντίστροφα, και ισοδύναμα γράφεται \[ {{\mathbb P}\left[{\frac{Y}{b} \le \theta \le \frac{Y}{a}}\right]} = 1-\alpha, \] έχουμε δηλ. βρει το διάστημα εμπιστοσύνης \(1-\alpha\) \[ \left(\frac{Y}{b}, \frac{Y}{a} \right) \ \ \ \ (2) \] του οποίου το μήκος θέλουμε να ελαχιστοποιήσουμε, πράγμα ισοδύναμο με την ελαχιστοποίηση της ποσότητας \(f(b) = 1/a(b)-1/b\) δεδομένου ότι τα \(a, b\) ικανοποιούν την (1) (βλέπουμε το \(a\) σα συνάρτηση του \(b\)).

Παραγωγίζοντας την (1) ως προς \(b\) παίρνουμε \[ a'(b) = \frac{b^{N-1}}{a^{N-1}}\ \ \ \ (3) \] και παραγωγίζοντας την \(f(b)\) παίρνουμε χρησιμοποιώντας την (3) \[ f'(b) = \frac{a^{N+1} - b^{N+1}}{b^2 a^{N+1}}, \] και βλέπουμε ότι \(f'(b) < 0\), αφού \(a<b\), και άρα η συνάρτηση \(f(b)\) είναι φθίνουσα και συνεπώς ελαχιστοποιείται για τη μέγιστη επιτρεπτή τιμή του \(b\), δηλ. για \(b=1\), που συνεπάγεται μέσω της (1) ότι \(a = \alpha^{1/N}\), και το διάστημα εμπιστοσύνης που βρήκαμε είναι το \[ \left( Y, \frac{Y}{\alpha^{1/N}}\right), \] όπου \(Y = \max{X_1,\ldots,X_N}\).

Για παράδειγμα αν \(N=32\) και \(1-\alpha=0.95\) τότε παίρνουμε ως διάστημα επιστοσύνης 95% το διάστημα \[ \left( Y, 1.098139 \cdot Y\right), \] ενώ για \(N=10\) και για το ίδιο \(\alpha\) παίρνουμε το διάστημα \[ \left( Y, 1.349283 \cdot Y\right). \]