Παραμετρική Στατιστική: Τε 1 Οκτ. 2014: Ημερολόγιο μαθήματος: Νόμος μεγάλων αριθμών, σύγκλιση κατά πιθανότητα, συνέπεια εκτιμητριών

Τε 1 Οκτ. 2014: Ημερολόγιο μαθήματος: Νόμος μεγάλων αριθμών, σύγκλιση κατά πιθανότητα, συνέπεια εκτιμητριών

Σύγκλιση κατά πιθανότητα:

Ας είναι $X, X_1, X_2, X_3, \ldots$ τυχαίες μεταβλητές. Λέμε ότι η ακολουθία $X_n$ συγκλίνει στη $X$ κατά πιθανότητα (και γράφουμε $X_n \xrightarrow{p} X$ ) αν για κάθε $\epsilon > 0$ ισχύει

$\Prob{\Abs{X_n-X} \ge \epsilon} \to 0$ .

Διαισθητικά αυτό σημαίνει ότι όσο πιο μεγάλο είναι το $n$ τόσο πιο απίθανο είναι η τιμή της $X_n$ να απέχει πολύ από την τιμή της $X$ .

Εύκολα μπορεί κανείς να αποδείξει ότι αν $X_n \xrightarrow{p} X$ και $Y_n \xrightarrow{p} Y$ τότε έπεται ότι $X_n+Y_n \xrightarrow{p} X+Y$ . Η απόδειξη έγινε στο μάθημα και συνιστώ έντονα να επαναλάβετε αυτή την απόδειξη μόνοι σας και να βεβαιωθείτε ότι καταλαβαίνετε στο παραμικρό όλα τα επιχειρήματα που χρησιμοποιούνται. Είναι απλή απόδειξη αλλά θα σας βοηθήσει πολύ να ξεκαθαρίσετε ορισμένες βασικές έννοιες της θεωρίας Πιθανοτήτων.

Ομοίως αποδεικνύεται (ακόμη πιο απλά) ότι αν $\lambda \in \RR$ είναι πραγματικός αριθμός και $X_n \xrightarrow{p} X$ τότε ισχύει και $\lambda X_n \xrightarrow{p} \lambda X$ . Αυτά τα δύο μαζί συνεπάγονται ότι η σύγκλιση κατά πιθανότητα διατηρείται από γραμμικούς συνδυασμούς, δηλ. αν $X_n \xrightarrow{p} X$ και $Y_n \xrightarrow{p} Y$ και $\lambda, \mu \in \RR$ τότε ισχύει και $\lambda X_n + \mu Y_n \xrightarrow{p} \lambda X + \mu Y$ .

Θα δούμε αργότερα ότι η σύγκλιση κατά πιθανότητα διατηρείται και από άλλες πράξεις μεταξύ τυχαίων μεταβλητών.

Ασθενής Νόμος των μεγάλων αριθμών:

Αν $X, X_1, X_2, \ldots$ είναι ΤΜ τέτοιες ώστε οι $X_1, X_2, \ldots$ είναι ανεξάρτητες και όλες είναι ισόνομες με τη $X$ τότε αν $S_N = \frac{X_1+\cdots+X_N}{N}$ ισχύει

$S_N \xrightarrow{p} \Mean{X}$ .

Αποδείξαμε μια παρόμοια πρόταση με λίγο ισχυρότερες προϋποθέσεις:

Πρόταση 1:

Ας είναι $X$ μια ΤΜ με πεπερασμένη δεύτερη ροπή (δηλ. υπάρχει η $\sigma^2(X)$ ) και $\epsilon>0$ . Τότε υπάρχει μια ακολουθία $a_N$ θετικών αριθμών με $a_N \to 0$ τέτοια ώστε αν $X, X_1, X_2, \ldots, X_N$ είναι ισόνομες και οι $X_1, \ldots, X_N$ είναι ανεξάρτητες τότε

$\Prob{\Abs{\frac{X_1+\cdots+X_N}{N}-\Mean{X}} \ge \epsilon} \le a_n$ .

Απόδειξη της Πρότασης 1:

Έστω $S = (X_1+\cdots+X_N)/N$ . Τότε $\Mean{S}=\Mean{X}$ από τη γραμμικότητα της μέσης τιμής και $\sigma^2(S) = \sigma^2(X)/N$ από την ανεξαρτησία των $X_1,\ldots,X_N$ . Από την ανισότητα Chebyshev έχουμε

$\Prob{\Abs{S-\Mean{S}} \ge \epsilon} = \Prob{\Abs{S-\Mean{S}} \ge \lambda \sigma(S)} \le \frac{1}{\lambda^2}$ με $\lambda = \frac{\epsilon}{\sigma(S)}$ , οπότε έχουμε αποδείξει το ζητούμενο με

$a_N = \frac{\sigma^2(S)}{\epsilon^2} = \frac{\sigma^2(X)}{\epsilon^2 N} \to 0$ .

Πόρισμα 1:

Αν $\overline{X}_N$ είναι ο δειγματικός (εμπειρικός) μέσος από ένα τυχαίο δείγμα μεγέθους $N$ αντλούμενο από την ΤΜ $X$ τότε $\overline{X}_N \xrightarrow{p} \Mean{X}$ .

Συνεπείς εκτιμήτριες:

Ας είναι $\ft\theta(X_1,\ldots,X_N)$ μια στατιστική συνάρτηση που χρησιμοποιείται για να εκτιμήσει την ποσότητα $\theta$ (εκτιμήτρια της $\theta$ ). Τότε η $\ft\theta$ λέγεται συνεπής εκτιμήτρια της $\theta$ αν

$\ft\theta(X_1,\ldots,X_N) \xrightarrow{p} \theta$ .

Με απλά λόγια η πιθανότητα η εκτίμηση $\ft\theta$ να αποκλίνει από την εκτιμώμενη ποσότητα $\theta$ παραπάνω από μια οποιαδήποτε τιμή $\epsilon>0$ εξανεμίζεται όσο μεγαλώνει το $N$ . Πρόκειται λοιπόν για μια απολύτως επιθυμητή ιδιότητα που πρέπει να έχει μια εκτιμήτρια: όσο πιο μεγάλο είναι το δείγμα τόσο πιο σίγουροι είμαστε για την ακρίβεια της εκτίμησής μας.

Συνέπεια του Πορίσματος 1 είναι ακριβώς ότι ο δειγματικός μέσος $X_N$ είναι συνεπής εκτιμήτρια της ποσότητας $\Mean{X}$ .

Σχέση ανάμεσα σε αμεροληψία και συνέπεια μιας εκτιμήτριας:

Μια εκτιμήτρια $\ft\theta(X_1,\ldots,X_N)$ μπορεί να είναι αμερόληπτη χωρίς να είναι συνεπής: πάρτε για παράδειγμα την κατανομή της $X$ να είναι μια οποιαδήποτε μη σταθερή κατανομή (π.χ. ομοιόμορφη στο $[0,1]$ ) και θέστε

$\ft\theta(X_1,\ldots,X_N) = X_1$ .

Τότε βεβαίως $\Mean{\ft\theta} = \Mean{X}$ (αφού οι $X, X_1$ είναι ισόνομες) και άρα η $\ft\theta$ είναι αμερόληπτη εκτιμήτρια της $\Mean{X}$ . Αλλά η $\ft\theta$ δεν είναι συνεπής αφού, αν το $\epsilon>0$ είναι αρκετά μικρό η ποσότητα

$\Prob{\Abs{\ft\theta-\Mean{X}} > \epsilon } = \Prob{\Abs{X_1-\Mean{X}}>\epsilon}$

δεν τείνει στο 0 αφου δεν είναι μηδενική (η $X$ δεν είναι σταθερή ΤΜ) και δεν εξαρτάται από το $N$ .

Μια εκτιμήτρια μπορεί να είναι συνεπής χωρίς να είναι αμερόληπτη. Πάρτε για παράδειγμα (άσκηση: αποδείξτε το)

$\ft\theta(X_1+\cdots+ X_N) = \overline{X}_N + \frac{1}{N} = \frac{X_1+\cdots+X_N}{N} + \frac{1}{N}$ .

Δειγματική συνάρτηση κατανομής: παραδείγματα στην R

Δείτε εδώ.

Last modified: Thursday, 2 October 2014, 12:52 AM