Μάθημα : Οικονομετρία ΙΙ

Στις εν λόγω διαλέξεις συνεχίσαμε τη μελέτη της θεωρίας μέγιστης πιθανοφάνειας (MLE), εστιάζοντας πλέον κυρίως:

• στα ζητήματα αριθμητικής βελτιστοποίησης του υποδείγματος Probit,
• στη σύνδεση της γενικής θεωρίας M-estimation με τη θεωρία της πιθανοφάνειας,
• στη σχέση της συνέπειας (ή της άσυνέπειας στην περίπτωη της κακής εξειδίκευσης) του MLE με την απόκλιση Kullback–Leibler,
• στην ισότητα της Μήτρας Πληροφοριών  και την ασυμπτωτική αποτελεσματικότητα,
• καθώς και στο τι συμβαίνει όταν το υπόδειγμα είναι λανθασμένα εξειδικευμένο.

Ξεκινήσαμε από το πρόβλημα βελτιστοποίησης του Probit estimator. Συζητήσαμε γιατί το πρόβλημα δεν διαθέτει closed-form λύση και γιατί απαιτείται αριθμητική βελτιστοποίηση. Αναλύθηκαν οι Newton-type και quasi-Newton μέθοδοι (ιδιαίτερα BFGS), καθώς και οι λόγοι για τους οποίους η Εσσιανή μήτρα του προβλήματος μπορεί να δημιουργήσει αριθμητική αστάθεια. Εξηγήθηκε ότι αυτό δεν οφείλεται απλώς στην ύπαρξη δεύτερων παραγώγων, αλλά κυρίως στο γεγονός ότι εμφανίζονται όροι που περιλαμβάνουν πολύ μικρούς παρονομαστές όταν οι πιθανότητες πλησιάζουν το 0 ή το 1. Αυτό μπορεί να οδηγήσει σε ill-conditioning και ασταθείς ενημερώσεις των αλγορίθμων.

Παρουσιάστηκε επίσης η υπολογιστική δομή του προβλήματος, το κόστος ανά iteration, καθώς και ενδεικτική Python υλοποίηση του Probit MLE μέσω BFGS. Συζητήθηκαν practical numerical issues όπως clipping πιθανοτήτων και overflow/underflow προβλήματα.

Στη συνέχεια παρουσιάσαμε Monte Carlo πειράματα τόσο υπό σωστή εξειδίκευση όσο και υπό λανθασμένη εξειδίκευση. Στην περίπτωση σωστής εξειδίκευσης παρατηρήσαμε εμπειρικά:

• σύγκλιση του εκτιμητή προς την αληθή τιμή,
• μείωση της διασποράς καθώς αυξάνεται το μέγεθος δείγματος,
• και σταδιακή προσέγγιση της ασυμπτωτικής συμπεριφοράς που προβλέπει η θεωρία M-estimation.

Στην περίπτωση λανθασμένης εξειδίκευσης εξετάσαμε ιδιαίτερα το ενδεχόμενο η πραγματική DGP να είναι Robit με t-κατανεμημένα σφάλματα ενώ ο ερευνητής εκτιμά υπόδειγμα Probit. Η συζήτηση αυτή χρησιμοποιήθηκε για να εισαχθεί η έννοια της ψευδο-αληθούς τιμής (pseudo-true value). Δείξαμε ότι ο MLE δεν συγκλίνει γενικά στην πραγματική τιμή της παραμέτρου αλλά στην παράμετρο που ελαχιστοποιεί την πληροφοριακή απόσταση Kullback–Leibler μεταξύ της πραγματικής DGP και της οικογένειας μοντέλων που χρησιμοποιεί ο ερευνητής. Στην ειδική περίπτωση του Robit με μεγάλους βαθμούς ελευθερίας, είδαμε ότι η pseudo-true τιμή είναι ουσιαστικά rescaled εκδοχή της πραγματικής παραμέτρου, γεγονός που συνδέεται άμεσα με το scale identification του Probit.

Το κύριο θεωρητικό μέρος των διαλέξεων αφορούσε την εφαρμογή της γενικής θεωρίας M-estimation στο MLE. Ξεκινήσαμε από τη λογαριθμική πιθανοφάνεια και δείξαμε ότι η συνέπεια του MLE μπορεί να ερμηνευθεί μέσω της απόκλισης Kullback–Leibler. Συζητήσαμε ότι η λογαριθμική πιθανοφάνεια συγκλίνει ασυμπτωτικά σε ένα πληθυσμιακό κριτήριο το οποίο μεγιστοποιείται στην αληθή τιμή της παραμέτρου όταν το υπόδειγμα είναι σωστά εξειδικευμένο. Στην υπό συνθήκη περίπτωση, το ασυμπτωτικό κριτήριο συνδέεται με την αναμενόμενη τιμή ως προς τις μεταβλητές δέσμευσης των KL αποκλίσεων μεταξύ των δεσμευμένων κατανομών της πραγματικής DGP και του υποδείγματος.

Εξάγαμε ιδιότητες του score, και υπό την υπόθεση της ανεξαρτησίας (και ομοιογένειας) την ισότητα της μήτρας πληροφοριών και αναφερθήκαμε στη σημασία της. Συζητήσαμε ότι η ισότητα αυτή είναι συνέπεια της σωστής εξειδίκευσης και των υποθέσεών μας και μπορεί να μην ισχύει σε περιπτώσεις κακής εξειδίκευσης, ή/και εξάρτησης, κ.ο.κ.

Η μήτρα πληροφοριών Fisher ερμηνεύθηκε ως μέτρο της «τοπικής πληροφορίας» που περιέχει το δείγμα σχετικά με την παράμετρο. Η συζήτηση αυτή συνδέθηκε με την ασυμπτωτική εκδοχή του φράγματος Cramér–Rao και την έννοια της ασυμπτωτικής αποτελεσματικότητας. Δείξαμε ότι όταν ισχύει η information matrix equality, ο MLE επιτυγχάνει το ασυμπτωτικό πληροφοριακό κάτω φράγμα και επομένως είναι ασυμπτωτικά αποτελεσματικός.

Συζητήσαμε επίσης ότι σε πιο σύνθετα περιβάλλοντα —όπως λανθασμένη εξειδίκευση, σε κάποιες περιπτώσεις εξάρτησης — η ασυμπτωτική διακύμανση παίρνει την γενική sandwich μορφή και η πλήρης αποτελεσματικότητα μπορεί να αποτυγχάνει.

Τέλος, εφαρμόσαμε όλη την παραπάνω θεωρία ειδικά στο υπόδειγμα Probit υπό την υπόθεση ανεξαρτησίας (και ομοιογένειας μεταξύ) των γραμμών του πίνακα των παλινδρομητών.