Μάθημα : Οικονομετρία ΙΙ

Στις δύο τελευταίες διαλέξεις ολοκληρώσαμε αφενός τη συζήτηση γύρω από τον εκτιμητή οργανικών μεταβλητών και τη σύνδεσή του με τη γενικευμένη μέθοδο των ροπών (GMM), και αφετέρου εισαγάγαμε ένα πρώτο παράδειγμα σύγχρονης μεθόδου επιλογής μεταβλητών από τον χώρο της μηχανικής μάθησης, τον αλγόριθμο Forward Selection.    

Από τον IV στη GMM

Ξεκινήσαμε επανεξετάζοντας το υπόδειγμα εργαλειακών μεταβλητών υπό συνθήκες ανεξαρτησίας και ομοιογένειας μεταξύ των γραμμών του δείγματος. Υπενθυμίσαμε ότι ο εκτιμητής IV μπορεί να θεωρηθεί ως ειδική περίπτωση ενός γενικότερου προβλήματος ελαχιστοποίησης τετραγωνικής μορφής βασισμένης σε συνθήκες ροπών.

Στη συνέχεια επανήλθαμε σε ένα ερώτημα που είχε μείνει ανοιχτό κατά την αρχική παρουσίαση της ασυμπτωτικής θεωρίας του IV:

Πώς πρέπει να επιλεγεί η μήτρα στάθμισης ώστε η ασυμπτωτική διακύμανση του εκτιμητή να είναι όσο το δυνατόν μικρότερη;

Έχουμε ήδη δει ότι όταν ο αριθμός των εργαλείων συμπίπτει με τον αριθμό των παραμέτρων, η ασυμπτωτική διακύμανση του εκτιμητή δεν εξαρτάται από την επιλογή της μήτρας στάθμισης. Το αποτέλεσμα αυτό είχε ήδη εμφανιστεί στη θεωρία του IV και εξηγεί γιατί στην ακριβώς ταυτοποιημένη περίπτωση όλες οι λογικές επιλογές μήτρας στάθμισης οδηγούν στην ίδια ασυμπτωτική συμπεριφορά.

Αντίθετα, όταν υπάρχουν περισσότερες συνθήκες ροπών από παραμέτρους, η επιλογή της μήτρας στάθμισης επηρεάζει την ασυμπτωτική διακύμανση και συνεπώς προκύπτει φυσικά η έννοια της «βέλτιστης» μήτρας στάθμισης. Μέσω αλγεβρικών μετασχηματισμών δείξαμε ότι η βέλτιστη επιλογή είναι η αντίστροφη της μήτρας συνδιακυμάνσεων των στιγμιαίων συνθηκών ροπών.

Συζητήσαμε ότι η βέλτιστη μήτρα στάθμισης εξαρτάται από άγνωστες πληθυσμιακές ποσότητες και συνεπώς δεν είναι άμεσα διαθέσιμη στον ερευνητή. Για τον λόγο αυτό παρουσιάστηκε η ιδέα της εκτίμησής της από τα δεδομένα και η κατασκευή του λεγόμενου two-step GMM estimator.

Το πρώτο στάδιο χρησιμοποιεί μια απλή αρχική μήτρα στάθμισης (π.χ. την ταυτοτική) και παρέχει έναν προκαταρκτικό συνεπή εκτιμητή. Με βάση τα κατάλοιπα αυτού του εκτιμητή κατασκευάζεται ένας συνεπής εκτιμητής της βέλτιστης μήτρας στάθμισης, ο οποίος χρησιμοποιείται στο δεύτερο στάδιο για την παραγωγή του τελικού GMM estimator. Παρατηρήσαμε ότι αυτή η κατασκευή γενικεύεται σε αυθαίρετο πλήθος σταδίων, αλλά και στην κατασκευή που οδηγεί στον CUIVE.

Αναφερθήκαμε επίσης στο ότι η λογική των συνθηκών ροπών είναι πολύ γενικότερη από το γραμμικό υπόδειγμα οργανικών μεταβλητών κάτι που οδηγεί στην μεθοδολογία που αφορά την Γενικευμένη Μέθοδο των Ροπών-GMM. Παρουσιάστηκε ενδεικτικά ένα μη γραμμικό εκθετικο-γραμμικό υπόδειγμα, στο οποίο οι συνθήκες ορθογωνιότητας οδηγούν ξανά σε ένα πρόβλημα GMM. Στόχος του παραδείγματος δεν ήταν η πλήρης ανάπτυξη της θεωρίας αλλά η ανάδειξη του γεγονότος ότι το (γραμμικό) IV αποτελεί μόνο μια ειδική περίπτωση μιας πολύ ευρύτερης μεθοδολογικής οικογένειας.

Forward Selection και επιλογή μεταβλητών

Στη συνέχεια αλλάξαμε θεματολογία και περάσαμε σε ένα διαφορετικό αλλά ιδιαίτερα επίκαιρο ζήτημα: την επιλογή μεταβλητών σε περιβάλλοντα όπου ο αριθμός των υποψήφιων παλινδρομητών μπορεί να είναι πολύ μεγάλος.

Ξεκινήσαμε από το βασικό οικονομετρικό πρόβλημα της επιλογής υποδείγματος. Τονίστηκε ότι όταν υπάρχουν πολλοί υποψήφιοι παλινδρομητές, ο αριθμός των δυνατών υποδειγμάτων αυξάνεται εκθετικά και η εξαντλητική αναζήτηση καθίσταται γρήγορα υπολογιστικά αδύνατη.

Ως μία απάντηση στο πρόβλημα αυτό παρουσιάστηκε ο αλγόριθμος Forward Selection. Εξηγήσαμε ότι πρόκειται για έναν greedy αλγόριθμο: ξεκινά από το κενό υπόδειγμα και σε κάθε βήμα προσθέτει τη μεταβλητή που επιφέρει τη μεγαλύτερη βελτίωση στο επιλεγμένο κριτήριο. Η διαδικασία συνεχίζεται έως ότου η επιπλέον βελτίωση γίνει αμελητέα.

Παρουσιάστηκε αναλυτικά η λογική του αλγορίθμου, καθώς και υλοποίηση σε Python. Το παράδειγμα αυτό αποτέλεσε μια πρώτη επαφή με την υπολογιστική πλευρά των σύγχρονων μεθόδων επιλογής υποδείγματος.

Ένα ιδιαίτερα σημαντικό σημείο της διάλεξης ήταν η συζήτηση γύρω από τη σχέση μεταξύ βελτιστοποίησης και επιλογής μεταβλητών. Αναφερθήκαμε επιδερμικά στην έννοια της submodularity μια μορφή φθινουσών αποδόσεων για το κριτήριο το οποίο βελτιστοποιεί ο αλγόριθμος, η οποία σε αρκετά προβλήματα επιτρέπει σε greedy αλγορίθμους να παράγουν λύσεις πολύ κοντά στο ολικό βέλτιστο χωρίς να απαιτείται εξαντλητική αναζήτηση. Συζητήσαμε ότι το πρόβλημα επιλογής μεταβλητών στο γραμμικό υπόδειγμα δεν είναι γενικά ακριβώς submodular--οι σχετικές ιδιότητες του σχετίζονται με την σχέση που έχουν μεταξύ τους οι μέγιστη και η ελάχιστη ιδοτιμή της μήτρας Χ'Χ, αλλά συχνά εμφανίζει περίπου submodular συμπεριφορά, γεγονός που εξηγεί γιατί ο Forward Selection λειτουργεί συχνά αρκετά καλά στην πράξη.

Monte Carlo μελέτη

Για να αξιολογήσουμε εμπειρικά τον αλγόριθμο, σχεδιάσαμε ένα Monte Carlo πείραμα σε ένα sparse γραμμικό υπόδειγμα, όπου υπήρχαν πολλοί υποψήφιοι παλινδρομητές αλλά μόνο λίγοι ήταν πραγματικά σχετικοί.

Ορίσαμε διάφορες μετρικές αξιολόγησης:

• αριθμό επιλεγμένων μεταβλητών,
• ποσοστό ανάκτησης των πραγματικά σχετικών μεταβλητών,
• ακριβή ανάκτηση του αληθούς υποδείγματος,
• και μέτρα προσαρμογής του υποδείγματος.

Τα αποτελέσματα έδειξαν ότι ο αλγόριθμος εντοπίζει σχεδόν πάντοτε τους σημαντικούς παλινδρομητές, αλλά συχνά συνεχίζει να προσθέτει και μεταβλητές «θορύβου». Ως αποτέλεσμα, η προβλεπτική του απόδοση μπορεί να είναι πολύ καλή χωρίς να ανακτά απαραίτητα τη σωστή δομή του πραγματικού υποδείγματος.

Η παρατήρηση αυτή αποτέλεί αφορμή για μια ευρύτερη συζήτηση σχετικά με μια από τις κεντρικές διακρίσεις της σύγχρονης οικονομετρίας:

Είναι ο στόχος μας η πρόβλεψη ή η ανάκτηση της πραγματικής δομής του οικονομικού μηχανισμού; Οι μέθοδοι της μηχανικής μάθησης συνήθως δίνουν έμφαση στην προβλεπτική ικανότητα, ενώ η κλασική οικονομετρία ενδιαφέρεται περισσότερο για τη δομική ερμηνεία, την ταυτοποίηση και την αιτιώδη ανάλυση. Η σχέση μεταξύ αυτών των δύο προσεγγίσεων (σε διάφορες περιπτώσεις όχι ανεξάρτητων) παραμένει ένα από τα σημαντικότερα ερευνητικά ζητήματα της σύγχρονης οικονομετρίας.

Χρήσιμοι Σύνδεσμοι:

IV και GMM

Instrumental Variables Estimation
https://en.wikipedia.org/wiki/Instrumental_variables_estimation

Two-Stage Least Squares (2SLS)
https://en.wikipedia.org/wiki/Two-stage_least_squares

Generalized Method of Moments (GMM)
https://en.wikipedia.org/wiki/Generalized_method_of_moments

Method of Moments
https://en.wikipedia.org/wiki/Method_of_moments_(statistics)

Machine Learning και Επιλογή Μεταβλητών

Feature Selection
https://en.wikipedia.org/wiki/Feature_selection

Stepwise Regression
https://en.wikipedia.org/wiki/Stepwise_regression

Greedy Algorithm
https://en.wikipedia.org/wiki/Greedy_algorithm

Submodular Set Function
https://en.wikipedia.org/wiki/Submodular_set_function

Overfitting
https://en.wikipedia.org/wiki/Overfitting

Machine Learning
https://en.wikipedia.org/wiki/Machine_learning

Σημειώσεις για τα παραπάνω μπορείτε να βρείτε εδώ, εδώ, εδώ και εδώ, ενώ ο σχετικός με τον αλγόριθμο FS κώδικας βρίσκεται εδώ.