forum.math.uoa.gr

Forum του Τμήματος Μαθηματικών
Ημερομηνία 21 Σεπ 2017, 14:29

Όλοι οι χρόνοι είναι UTC + 2 ώρες [ DST ]




Δημιουργία νέου θέματος Απάντηση στο θέμα  [ 1 δημοσίευση ] 
Συγγραφέας Μήνυμα
 Θέμα δημοσίευσης: Σεμινάριο Θεωρ. Στατιστικής/Πιθανοτήτων, Δευτέρα 9/1, 1:10μμ
ΔημοσίευσηΔημοσιεύτηκε: 02 Ιαν 2017, 18:06 
Χωρίς σύνδεση
Regular Forumer

Εγγραφη: 01 Ιουν 2010, 14:22
Δημοσ.: 146
Καλή χρονιά σε όλους. Ξεκινάμε με μια ομιλία του Ηλία Ζαδίκ. Ο Ηλίας είναι πρόσφατος απόφοιτος του τμήματος μας και τώρα κάνει το διδακτορικό του στο ΜΙΤ.

Δευτέρα 9 Ιανουαρίου. Ώρα 1:10μμ. Αίθουσα Α32.

Ομιλητής: Ηλίας Ζαδίκ (MIT).

Τίτλος: Γραμμική Παλινδρόμηση Υψηλών Διαστάσεων με Δυαδικούς Συντελεστές.

Περίληψη: Η παλινδρόμηση είναι μια πολύ διαδεδομένη τεχνική στην στατιστική που χρησιμοποιείται σε διαφόρους επιστημονικούς τομείς από την αστρονομία ως το Machine Learning. Σε αυτήν την ομιλία θα αναλύσουμε ένα γνωστό αφηρημένο μοντέλο γραμμικής παλινδρόμησης και θα ασχοληθούμε με το να προσδιορίσουμε ποιος είναι ο μικρότερος αριθμός των δειγμάτων που χρειάζονται ώστε να είναι δυνατή η ανάκτηση των σωστών συντελεστών του μοντέλου.

Συγκεκριμένα υποθέτουμε ότι ισχύει Y=X\beta^{*}+W όπου X είναι ένας πίνακας διαστάσεων n\times p με ανεξάρτητα και N(0,1) κανονικά κατανεμημένα στοιχεία, W είναι ένα διάνυσμα διαστάσεων n\times 1 με ανεξάρτητα και N(0,\sigma^{2}) κανονικά κατανεμημένα στοιχεία και \beta^{*} ένα p\times 1 διάνυσμα με k μη μηδενικά στοιχεία ίσα με την μονάδα κάτω από τις υποθέσεις ότι \log k=o(\log p) και \sigma^2=o(k). Το n αντιστοιχεί στον αριθμό των δειγμάτων και το p στα χαρακτηριστικά του προβλήματος. Ο στόχος είναι να ανακτήσουμε με μεγάλη πιθανότητα το διάνυσμα \beta^{*} γνωρίζοντας μόνο τα X και Y.

Στη βιβλιογραφία διάφορα αποτελέσματα των Wainwright, Donoho, Candes, Tao μεταξύ άλλων δείχνουν ότι μπορούμε να ανακτήσουμε ασυμπτωτικά σε πολυωνυμικό χρόνο, ως προς τις παραμέτρους του προβλήματος, το διάνυσμα \beta^* εάν ισχύει n \geq 2k \log p αλλά οποιαδήποτε ανάκτηση δεν είναι δυνατή εάν n<n^*:=2k(\log p)/ \log (1+2k/\sigma^{2}).

Σε αυτήν την ομιλία θα παρουσιάσουμε κάποια νέα αποτελέσματα γύρω από την απόδοση του Εκτιμητή Μέγιστης Πιθανοφάνειας (ΕΜΠ) του προβλήματος. Δείχνουμε οτι ο ΕΜΠ αλλάζει απότομα συμπεριφορά γύρω από το n^* με την έννοια του ότι αν \epsilon>0, τότε με n>(1+\epsilon)n^* ο ΕΜΠ ανακτά προσεγγιστικά το support του \beta^* με μεγάλη πιθανότητα, ενώ αν n<(1-\epsilon)n^* με μεγάλη πιθανότητα δεν ανακτά προσεγγιστικά κανένα μέρος του support του \beta^*. Αφού n^* \ll 2k \log p, τα παραπάνω αποτελέσματα συνεπάγονται ότι η ανάκτηση του \beta^* είναι δυνατή με ασυμπτωτικά μικρότερο n από αυτό που απαιτούν οι γνωστοί αλγόριθμοι και μάλιστα η απόδοση του ΕΜΠ φτάνει ακριβώς το κάτω όριο n^* του προβλήματος.

Η παραπάνω ανάλυση αναδεικνύει μάλιστα και μιας μορφής Overlap Gap Property (O.G.P.) στον χώρο των δυαδικών διανυσμάτων \beta όταν n\le ck\log p για αρκετά μικρή σταθερά c>0. Σε αντιστοιχία με παρόμοια φαινόμενα O.G.P. σε πολλά μοντέλα τυχαίων γραφημάτων και μοντέλα στατιστικής μηχανικής, προτείνουμε την παρουσία του O.G.P. ως τον λόγο της αλγοριθμικής δυσκολίας του προβλήματος όταν n \ll 2k \log p.

H δουλειά έγινε σε συνεργασία με τον David Gamarnik.


Κορυφή
 Προφίλ  
 
Τελευταίες δημοσιεύσεις:  Ταξινόμηση κατά  
Δημιουργία νέου θέματος Απάντηση στο θέμα  [ 1 δημοσίευση ] 

Όλοι οι χρόνοι είναι UTC + 2 ώρες [ DST ]


Μελη σε συνδεση

Μέλη σε αυτή την Δ. Συζήτηση : Δεν υπάρχουν εγγεγραμμένα μέλη και 1 επισκέπτης


Δεν μπορείτε να δημοσιεύετε νέα θέματα σε αυτή τη Δ. Συζήτηση
Δεν μπορείτε να απαντάτε σε θέματα σε αυτή τη Δ. Συζήτηση
Δεν μπορείτε να επεξεργάζεστε τις δημοσιεύσεις σας σε αυτή τη Δ. Συζήτηση
Δεν μπορείτε να διαγράφετε τις δημοσιεύσεις σας σε αυτή τη Δ. Συζήτηση

Αναζήτηση για:
Μετάβαση σε:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group