Θεωρία Πληροφορίας

Η Θεωρία Πληροφορίας είναι το θεμελιώδες πεδίο μελέτης της μετάδοσης και συμπίεσης σημάτων. Το μάθημα προσφέρει μια ευρεία εισαγωγή στις βασικές έννοιες της θεωρίας πληροφορίας, μαζί με κάποια στοιχεία από πρακτικές εφαρμογές στη συμπίεση και την κωδικοποίηση σήματος και τη σχέση της θεωρίας πληροφορίας με την επιστήμη υπολογιστών. Συγκεκριμένα αναλύονται: έννοιες της εντροπίας και της πληροφορίας, ιδιότητα ασυμπτωτικής ισοκατανομής, αναπωλειακή συμπίεση σήματος (θεωρία και αλγόριθμοι Huffman, Shannon και arithmetic coding), σήματα και θόρυβος, διακριτά και συνεχή κανάλια, κωδικοποίηση και χωρητικότητα καναλιού, διαχωρισμός πηγής-καναλιού, συμπίεση με απώλειες και κβαντοποίηση, συνάρτηση ρυθμού-απώλειας (rate-distortion function), αλγοριθμική πολυπλοκότητα Kolmogorov.ω