dc.contributor.author | Καλντής, Μιχαήλ![]() |
el |
dc.contributor.author | Kalntis, Michail![]() |
en |
dc.date.accessioned | 2021-06-02T10:06:41Z | |
dc.date.available | 2021-06-02T10:06:41Z | |
dc.identifier.uri | https://dspace.lib.ntua.gr/xmlui/handle/123456789/53540 | |
dc.identifier.uri | http://dx.doi.org/10.26240/heal.ntua.21238 | |
dc.rights | Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα | * |
dc.rights.uri | http://creativecommons.org/licenses/by-nc-nd/3.0/gr/ | * |
dc.subject | Τομογραφία δικτύου | el |
dc.subject | Εκτίμηση πίνακα κυκλοφορίας | el |
dc.subject | Νευρωνικά δίκτυα | el |
dc.subject | Βαθιά μάθηση | el |
dc.subject | Παραλλαγμένος αυτοκωδικοποιητής | el |
dc.subject | Network tomography | en |
dc.subject | Traffic matrix estimation | en |
dc.subject | Neural networks | en |
dc.subject | Deep learning | en |
dc.subject | Variational autoencoder | en |
dc.title | Μελέτη και υλοποίηση εργαλείων μηχανικής μάθησης στην τομογραφία δικτύων υπολογιστών | el |
dc.title | Analysis and Design of efficient Network Tomography Mechanisms with Machine Learning Tools | en |
heal.type | bachelorThesis | |
heal.classification | Επιστήμη Υπολογιστών | el |
heal.classification | Computer Science | en |
heal.classification | Δίκτυα | el |
heal.classification | Networks | en |
heal.language | el | |
heal.language | en | |
heal.access | free | |
heal.recordProvider | ntua | el |
heal.publicationDate | 2021-05-11 | |
heal.abstract | Ο πίνακας κυκλοφορίας (Traffic Matrix) περιέχει το ποσό της κυκλοφορίας (σε πακέτα, ή bytes) μεταξύ όλων τον κόμβων ενός δικτύου. Δυστυχώς, η απευθείας μέτρηση των υπερβολικά πολλών πακέτων ή δεδομένων που διασχίζουν ένα δίκτυο είναι ασύμφορη, λόγω της μεγάλης χωρητικότητας και των πολλαπλών επεξεργαστικών μονάδων που χρειάζεται να λειτουργούν αδιάκοπα. Ωστόσο, ακόμα και με πολύ ισχυρά υπολογιστικά συστήματα, τα λάθη δεν είναι εφικτό να εξαλειφθούν και σημαντικά δεδομένα μπορεί να χαθούν. Μια λιγότερο κοστοβόρα προσέγγιση είναι η χρήση δεδομένων από τις ζεύξεις, τα οποία είναι εφικτό να αποκτηθούν ευκολότερα με τη χρήση του πρωτοκόλλου SNMP. Οι προαναφερθείσες μετρήσεις περιέχουν έμμεση πληροφορία για τον πίνακα κυκλοφορίας, οπότε ο τελευταίος μπορεί να εξαχθεί από αυτές. Η παρούσα διπλωματική εργασία εστιάζει στο πρόβλημα της Εκτίμησης Πίνακα κυκλοφορίας (Traffic Matrix Estimation), που ανήκει στην Τομογραφία Δικτύου (Network Tomography). Η προσέγγιση της διπλωματικής αυτής περιλαμβάνει την αξιοποίηση ενός γεννητικού μοντέλου μάθησης, που ονομάζεται Παραλλαγμένος Αυτοκωδικοποιητής (Variational Autoencoder), για να λύσει το προαναφερθέν κακώς-διατυπωμένο (ill-posed) πρόβλημα. Το πρόβλημα θεωρείται κακώς-διατυπωμένο, διότι ο πίνακας δρομολόγησης (routing matrix) δεν είναι full-rank, με αποτέλεσμα ο αριθμός των μεταβλητών να είναι πολύ μεγαλύτερος από τον αριθμό των εξισώσεων. Πιο αναλυτικά, εκπαιδεύουμε τον Αυτοκωδικοποιητή με προηγούμενα δεδομένα και αξιοποιούμε τον εκπαιδευμένο κωδικοποιητή για να μετατρέψουμε το πρόβλημά μας σε ένα πρόβλημα ελαχιστοποίησης σε έναν λανθάνοντα χώρο (latent space), το οποίο πλέον μπορεί να λυθεί εφαρμόζοντας έναν βελτιστοποιητή βασισμένο στην παράγωγο-κλίση (gradient-based optimizer). Επιπρόσθετα, ο εκπαιδευμένος κωδικοποιητής αξιοποιείται για να παράγει πίνακες κυκλοφορίας, οι οποίοι έχουν παρόμοια χαρακτηριστικά με τους υπόλοιπους που έχει εξετάσει. Τέλος, ερευνάται η σταδιακή βελτιστοποίηση (incremental optimization), η οποία κάνει χρήση των κωδικοποιητών όπως προκύπτουν κατά την εκπαίδευση του αυτοκωδικοποιητή. Τέλος, πραγματοποιείται αξιολόγηση των προτεινόμενων μεθόδων, χρησιμοποιώντας δεδομένα πινάκων κυκλοφορίας από ένα πραγματικό δίκτυο. | el |
heal.abstract | Traffic Matrix (TM) captures the amount of traffic between all nodes in a network. Since a variety of network operations, such as anomaly detection and network optimization, require accurate traffic matrices as inputs, it is becoming increasingly important for operators of these systems to acquire them. Unfortunately, measuring directly the vast number of packets that traverse a network is extremely expensive, due to the enormous demanded capacity, as well as the numerous processing units that have to function incessantly. Even with very powerful systems, errors cannot be completely avoided and crucial data is likely to be missed. A less costly approach is the usage of easily obtainable link counts through SNMP measurements, which implicitly contain information about traffic matrix. If so, TM has to be inferred. In this diploma thesis, the problem of Traffic Matrix Estimation (TME) is addressed, which belongs in the class of Path-Level Network Tomography. Our approach is to take advantage of deep generative models and more precisely, Variational Autoencoder (VAE) to deal with this highly under-constrained issue. In particular, we train the VAE with historical data (previously observed TMs) and we leverage the trained decoder to transform TME into a minimization problem in the latent space, which can be in turn solved by employing a gradient-based optimizer. Furthermore, the trained decoder can be used for synthesizing traffic matrices, i.e., for generating synthetic TM examples that have ``similar” properties to the samples of the training set. Finally, we explore the incremental optimization of the sequence of objectives constructed from the sequence of decoders that we obtain at different stages of the VAE training. The performance of the proposed methods is evaluated using a publicly available dataset of actual traffic matrices recorded in a real backbone network. | en |
heal.advisorName | Παπαβασιλείου, Συμεών | el |
heal.advisorName | Papavassiliou, Symeon | en |
heal.committeeMemberName | Βαρβαρίγου, Θεοδώρα | el |
heal.committeeMemberName | Ρουσσάκη, Ιωάννα | el |
heal.academicPublisher | Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Επικοινωνιών, Ηλεκτρονικής και Συστημάτων Πληροφορικής | el |
heal.academicPublisherID | ntua | |
heal.numberOfPages | 102 σ. | el |
heal.fullTextAvailability | false |
Οι παρακάτω άδειες σχετίζονται με αυτό το τεκμήριο: