Μελέτη και υλοποίηση εργαλείων μηχανικής μάθησης στην τομογραφία δικτύων υπολογιστών

Καλντής, Μιχαήλ; Kalntis, Michail

dc.contributor.author	Καλντής, Μιχαήλ	el
dc.contributor.author	Kalntis, Michail	en
dc.date.accessioned	2021-06-02T10:06:41Z
dc.date.available	2021-06-02T10:06:41Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/53540
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.21238
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Τομογραφία δικτύου	el
dc.subject	Εκτίμηση πίνακα κυκλοφορίας	el
dc.subject	Νευρωνικά δίκτυα	el
dc.subject	Βαθιά μάθηση	el
dc.subject	Παραλλαγμένος αυτοκωδικοποιητής	el
dc.subject	Network tomography	en
dc.subject	Traffic matrix estimation	en
dc.subject	Neural networks	en
dc.subject	Deep learning	en
dc.subject	Variational autoencoder	en
dc.title	Μελέτη και υλοποίηση εργαλείων μηχανικής μάθησης στην τομογραφία δικτύων υπολογιστών	el
dc.title	Analysis and Design of efficient Network Tomography Mechanisms with Machine Learning Tools	en
heal.type	bachelorThesis
heal.classification	Επιστήμη Υπολογιστών	el
heal.classification	Computer Science	en
heal.classification	Δίκτυα	el
heal.classification	Networks	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-05-11
heal.abstract	Ο πίνακας κυκλοφορίας (Traffic Matrix) περιέχει το ποσό της κυκλοφορίας (σε πακέτα, ή bytes) μεταξύ όλων τον κόμβων ενός δικτύου. Δυστυχώς, η απευθείας μέτρηση των υπερβολικά πολλών πακέτων ή δεδομένων που διασχίζουν ένα δίκτυο είναι ασύμφορη, λόγω της μεγάλης χωρητικότητας και των πολλαπλών επεξεργαστικών μονάδων που χρειάζεται να λειτουργούν αδιάκοπα. Ωστόσο, ακόμα και με πολύ ισχυρά υπολογιστικά συστήματα, τα λάθη δεν είναι εφικτό να εξαλειφθούν και σημαντικά δεδομένα μπορεί να χαθούν. Μια λιγότερο κοστοβόρα προσέγγιση είναι η χρήση δεδομένων από τις ζεύξεις, τα οποία είναι εφικτό να αποκτηθούν ευκολότερα με τη χρήση του πρωτοκόλλου SNMP. Οι προαναφερθείσες μετρήσεις περιέχουν έμμεση πληροφορία για τον πίνακα κυκλοφορίας, οπότε ο τελευταίος μπορεί να εξαχθεί από αυτές. Η παρούσα διπλωματική εργασία εστιάζει στο πρόβλημα της Εκτίμησης Πίνακα κυκλοφορίας (Traffic Matrix Estimation), που ανήκει στην Τομογραφία Δικτύου (Network Tomography). Η προσέγγιση της διπλωματικής αυτής περιλαμβάνει την αξιοποίηση ενός γεννητικού μοντέλου μάθησης, που ονομάζεται Παραλλαγμένος Αυτοκωδικοποιητής (Variational Autoencoder), για να λύσει το προαναφερθέν κακώς-διατυπωμένο (ill-posed) πρόβλημα. Το πρόβλημα θεωρείται κακώς-διατυπωμένο, διότι ο πίνακας δρομολόγησης (routing matrix) δεν είναι full-rank, με αποτέλεσμα ο αριθμός των μεταβλητών να είναι πολύ μεγαλύτερος από τον αριθμό των εξισώσεων. Πιο αναλυτικά, εκπαιδεύουμε τον Αυτοκωδικοποιητή με προηγούμενα δεδομένα και αξιοποιούμε τον εκπαιδευμένο κωδικοποιητή για να μετατρέψουμε το πρόβλημά μας σε ένα πρόβλημα ελαχιστοποίησης σε έναν λανθάνοντα χώρο (latent space), το οποίο πλέον μπορεί να λυθεί εφαρμόζοντας έναν βελτιστοποιητή βασισμένο στην παράγωγο-κλίση (gradient-based optimizer). Επιπρόσθετα, ο εκπαιδευμένος κωδικοποιητής αξιοποιείται για να παράγει πίνακες κυκλοφορίας, οι οποίοι έχουν παρόμοια χαρακτηριστικά με τους υπόλοιπους που έχει εξετάσει. Τέλος, ερευνάται η σταδιακή βελτιστοποίηση (incremental optimization), η οποία κάνει χρήση των κωδικοποιητών όπως προκύπτουν κατά την εκπαίδευση του αυτοκωδικοποιητή. Τέλος, πραγματοποιείται αξιολόγηση των προτεινόμενων μεθόδων, χρησιμοποιώντας δεδομένα πινάκων κυκλοφορίας από ένα πραγματικό δίκτυο.	el
heal.abstract	Traffic Matrix (TM) captures the amount of traffic between all nodes in a network. Since a variety of network operations, such as anomaly detection and network optimization, require accurate traffic matrices as inputs, it is becoming increasingly important for operators of these systems to acquire them. Unfortunately, measuring directly the vast number of packets that traverse a network is extremely expensive, due to the enormous demanded capacity, as well as the numerous processing units that have to function incessantly. Even with very powerful systems, errors cannot be completely avoided and crucial data is likely to be missed. A less costly approach is the usage of easily obtainable link counts through SNMP measurements, which implicitly contain information about traffic matrix. If so, TM has to be inferred. In this diploma thesis, the problem of Traffic Matrix Estimation (TME) is addressed, which belongs in the class of Path-Level Network Tomography. Our approach is to take advantage of deep generative models and more precisely, Variational Autoencoder (VAE) to deal with this highly under-constrained issue. In particular, we train the VAE with historical data (previously observed TMs) and we leverage the trained decoder to transform TME into a minimization problem in the latent space, which can be in turn solved by employing a gradient-based optimizer. Furthermore, the trained decoder can be used for synthesizing traffic matrices, i.e., for generating synthetic TM examples that have ``similar” properties to the samples of the training set. Finally, we explore the incremental optimization of the sequence of objectives constructed from the sequence of decoders that we obtain at different stages of the VAE training. The performance of the proposed methods is evaluated using a publicly available dataset of actual traffic matrices recorded in a real backbone network.	en
heal.advisorName	Παπαβασιλείου, Συμεών	el
heal.advisorName	Papavassiliou, Symeon	en
heal.committeeMemberName	Βαρβαρίγου, Θεοδώρα	el
heal.committeeMemberName	Ρουσσάκη, Ιωάννα	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Επικοινωνιών, Ηλεκτρονικής και Συστημάτων Πληροφορικής	el
heal.academicPublisherID	ntua
heal.numberOfPages	102 σ.	el
heal.fullTextAvailability	false