Accelerating SIVIA (Set Inversion via Interval Analysis). An interval set membership technique to evaluate the generalization of
neural classifiers.

Νασιώτης, Κωνσταντίνος; Nasiotis, Konstantinos

dc.contributor.author	Νασιώτης, Κωνσταντίνος	el
dc.contributor.author	Nasiotis, Konstantinos	en
dc.date.accessioned	2024-03-21T09:38:58Z
dc.date.available	2024-03-21T09:38:58Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/59027
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.26723
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) "Επιστήμη Δεδομένων και Μηχανική Μάθηση"	el
dc.rights	Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-sa/3.0/gr/	*
dc.subject	Αντιστροφή συνόλου	el
dc.subject	GPU	en
dc.subject	Παράλληλη επεξεργασία	el
dc.subject	Ανάλυση διαστημάτων	el
dc.subject	Επιτάχυνση	el
dc.subject	CUDA GPU	en
dc.subject	Parallelism	en
dc.subject	Interval Analysis	en
dc.subject	SIVIA	en
dc.subject	Branch-and-Bound	en
dc.title	Accelerating SIVIA (Set Inversion via Interval Analysis). An interval set membership technique to evaluate the generalization of neural classifiers.	en
heal.type	masterThesis
heal.secondaryTitle	Επιταχύνοντας τη SIVIA(Αντιστροφή Συνόλου μέσω Ανάλυσης Διαστημάτων). Μια τεχνική που μπορεί να εκτιμήσει την γενίκευση Νευρωνικών Ταξινομητών.	el
heal.classification	Μαθηματικά	el
heal.classification	Πληροφορική	el
heal.classification	Τεχνητή νοημοσύνη	el
heal.classification	Μηχανική μάθηση	el
heal.classification	Mathematics	en
heal.classification	Informatics	en
heal.classification	Machine learning	en
heal.classification	Artificial intelligence	en
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2023-11-02
heal.abstract	Set Inversion via Interval Analysis (SIVIA) is a mathematically rigorous Branch-and-Bound technique, capable of deterministically providing guaranteed inner and outer approximations, given a bounded output interval and an inclusion function. Neural Networks (NNs), when performing a forward pass, in their most basic form are described by addition, multiplication and trigonometric operations. This means that a neural network can be quite portable to develop and should theoretically be easy to combine with other algorithms and hardware. In a classification context, using a Neural Network with SIVIA can provide us with guaranteed approximations of the input space recognized by a given class. This is useful in the visual sense, similarly to the way a fitted line is visualized in a Linear Regression problem, as measures like R squared do not constitute an absolute indicator of the quality of the fit. In addition, this information can be used to extract new metrics to help us understand the quality of a Network's training, such as its generalization performance. Combining SIVIA with NNs, however, results in a very demanding problem, as both large input spaces and computationally intensive functions (if the NN is large enough) are required to obtain a solution. This is why a parallel approach is proposed in this thesis, utilizing the massive amount of threads embedded into Graphical Processing Units, is proposed. The effectiveness of the proposed parallel algorithm is demonstrated on three different problems, with different hardware configurations and different data management strategies. Results indicate performance ranging from slowdowns to 8000 times the speedup compared to the sequential algorithm for the test problems and problem sizes used. Analysis shows that the GPU accelerated implementation is very sensitive to memory transfer and synchronization operations. It is concluded that for problems with large computational intensity, given sufficient available memory and proper memory management, use of the method presented has the potential of yielding significant speedups.	en
heal.abstract	Η Αντιστροφή Συνόλου μέσω Ανάλυσης Διαστημάτων (Set Inversion Via Interval Analysis-SIVIA) είναι μία απαιτητική μαθηματική τεχνική που συνήθως χρησιμοποιείται σε προβλήματα βελτιστοποίησης και ανάγεται στις τεχνικές Branch-and-Bound, μία κατηγορία αλγορίθμων που χρησιμοποιούν στρατηγική Διαίρει και Βασίλευε με στόχο την εξερεύνηση -συνήθως αρκετά μεγάλων- χώρων εισόδου. Αυτή η τεχνική έχει την δυνατότητα να προσφέρει εξασφαλισμένες εσωτερικές και εξωτερικές προσεγγίσεις ενός πεδίου ορισμού, δεδομένων ενός διαστήματος του πεδίου τιμών και μιας συνάρτησης εγκλεισμού. Τα Νευρωνικά Δίκτυα, κατά το εμπρόσθιο πέρασμα, αποτελούνται από προσθέσεις, πολλαπλασιασμούς και τριγωνομετρικές συναρτήσεις. Αυτό σημαίνει πως θεωρητικά η χρήση και η μεταφορά ενός Νευρωνικού Δικτύου με άλλες τεχνικές και υπολογιστικούς εξοπλισμούς είναι εύκολη. Πρακτικά, σε προβλήματα κατηγοριοποίησης, η χρήση ενός Νευρωνικού Δικτύου σε συνδυασμό με τη τεχνική SIVIA μπορεί να προσφέρει εξασφαλισμένες προσεγγίσης του χώρου εισόδου δεδομένης μιας κατηγορίας. Αυτό είναι χρήσιμο από την οπτική σκοπιά, όπως αντίστοιχα σε προβλήματα Γραμμικής Παλινδρόμησης χρειάζεται να οπτικοποιήσουμε την γραμμή παλινδρόμησης καθώς μετρικές όπως το R-sq δεν αποτελούν απόλυτη ένδειξη ποιότητας προσαρμογής. Επιπρόσθετα, η πληροφορία που παράγεται μέσω αυτής της τεχνικής μπορεί να χρησιμοποιηθεί για την δημιουργία νέων μετρικών οι οποίες μπορούν να συμβάλλουν στην βαθύτερη κατανόηση της μάθησης ενός νευρωνικού δικτύου. Ο συνδυασμός της τεχνικής SIVIA με ένα Νευρωνικό Δίκτυο μπορεί να αποτελέσει ένα αρκετά απαιτητικό πρόβλημα, καθώς χρειάζονται υπολογιστικά απαιτητικοί υπολογισμοί (στην περίπτωση χρήσης ενός μεγάλου δικτύου) σε συνδυασμό με τεράστιους χώρους εισόδου για την εύρεση λύσης. Συνεπώς, σε αυτή τη διπλωματική εργασία προτείνεται μία παράλληλη προσέγγιση, εκμεταλλευόμενη τον γιγαντιαίο αριθμό νημάτων που εμπεριέχονται σε μία μονάδα επεξεργασίας γραφικών (GPU). Η αποδοτικότητα της προτεινόμενης παράλληλης προσέγγισης παρουσιάζεται σε τρία διαφορετικά προβλήματα, σε διαφορετικά υπολογιστικά συστήματα και διαφορετικές στρατηγικής διαχείρισης δεδομένων. Τα αποτελέσματα ανέδειξαν επιδόσεις από επιβραδύνσεις μέχρι επιτάχυνση κατά ~8000 φορές. Η περαιτέρω ανάλυση ανέδειξε πως η προτεινόμενη παράλληλη υλοποίηση είναι ευαίσθητη στις μεταφορές δεδομένων καθώς και στον συγχρονισμό με την κεντρική μονάδα επεξεργασίας (CPU). Συμπερασματικά, για προβλήματα με υψηλές υπολογιστικές απαιτήσεις, δεδομένου επαρκούς διαθέσιμης μνήμης και κατάλληλης διαχείρισης, η χρήση της μεθόδου έχει την προοπτική για περαιτέρω επιταχύνσεις.	el
heal.sponsor	Ίδρυμα Ωνάση	el
heal.sponsor	Onassis Foundation	en
heal.advisorName	Soudris, Dimitrios	en
heal.committeeMemberName	Soudris, Dimitrios	en
heal.committeeMemberName	Xydis, Sotirios	en
heal.committeeMemberName	Adam, Stavros	en
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	95 σ.	el
heal.fullTextAvailability	false