Αξιολόγηση στρατηγικών για την εκμετάλλευση υπερυπολογιστών πολλαπλών κόμβων σε υπολογιστικά απαιτητικές εφαρμογές τηλεπισκόπησης

Κυριακόπουλος, Κωνσταντίνος; Kyriakopoulos, Konstantinos

dc.contributor.author	Κυριακόπουλος, Κωνσταντίνος	el
dc.contributor.author	Kyriakopoulos, Konstantinos	en
dc.date.accessioned	2022-03-29T09:33:48Z
dc.date.available	2022-03-29T09:33:48Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/55006
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.22704
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) "Επιστήμη Δεδομένων και Μηχανική Μάθηση"	el
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Υπερυπολογιστές	el
dc.subject	Hypercomputers	en
dc.subject	Εφαρμογές τηλεπισκόπησης	el
dc.subject	Παράλληλη επεξεργασία	el
dc.subject	Πολλαπλοί κόμβοι	el
dc.subject	Γεωχωρικά δεδομένα	el
dc.subject	Geospatial data	en
dc.subject	Multi node	en
dc.subject	Parallel processing	en
dc.subject	Remote sensing applications	en
dc.title	Αξιολόγηση στρατηγικών για την εκμετάλλευση υπερυπολογιστών πολλαπλών κόμβων σε υπολογιστικά απαιτητικές εφαρμογές τηλεπισκόπησης	el
dc.title	Evaluating strategies for the exploitation of multi-node HPC clusters in computation intensive remote sensing tasks	en
heal.type	masterThesis
heal.classification	Επιστήμη υπολογιστών	el
heal.classification	Μηχανική Μάθηση	el
heal.classification	Υπερυπολογιστές	el
heal.classification	Εφαρμογές Τηλεπισκόπησης	el
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2021-11-01
heal.abstract	Τα τελευταία χρόνια, η μεγάλη ανάπτυξη και εξέλιξη στους τομείς των Μεγάλων Δεδομένων, της Γεω-Πληροφορικής και της Μηχανικής Μάθησης, προβάλλουν μεγάλες προκλήσεις υπό όρους ανθετικότητας, επεκτασιμότητας, πολυπλοκότητας και υπολογιστικής ταχύτητας. Πιο συγκεκριμένα, το μεγάλο μέγεθος των συνόλων δεδομένων, ειδικά στην περίπτωση των γεωχωρικών δεδομένων, μαζί με τους σύνθετους υπολογισμούς που πρέπει να γίνουν κατά την εφαρμογή μοντέλων ML, απαιτούν πόρους που δεν είναι διαθέσιμοι σε μια κοινή υποδομή. Ωστόσο, αυτό το πρόβλημα μπορεί να αντιμετωπιστεί με μαζική παράλληλη επεξεργασία σε μεγάλες κυψέλες υπερυπολογιστών. Αυτή η μεταπτυχιακή διατριβή εστιάζει στην παρουσίαση και τη διερεύνηση των δυνατοτήτων του συστήματος ARIS (Advanced Research Information System) ενώ εκτελεί σύνθετους υπολογισμούς και εφαρμόζει τεχνικές μηχανικής μάθησης σε παράλληλη κλίμακα. Για τους σκοπούς αυτού του πειράματος, χρησιμοποιούνται δεδομένα από το πρόγραμμα Sentinel 2. Το σύνολο δεδομένων αποτελείται από 53 πλακίδια τα οποία είναι δορυφορικές εικόνες που αντιπροσωπεύουν τον γεωγραφικό χώρο της Ελλάδας. Ως μέρος του πειράματος, το πλακίδιο αναλύεται σε μικρότερα μέρη και κάθε μέρος υποβάλλεται σε επεξεργασία ενώ εφαρμόζονται μέθοδοι ML για συγκεκριμένες εκδόσεις του πλακιδίου (10m και 20m). Μόλις ολοκληρωθεί η διαδικασία κάθε μέρους, οι εικόνες που προέρχονται από κάθε μέρος συγχωνεύονται στην τελική εικόνα που είναι το τελικό επεξεργασμένο αποτέλεσμα. Κατά την αρχική υλοποίηση, η διαδικασία κάθε τμήματος εκτελείται σειριακά, με αποτέλεσμα μια ιδιαιτερα χρονοβόρα εργασία. Στην προσέγγισή μας, κάθε τμήμα υποβάλλεται σε επεξεργασία σε διαφορετικό κόμβο του συστήματος ως ξεχωριστή διαδικασία, με αποτέλεσμα τη σημαντική μείωση του συνολικού χρόνου που απαιτείται για το πείραμα. Εκτός από το κέρδος χρόνου που προκύπτει από την παράλληλη επεξεργασία, εξετάζουμε τους περιορισμούς που αντιμετωπίζει η παράλληλη επεξεργασία σε αυτό το πείραμα μαζί με το πώς επηρεάζονται οι υποδιεργασίες από το έδαφος στις εικόνες. Συνολικά, αυτή η διατριβή παρέχει μια πολύ καλή ανάλυση σχετικά με την παράλληλη επεξεργασία μεγάλων γεωχωρικών δεδομένων κατά την εφαρμογή μεθόδων μηχανικής μάθησης καθώς επίσης παρουσιάζει τις προκλήσεις, τους περιορισμούς που υπάρχουν στα δεδομένα και στις υποδομές και πως αυτοί αλληλεπιδρούν μεταξύ τους.	el
heal.abstract	Over the recent years, the fast growth and evolution in the fields of Big Data, Geoinformatics and Machine Learning, is posing great challenges in terms of robustness, scalability, complexity and computational speed. More specifically, the big size of the datasets, especially in the case of geospatial data, along with the complex calculations that need to be performed when applying ML models, require resources which are not available in common infrastructure. However, this problem can be tackled by massive parallel processing in big hyper computer clusters. This master thesis focuses on presenting and exploring the capabilities of the ARIS (Advanced Research Information System) cluster while performing complex computations and applying machine learning techniques in parallel scale. For the purpose of this experiment, data from the Sentinel 2 program is used. The dataset consists of 53 tiles which are satellite images that represent the geographical space of Greece. As part of the experiment, the tile is broken down into smaller parts and each part is processed while applying ML methods for specific versions of the tile(10m and 20m). Once, the process of each part is over, the images that derived from each part are merged into the final image which is the final processed result. During the initial implementation, the process of each part is performed serially, resulting in a lengthy task. In our approach, each part is being processed in a different node of the cluster as a separate process, resulting in a significant decrease in the overall time that is needed for the experiment. Apart from the gain in time that derives from the parallel processing, we examine the limitations that parallel processing is facing in this experiment along with how the subprocesses are affected by the terrain in the images. Overally, this thesis provides a very good insight into parallel processing of large geospatial data while applying machine learning methods and presents the challenges, the limitations that exist in the relevant data and infrastructure and how they interact with each other.	en
heal.advisorName	Καράντζαλος, Κωνσταντίνος	el
heal.committeeMemberName	Καράντζαλος, Κωνσταντίνος	el
heal.committeeMemberName	Βακαλοπούλου, Μαρία	el
heal.committeeMemberName	Παπουτσής, Ιωάννης	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
heal.academicPublisherID	ntua
heal.numberOfPages	55 σ.	el
heal.fullTextAvailability	false