Παραλληλοποίηση και βελτιστοποίηση εφαρμογών για παράλληλα συστήματα μεγάλης κλίμακας

Abstract

Ένα από τα πιο δύσκολα προβλήματα στα συστήματα παράλληλης είναι η ανάπτυξη παράλληλου λογισμικού το οποίο κλιμακώνει αποδοτικά. Αρκετές εφαρμογές δεν κλιμακώνουν έπειτα από έναν αριθμό επεξεργαστών επειδή το κόστος επικοινωνίας γίνεται συγκρίσιμο με την ωφέλιμη υπολογιστική εργασία. Σκοπός της παρούσας διπλωματικής είναι η παραλληλοποίηση του αλγορίθμου συζυγών κλίσεων ο οποίος χρησιμοποιείται για την αριθμητική επίλυση συστημάτων γραμμικών διαφορικών εξισώσεων της μορφής Ax = b, όπου ο πίνακας Α είναι αραιός. Δοκιμάζουμε διάφορους τρόπους διανομής του πίνακα και των διανυσμάτων του αλγορίθμου με στόχο να βρούμε τον βέλτιστο συνδυασμό φόρτου υπολογισμών και επικοινωνίας σε όλους τους επεξεργαστές και να πετύχουμε όσο το δυνατόν καλύτερη κλιμάκωση για μεγάλο αριθμό επεξεργαστών. Η πλατφόρμα στην οποία εκτελούμε τα πειράματα μας είναι μία συστοιχία από κόμβους πολυεπεξεργαστών με μοιραζόμενη μνήμη (SMP) και το δίκτυο διασύνδεσης είναι Gigabit Ethernet.

One of the most difficult problems in parallel computing is to develop parallel software that has effective scalability. Several applications do not scale further than a number of processors because communication overhead becomes comparable with computational work. The goal of this diploma thesis is the parallelization of the conjugate gradient algorithm which is used for the numerical solution of systems of linear equations in the form Ax = b in which the matrix A is sparse. We try different ways of distributing the matrix and vectors of the algorithm in order to find the best combination of computation and communication load between the processors and to achieve the best scalability for a large number of processors. Our execution platform is a cluster of SMP nodes and the interconnection network is Gigabit Ethernet.