Enhancing Neural Network Compression through Adaptive Pruning Strategies

Ζάχου, Αλίκη; Zachou, Aliki

dc.contributor.author	Ζάχου, Αλίκη	el
dc.contributor.author	Zachou, Aliki	en
dc.date.accessioned	2025-11-26T07:35:42Z
dc.date.available	2025-11-26T07:35:42Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/62935
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.30631
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού-Μη Εμπορική Χρήση-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-nc-nd/3.0/gr/	*
dc.subject	Αραίωση νευρωνικών δικτύων	el
dc.subject	Κλάδεμα βαρών	el
dc.subject	Μη δομημένο κλάδεμα	el
dc.subject	Αραιή εκπαίδευση	el
dc.subject	Συμπίεση	el
dc.subject	Sparsification	en
dc.subject	Dnn compression	en
dc.subject	Weight pruning	en
dc.subject	Unstructured pruning	en
dc.subject	Sparse training	en
dc.title	Enhancing Neural Network Compression through Adaptive Pruning Strategies	en
dc.contributor.department	Τομέας Σημάτων, Ελέγχου και Ρομποτικής - Εργαστήριο Αναγνώρισης Προτύπων και Μηχανικής Μάθησης	el
heal.type	bachelorThesis
heal.classification	Όραση Υπολογιστών	el
heal.language	el
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2025-06-18
heal.abstract	In recent years, deep neural networks have achieved state-of-the-art performance across various and increasingly complicated machine learning tasks. However, in order to achieve such performances the deep neural network models are increasingly complicated and deployment heavy. Model compression methods, particularly pruning, have emerged as effective strategies to address these concerns by eliminating redundant parameters and reducing computational overhead. However, extreme levels of pruning often lead to instability and performance degradation. This thesis addresses these limitations by introducing adaptive pruning strategies that improve performance while maintaining high compression targets. The work tests the proposed strategies on the Feather pruning module, a recent method that utilizes the Straight-Through Estimator to enable gradient-based dense-to-sparse training. Although Feather and many similar modules yield SoA results, they rely on some static hyperparameters for gradient scaling and sparsity scheduling, which may lead to reduced performance. This work proposes two contributions on the basis of those static parameters. The first contribution is a dynamic scaling method inspired by Feather's fixed gradient scaling hyperparameter replacing it with a function based on the training phase's achieved sparsity, allowing larger gradient flow during early iterations to prevent premature pruning and more conservative updates as the sparsity ratio rises. The second contribution introduces an adaptive pruning scheduler function family that adjusts the pruning rate according to the stability of the pruning mask. This adaptiveness ensures that pruning is more cautious when masks become unstable, reducing the likelihood of large accuracy drops. Evaluations on benchmark architectures such as ResNet20, DenseNet40-24, and MobileNet V1, trained on CIFAR-100, show that both contributions enhance performance, especially in extreme sparsity ratios. In addition to these two contributions, the thesis includes an in depth study of the significance of pruned weights, comparing training processes that retain pruned connections via STE against those that permanently remove them. More specifically, the study aims to find what percentage of pruned weights holds significance and what percentage can be permanently dropped from the optimization process, in order to introduce sparse gradients to the sparsification process without loss of accuracy.	en
heal.abstract	Περίληψη Τα τελευταία χρόνια, τα βαθιά νευρωνικά δίκτυα έχουν επιτύχει εξαιρετικά αποτελέσματα σε διάφορους τομείς με όλο και πιο πολύπλοκα ζητούμενα μηχανικής μάθησης. Ωστόσο, για να επιτευχθεί τέτοια απόδο- ση, τα μοντέλα γίνονται ολοένα και πιο περίπλοκα και απαιτητικά ως προς την ανάπτυξη και την εκτέλεσή τους. Οι μέθοδοι συμπίεσης μοντέλων, και ιδιαίτερα το κλάδεμα, έχουν αναδειχθεί ως αποτελεσματικές στρατηγικές για την αντιμετώπιση αυτών των προβλημάτων, μέσω της εξάλειψης αχρείαστων παραμέτρων και της μείωσης του υπολογιστικού κόστους. Παρ’ όλα αυτά, ακραία επίπεδα αραίωσης συχνά οδηγούν σε αστάθεια και υποβάθμιση της απόδοσης. Η παρούσα εργασία αντιμετωπίζει αυτούς τους περιορισμούς εισάγοντας προσαρμοστικές στρατηγικές κλαδέματος που ενισχύουν την απόδοση ενώ διατηρούν υψηλά ε- πίπεδα συμπίεσης. Η εργασία εξετάζει τις προτεινόμενες στρατηγικές στο Feather, μια πρόσφατη μέθοδο κλαδέματος που αξιοποιεί τον Straight-Through Estimator για την εκπαίδευση αραιών μοντέλων. Αν και το Feather καθώς και άλλες παρόμοιες μέθοδοι προσφέρουν πολύ καλές βάσεις, βασίζονται σε ορισμένες στατικές υπερπαραμέτρους για την κλιμάκωση των κλίσεων και τον προγραμματισμό της αραίωσης, γεγονός που μπορεί να οδηγήσει σε μικρή μείωση της απόδοσης. Η παρούσα εργασία προτείνει δύο συνεισφορές. Η πρώτη συνεισφορά είναι ένας δυναμικός μηχανισμός κλιμάκωσης, εμπνευσμένος από τη στατική υπερπαράμε- τρο κλιμάκωσης των κλίσεων του Feather που την αντικαθιστά με μία συνάρτηση βασισμένη στη φάση της εκπαίδευσης, επιτρέποντας μεγαλύτερη ροή κλίσεων στα πρώτα στάδια για την αποφυγή πρόωρου κλαδέμα- τος και πιο συντηρητικές ενημερώσεις καθώς αυξάνεται ο λόγος αραίωσης. Η δεύτερη συνεισφορά εισάγει μία οικογένεια προσαρμοστικών συναρτήσεων χρονοπρογραμματισμού κλαδέματος, οι οποίες ρυθμίζουν τον ρυθμό αραίωσης βάσει της σταθερότητας της μάσκας κλαδέματος. Αυτή η προσαρμοστικότητα διασφαλίζει ότι το κλάδεμα γίνεται πιο προσεκτικά όταν οι μάσκες είναι ασταθείς, μειώνοντας την πιθανότητα σημαντι- κής πτώσης της ακρίβειας. Η αξιολόγηση σε βασικές αρχιτεκτονικές όπως οι ResNet20, DenseNet40-24 και MobileNet V1, εκπαιδευμένες στο CIFAR-100, δείχνει ότι και οι δύο συνεισφορές βελτιώνουν την απόδοση, ιδιαίτερα σε ακραίες ποσοστά αραίωσης. Επιπλέον, η εργασία περιλαμβάνει μία μελέτη σε βάθος για την σημασία των κλαδεμένων βαρών, συγκρίνοντας εκπαίδεύσεις που διατηρούν τις κλαδεμένες συνδέσεις μέσω του STE με εκείνες που τις απορρίπτουν μόνιμα. Πιο συγκεκριμένα, η μελέτη αποσκοπεί στον προσδιορισμό του ποσοστού των βαρών που φέρουν σημασία και εκείνων που μπορούν να αφαιρεθούν οριστικά από τη διαδικασία βελτιστοποίησης, με στόχο την εισαγωγή αραιών κλίσεων στην διαδικασία της αραίωσης χωρίς	el
heal.advisorName	Μαραγκός, Πέτρος
heal.committeeMemberName	Μαραγκός, Πέτρος	el
heal.committeeMemberName	Ποταμιάνος, Γεράσιμος	el
heal.committeeMemberName	Κορδώνης, Ιωάννης	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών. Τομέας Σημάτων, Ελέγχου και Ρομποτικής. Εργαστήριο Ρομποτικής και Αυτοματισμού	el
heal.academicPublisherID	ntua
heal.numberOfPages	120
heal.fullTextAvailability	false
heal.fullTextAvailability	false