Χρήση αυτοεπιβλεπόμενων μεθόδων μηχανικής μάθησης στην μη επιβλεπόμενη μάθηση μετρικής

Τσιώτας Νιαχοπέτρος, Ιωάννης Ανδρέας; Tsiotas Niachopetros, Ioannis Andreas

dc.contributor.author	Τσιώτας Νιαχοπέτρος, Ιωάννης Ανδρέας	el
dc.contributor.author	Tsiotas Niachopetros, Ioannis Andreas	en
dc.date.accessioned	2023-01-26T09:13:13Z
dc.date.available	2023-01-26T09:13:13Z
dc.identifier.uri	https://dspace.lib.ntua.gr/xmlui/handle/123456789/56922
dc.identifier.uri	http://dx.doi.org/10.26240/heal.ntua.24620
dc.description	Εθνικό Μετσόβιο Πολυτεχνείο--Μεταπτυχιακή Εργασία. Διεπιστημονικό-Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών (Δ.Π.Μ.Σ.) “Γεωπληροφορική”	el
dc.rights	Αναφορά Δημιουργού-Όχι Παράγωγα Έργα 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού 3.0 Ελλάδα	*
dc.rights	Αναφορά Δημιουργού - Παρόμοια Διανομή 3.0 Ελλάδα	*
dc.rights.uri	http://creativecommons.org/licenses/by-sa/3.0/gr/	*
dc.subject	Μάθηση μετρικής	el
dc.subject	Metric learning	en
dc.subject	Νευρωνικά δίκτυα	el
dc.subject	Self supervised knowledge	en
dc.subject	Knowledge distillation	en
dc.subject	Neural networks	en
dc.title	Χρήση αυτοεπιβλεπόμενων μεθόδων μηχανικής μάθησης στην μη επιβλεπόμενη μάθηση μετρικής	el
dc.title	Utilizing self supervised methods in unsupervised metric learning	en
heal.type	masterThesis
heal.classification	Βαθιά μάθηση	el
heal.classification	Deep learning, computer vision	en
heal.language	en
heal.access	free
heal.recordProvider	ntua	el
heal.publicationDate	2022-07-27
heal.abstract	Τα τελευταία χρόνια η βαθιά μάθηση έχει πραγματοποιήσει πολύ σημαντική πρόοδο α- ναγνωρίζοντας εικόνες καλύτερα από τον άνθρωπο, πραγματοποιώντας αυτόματες μετα- φράσεις, και αποδεικνύοντας τις δυνατότητες της σε μια σειρά από άλλες εργασίες. Παρά τις σημαντικές αυτές εξελίξεις στην βαθιά μάθηση, η εκπαίδευση των μοντέλων παραμένει μια εξαιρετικά υπολογιστικά ακριβή διαδικασία η οποία απαιτεί τεράστια σετ δεδομένων. Μέχρι την τελευταία πενταετία ο κύριος όγκος των μοντέλων εκπαιδευόταν με επιβλε- πόμενο τρόπο με το μοντέλο να δέχεται ένα σετ δεδομένων στο οποίο το κάθε δείγμα συνοδευόταν από μια ετικέτα η οποία το περιέγραφε. Όπως είναι κατανοητό η διαδικασία της χειροκίνητης δημιουργίας τέτοιων ετικετών είναι εξαιρετικά ακριβή και χρονοβόρα. Επιπλέον δεν επιτρέπει την χρήση της πλειοψηφίας του όγκου των δεδομένων που συλλέγονται σήμερα καθώς ένα πολύ μικρό υποσύνολο τους έχει κατηγοριοποιηθεί με ετικέτες. Ακόμα μία από τις πιο σημαντικές εκφάνσεις της ευφυίας είναι η ικανότητα γενίκευσης σε νέα δεδομένα με βάση ήδη υπάρχουσα γνωστική υποδομή. Όταν ένα μοντέλο εκπαιδεύεται με ένα συγκεκριμένο σετ δεδομένων με ένα συγκεκριμένο στόχο και αξιολογείται στο ίδιο σετ δεδομένων και τον ίδιο στόχο αυτή η ικανότητα τίθεται υπό αίρεση. Στην προσπάθεια αντιμετώπισης όλων αυτών των προβλημάτων τα τελευταία χρόνια έ- χει εισαχθεί η αυτοεπιβλεπόμενη μάθηση η οποία δεν χρησιμοποιεί τις προαναφερθείσες ετικέτες κατά την εκπαίδευση του μοντέλου. Πιο συγκεκριμένα τα μοντέλα εκπαιδεύονται με κάποια προσχηματική εργασία (pretext task) η οποία προκύπτει από τα ίδια τα δεδο- μένα και αξιολογούνται συνήθως ως προς την ικανότητα τους να πραγματοποιήσουν μια από τις κλασσικές εργασίες της βαθιάς μάθησης όπως η ταξινόμηση, η σημασιολογική κατάτμηση και η ανίχνευση αντικειμένων. Σε εργασίες αυτόματης αναγνώρισης κειμένου η αυτοεπιβλεπόμενη μάθηση έχει ήδη απο- δείξει τις δυνατότητες με δημοσιευμένες εργασίες όπως το BERT [6] να ανταγωνίζονται και να υπερνικούν επιβλεπόμενες μεθόδους. Σε ότι αφορά την όραση υπολογιστών τα πράγ- ματα είναι σημαντικά συνθετότερα καθώς η φύση του σήματος (εικόνες) είναι συνεχής ενώ στην αναγνώριση κειμένου (προτάσεις) είναι διακριτή πράγμα που αυξάνει την πολυπλο- κότητα. Οι προσχηματικές εργασίες στην όραση υπολογιστών παίζουν πολύ σημαντικό ρόλο, και μπορεί να είναι η αναγνώριση των στροφών μιας εικόνας, η επίλυση ενός παζλ από τμήματα της εικόνας ή ακόμα και η αναπαραγωγή κρυμμένων τμημάτων της εικόνας με βάση τα υπάρχοντα τμήματα της. Η Βαθιά Μάθηση Μετρικής είναι το βασικό πρόβλημα το οποίο θα προσπαθήσουμε να επιλύσουμε με τεχνικές δανεισμένες από την αυτοεπιβλεπόμενη Βαθιά Μάθηση. Ο σκο- πός της μάθησης μετρικής είναι η δόμηση ενός διανυσματικού χώρου στον οποίο τα όμοια αντικείμενα έλκονται και τα ανόμοια απωθούνται. Αυτή η διαδικασία έλξης-απώθησης εκ- φράζεται από μια μετρική η οποία είναι σε θέση να αυξάνει την απόσταση μεταξύ όμοιων και να μειώνει την απόσταση μεταξύ ανόμοιων αντικειμένων. Ένας περιορισμός στην παραδοσιακή μορφή μάθησης μετρικής είναι ότι το μέτρο της ομοιότητας ή ανομοιότητας μεταξύ των αντικειμένων είναι οι ετικέτες στις οποίες αναφερ- θήκαμε. Αυτός όμως ο ορισμός της ομοιότητας είναι στενός και δεν επιτρέπει να απο- τυπωθούν σωστά η ομοιότητα μεταξύ των αντικειμένων διαφορετικών κλάσεων και η α- νομοιότητα μεταξύ αντικειμένων της ίδιας κλάσης. Γίνεται λοιπόν ξεκάθαρη η ανάγκη για ανάπτυξη μη επιβλεπόμενων μεθόδων μάθησης μετρικής Μια ακόμα έννοια που έπαιξε σημαντικό ρόλο σε αυτή την διπλωματική είναι η απόσταξη γνώσης. Απόσταξη γνώσης ονομάζεται η διαδικασία με την οποία ένα μικρού μεγέθους μοντέλο επιχειρεί να μιμηθεί τις πιθανοτικές κατανομές που προκύπτουν από ένα μεγαλύ- τερου μεγέθους μοντέλο. Το πρώτο μοντέλο ονομάζεται μαθητής και το δεύτερο δάσκα- λος. Ουσιαστικά πρόκειται για μεταφορά γνώσης από το μεγάλο στο μικρότερο δίκτυο με την βοήθεια της μίμησης. Η μέθοδος αυτή βασίζεται στην ιδέα ότι τα νευρωνικά δίκτυα έχουν τις ίδιες μαθησιακές δυνατότητες ανεξαρτήτως μεγέθους. Η δυσκολία εκπαίδευσης ενός μικρού δικτύου σε σχέση με ένα μεγαλύτερο οφείλεται στην ευαισθησία του μικρού δικτύου σε ότι αφορά την παραμετροποίηση [7]. Αυτή η διπλωματική επικεντρώθηκε κυ- ρίως στην αυτοαπόσταξη γνώσης που είναι μια παραλλαγή της απόσταξης στην οποία η μεταφορά γνώσης γίνεται εντός του ίδιου δικτύου. Στόχος αυτής της διπλωματικής είναι ο συνδυασμός ιδεών της αυτοεπιβλεπόμενης μάθη- σης και της απόσταξης γνώσης για την δόμηση μιας μεθοδολογίας μάθησης μετρικής το οποίο να δομεί τον μετρικό διανυσματικό χώρο με την ελάχιστη δυνατή επίβλεψη. Στην συνέχεια θα παρουσιαστούν περιληπτικά τα σημαντικότερα στοιχεία αυτής της μεθοδολο- γίας. Τα πρώτα πειράματα που παρουσιάζονται αφορούν την αναπαραγωγή των αποτελεσμά- των του paper με τις πιο υψηλές ακρίβειες στην επιβλεπόμενη μάθηση μετρικής. Το paper αυτό βασίζεται σε προεκπαιδευμένες αρχιτεκτονικές transformer αντί των κλασσικών συ- νελικτικών δικτύων που χρησιμοποιούν τα περισσότερα papers του αντικειμένου. Οι αρ- χιτεκτονικές που χρησιμοποιούνται είναι το vit [2] και το deit [4]. Για την αρχιτεκτονική Vit χρησιμοποιήθηκε ένα μοντέλο εκπαιδευμένο με επιβλεπόμενο [2] και ένα με μη επιβλε- πόμενο τρόπο [3]. Το μοντέλο αυτό επανεκπαιδεύεται στο σετ δεδομένων που μας ενδιαφέρει και ακολούθως μια στρώση από πλήρως συνδεδεμένους νευρώνες προβάλλουν την έξοδο του transformer σε έναν ευκλείδειο διανυσματικό χώρο. Ακολούθως και με την βοήθεια των αρχών της προβολικής γεωμετρίας αυτές οι έξοδοι επαναπροβάλλονται σε ένα υπερβολικό διανυ- σματικό χώρο ο οποίος μοντελοποιείται με την βοήθεια της σφαίρας Poincare. Εκτός από την αναπαραγωγή των πειραμάτων του paper πραγματοποιήθηκε και εκπαίδευση με χρή- ση του Vit εκπαιδευμένου με την αυτοεπιβλεπόμενη μέθοδο Ibot [5]. Η τιμή της ανάκλησης (Recall@1) βελτιώνεται κατά 0.5% σε σχέση με την χρήση του Dino επιτυγχάνοντας την μέγιστη ανάκληση που έχει επιτευχθεί στην επιβλεπόμενη μάθηση μετρικής με χρήση μο- ντέλου εκπαιδευμένου με μη επιβλεπόμενο τρόπο. Στην συνέχεια επιχειρήθηκε η χρήση του πλαισίου του Ibot για σκοπούς μάθησης μετρικής. Ο τρόπος με τον οποίο πραγματοποιήθηκε αυτό είναι με την χρήση προεκπαιδευμένων στο Imagenet [8] μοντέλων του Ibot τα οποία επανεκπευδεύονται στο CUB200-2011 [?]. Στην συνέχεια τα χαρακτηριστικά που εξάγονται από τα blocks του transformer αξιολογού- νται ως προς την ανάκληση τους στο σετ του CUB200-2011. Τα αποτελέσματα αυτής της σειράς πειραμάτων ήταν απογοητευτικά με την εκπαίδευση να καταρέει σε κάθε περίπτω- ση και ανεξαρτήτως των υπερπαραμέτρων οι οποίες χρησιμοποιήθηκαν. Κατέστη λοιπόν ξεκάθαρο ότι απαιτείται μια ειδική συνάρτηση κόστους η οποία να ωθεί το σετ δεδομένων να εκπαιδευτεί να αναγνωρίζει την ομοιότητα ή ανομοιότητα μεταξύ των δεδομένων. Εν τέλει αποφασίστηκε να δομηθεί ένα πλαίσιο το οποίο βασίστηκε στην αυτοαπόσταξη γνώσης όπως αυτή παρουσιάζεται στο Dino [3]. Συγκεκριμένα 2 δίκτυα ίδιας αρχιτεκτονι- κής και ίδιας αρχικοποίησης παραμέτρων εκπαιδεύονται ταυτόχρονα (σχήμα δάσκαλος- μαθητής). Τα δίκτυα αποτελούνται από τα blocks του transformer και μια στρώση από πλήρως συνδεδεμένους νευρώνες που προβάλουν τα χαρακτηριστικά που μας ενδιαφέ- ρουν σε έναν διανυσματικό χώρο με την διαστατικότητα που επιθυμούμε. Οι παράμετροι του μαθητή βελτιστοποιούνται με την βοήθεια των gradients που υπολογίζονται με την οπίσθια διάδοση ενώ του δασκάλου υπολογίζονται με την βοήθεια ενός εκθετικού κινού- μενου μέσου. Ουσιαστικά ο εκθετικός κινούμενος μέσος είναι μια γραμμική συνάρτηση η οποία συνδέει τις παραμέτρους του μαθητή με αυτές του δασκάλου με τον κύριο συ- ντελεστή της να είναι το momentum. Το momentum μεταβάλλεται κατά την διάρκεια της εκπαίδευσης ξεκινώντας από την τιμή 0.9998 και καταλήγοντας στο 1. Βασικό σκέλος του παραπάνω πλαισίου είναι η συνάρτηση κόστους. Η συνάρτηση που επιλέχθηκε είναι μια μορφή της αντιθετικής (contrastive) συνάρτησης κόστους [9] η οποία αντί για τις ετικέτες ως μέτρο ομοιότητας χρησιμοποιεί την ομοιότητα που προκύπτει από την σύγκριση κατά ζεύγη μεταξύ των εξόδων των 2 δικτύων. Η συνάρτηση κόστους ανα- πτύχθηκε αρχικά ως συνάρτηση κόστους για μάθηση μετρικής με απόσταξη γνώσης αλλά εδώ χρησιμοποιήθηκε σαν συνάρτηση κόστους για μάθηση μετρικής με αυτοαπόσταξη γνώσης. Τα τελευταία σημαντικά στοιχεία της μεθοδολογίας αφορούν το μοντέλο που χρησιμοποι- ήθηκε για προεκπαίδευση και τον διανυσματικό χώρο στον οποίο προβάλλονται τα δια- νύσματα. Σε ότι αφορά την προεκπαίδευση αυτή αποφασίστηκε να γίνει με ένα μοντέλο προεκπαιδευμένο στο Imagenet με την αυτοεπιβλεπόμενη μέθοδο του Ibot. Η προεκπαί- δευση αποφασίστηκε να γίνει με αυτοεπιβλεπόμενη μέθοδο καθώς δεν έχει πραγματο- ποιηθεί έτσι ξανά στην βιβλιογραφία και είχε ενδιαφέρον να μελετηθεί αν θα επηρεαστεί η συμπεριφορά του μοντέλου από την προεκπαίδευση. Ο διανυσματικός χώρος στον ο- ποίο προβάλλονται οι έξοδοι του δικτύου είναι ο ευκλείδειος σε κάποια πειράματα και σε άλλα ο υπερβολικός. Η προσσέγγιση του υπερβολικού διανυσματικού χώρου γίνεται με μία σφαίρα Poincare ακριβώς όπως περιγράφηκε και στην μεθοδολογία επιβλεπόμενης μάθησης που αναλύθηκε παραπάνω. Μετά από εκτενή πειράματα οι τιμές των βασικών υπερπαραμέτρων που υιοθετήθηκαν είναι Momentum 0.9998, Lr 0.00003, Weight Decay 0.00001 και batch size 120. Έγινε ένα πλήθος πειραμάτων πάνω στο πλαίσιο μάθησης μετρικής που δομήθηκε. Η πρώτη σειρά πειραμάτων αφορούσε το κατά πόσο ωφελεί η χρήση υπερβολικού έναντι του κλασσικού ευκλείδειου χώρου. Από τα πειράματα φάνηκε ότι είτε επιτρέποντας είτε όχι σε όλες τις στρώσεις του δικτύου να επανεκπαιδευτούν στο CUB200-2011 η τιμή της ανάκλησης αυξάνεται κατά 0.6% με προβολή των διανυσμάτων στον υπερβολικό χώρο σε σχέση με την προβολή στον ευκλείδειο. Καταδεικνύονται έτσι τα οφέλη της χρήσης υπερβολικού σε σχέση με τον ευκλείδειο διανυσματικό χώρο. Σε ότι αφορά την τιμή της καμπυλότητας του χώρου έγιναν τέσσερα διαφορετικά πειράματα κύριο συμπέρασμα των οποίων ήταν ότι έχοντας ως βάση την καμπυλότητα 0.1, μείωση της σε 0.01 δίνει τιμή ανάκλησης κατά 0.3% υψηλότερη ενώ αύξηση της καμπυλότητας πέραν της τιμής 0.1 οδηγεί σε σημαντικά χαμηλότερες τιμές ανάκλησης. Στην συνέχεια αναλύθηκε η συνεισφορά που έχουν οι τεχνικές επαύξησης των δεδομέ- νων. Σε ότι αφορά την επαύξηση των δεδομένων υπάρχουν αρκετές τεχνικές που χρη- σιμοποιήθηκαν ενώ σε πολλές περιπτώσεις ως είσοδος στο μοντέλο δόθηκαν πάνω από μια εκδοχή της επαυξημένης εικόνας. Η μέγιστη τιμή της ανάκλησης που επιτεύχθηκε στο CUB200-2011 ήταν 71% τιμή η οποία αποτελεί και ρεκόρ για μεθοδολογία μη επιβλεπό- μενης μάθησης μετρικής, ξεπερνώντας το προηγούμενο ρεκόρ κατά 3%. Για τα επόμενα πειράματα που πραγματοποιήθηκαν προτιμήθηκε ο συνδυασμός επαυξήσεων με τον ο- ποίο επετεύθχη τιμή ανάκλησης 70.5% επειδή κρίθηκε ότι η μικρή αύξηση στην ανάκληση δεν δικαιολογούσε την σημαντική αύξηση σε υπολογιστικό κόστος. Εκτός από πειραματισμός με διαφορετικές επαυξήσεις πραγματοποιήθηκε και σειρά από πειράματα με συνδυασμό της αντιθετικής συνάρτησης κόστους με την συνάρτηση κόστους που χρησιμοποιήθηκε στο Dino. Τα αποτελέσματα με όλους τους συνδυασμούς ήταν κατώτερα και έτσι η χρήση συνδυασμού συναρτήσεων κόστους εγκαταλείφθηκε. Τα τελευταία αποτελέσματα που παρουσιάστηκαν αφορούσαν την σύγκριση των αποτελε- σμάτων μας με τα αποτελέσματα των papers που αφορούν την μη επιβλεπόμενη μάθηση μετρικής. Όπως αναφέρθηκε η μεθοδολογία μας πετυχαίνει State of the Art ανακλήσεις στο CUB200-2011. Ωστόσο όταν η μεθοδολογία δοκιμάζεται σε άλλα σετ δεδομένων ό- πως το CARS196 και το SOP τα αποτελέσματα δεν είναι αντίστοιχα. Πιο συγκεκριμένα στο CARS196 η διαφορά στις ανακλήσεις είναι 20% χαμηλότερες σε σχέση με το State of the Art paper [10]. Σε ότι αφορά το σετ δεδομένων SOP η διαφορά με το State of the Art paper είναι 6% κατά του δικού μας. Αξίζει να αναφερθεί ότι αυτή η τάση για πολύ υψηλές ανακλήσεις στο CUB200-2011 με χρήση transformers και συγκριτικά χαμηλές στα dataset CARS196 και SOP έχει παρατηρηθεί ήδη σε δημοσιευμένες εργασίες [1], [11]. Από την εργασία αυτή αποδείχθηκε ότι είναι εφικτός ο συνδυασμός μεθόδων μάθησης μετρικής με μεθόδους αυτοεπιβλεπόμενης μάθησης. Πιο συγκεκριμένα αποδείχθηκε η βιωσιμότητα χρήσης αντιθετικής μη επιβλεπόμενης συνάρτησης κόστους σε συνδυασμό με αυτοαπόσταξη γνώσης. Επιπλέον διαφαίνεται ότι στο CUB200-2011 τα αποτελέσματα είναι ανώτερα από τα αντίστοιχα που επιτυγχάνονται με μεθόδους που έχουν ώς βάση τις ψευτοετικέτες-pseudolabels [12], [13]. Εν τέλει επιβεβαιώθηκε η δυναμική αλλά και οι προβληματικές της χρήσης της αρχιτεκτονικής transformers στην μάθηση μετρικής. Στο τελευταίο κεφάλαιο αφιερώνεται σε 2 πειράματα που αφορούν την αυτοεπιβλεπόμε- νη μάθηση και πραγματοποιήθηκαν στην αρχή της διπλωματικής και αφορούν τον συν- δυασμό μιας κλασσικής μεθόδου αυτοεπιβλεπόμενης μάθησης με μια μέθοδο απόσταξης γνώσης. Αποφασίστηκε τα πειράματα να μην συμπεριληφθούν εντός του κύριου μέρους της εργασίας αλλά στο παράρτημα. Επίσης στο παράρτημα περιλαμβάνονται και κάποιες οπτικοποιήσεις της προσοχής του δικτύου της προταθείσας μεθοδολογίας.	el
heal.abstract	Over the past decade deep learning has achieved considerable breakthroughs, however training any model in a supervised manner requires very expensive and time consuming labeling and big models with a large number of parameters. Self supervised learning tries to remedy this problem by training the model on a pretext task without labels and just does the evaluation on the task at hand. Knowledge distillation tries to transfer knowledge from a big to a smaller model Metric learning tries to create an embedding space where similar objects are pulled to- gether and dissimilar objects are repulsed. Supervised metric learning methods are con- stantly pushing forward the State of the Art, however its unsupervised counterpart does not get the same attention. That happens, despite the fact that labels have a very impor- tant limitation when used as the indicator of similarity. An embedding space which relies on labels cannot sufficiently capture intraclass dissimilarity and interclass affinity. In this thesis we explore the potential of using methods which have been developed for self supervised learning and knowledge distillation in order to solve metric learning tasks. Using these methods we propose a new framework for metric learning and achieve State of the Art Recall@1 values in the CUB200-2011 dataset. More specifically we reproduce the paper which achieves State of the Art Recall@1 in supervised metric learning [1]. This framework uses a pretrained backbone transformer’s attention blocks adding a fully connected layer as a head. The backbones are pretrained using the methodologies from Vit [2], Dino [3] and Deit [4]. The final fully connected layer projects the outputs to a hyperbolic instead of the euclidean vector space. Apart from the reproduction of experiments we also train the framework using pretraining with the methodology from Ibot [5]. We display Recall@1 77.8% from Ibot compared to 77.3% Dino. Next we tried to use the Ibot for metric learning purposes by just evaluating the features extracted from the Ibot model on a metric learning setting. The model collapsed in all 12 different setups despite our extensive experimentations in order to stabilize it. The main contribution of this thesis is the creation of an unsupervised framework for met- ric learning. This framework utilizes self distillation inspired by Dino having two instances of the same network trained simultaneously. The first one updates its parameters via backpropagation and the second one updates towards the direction of the first using ex- ponential moving average. Our framework also uses relaxed contrastive loss which allows the creation of a metric embedding space. Another important detail regarding the methodology is that the head features are projected to a hyperbolic embedding space instead of the classic euclidean. The pretraining of our model is done using Ibot pretrained model instead of some model trained in a supervised method. This framework achieves State of the Art Recall@1 values of 70.5% in CUB200- 2011 dataset but displays its instability underperforming by 20% in CARS196 and 6% SOP datasets respectively compared to State of the Art methods. In conlusion our method displays the large potential of using methods derived from self supervised learning in metric learning. It also reaffirms the effectiveness and limitations of using transformers in metric learning.	en
heal.advisorName	Καράντζαλος, Κωνσταντίνος	el
heal.committeeMemberName	Καράντζαλος, Κωνσταντίνος	el
heal.committeeMemberName	Γραμματικόπουλος, Λάζαρος	el
heal.committeeMemberName	Πατεράκη, Μαρία	el
heal.academicPublisher	Εθνικό Μετσόβιο Πολυτεχνείο. Σχολή Αγρονόμων και Τοπογράφων Μηχανικών	el
heal.academicPublisherID	ntua
heal.fullTextAvailability	false