Διερεύνηση και Αξιολόγηση Μεθόδων Συγχώνευσης πολυφασματικών και παγχρωματικών Δορυφορικών δεδομένων

Abstract

Η παρούσα μεταπτυχιακή εργασία εστιάζει και διερευνά τρία θέματα: Α) Στη μελέτη συμπεριφοράς των δεικτών αποτίμησης ποιότητας εικόνας Β) Στην αναζήτηση της καλύτερης μεθόδου χωρικής βελτίωσης δορυφορικών δεδομένων Γ) Στην παρουσίαση ενός νέου τρόπου αξιολόγησης μεθόδων χωρικής βελτίωσης

Συγκεκριμένα: Α) Στο πρώτο θέμα μελετώνται 8 δείκτες ποιότητας εικόνας (Bias, Correlation Coefficient, Difference In Variance, Entropy Difference, ERGAS, UIQI (Q), Relative Average Spectral Error, Root Mean Square Error). Η συμπεριφορά των δεικτών μελετάται με βάση 2 πειράματα, το πείραμα στην εικόνα της Lena και το πείραμα σε μια παγχρωματική εικόνα WorldView-2. Υλοποιήθηκαν επτά είδη παραμορφώσεων στις αρχικές εικόνες των πειραμάτων και οι παραμορφωμένες/επεξεργασμένες εικόνες συγκρίθηκαν με τις αρχικές.

Ως αποτέλεσμα, προέκυψε ότι ο πιο αξιόπιστος δείκτης αποτίμησης ποιότητας ψηφιακών εικόνων είναι ο δείκτης Q. Β) Στο δεύτερο θέμα, σε τρεις δορυφορικές εικόνες πολύ υψηλής χωρικής διακριτικής ικανότητας (ΧΔΙ), διερευνήθηκαν οι επιδόσεις 6 τεχνικών/μεθόδων χωρικής βελτίωσης (HPF, LMM, LMVM, HCS, HCSN, HCSNaml). Οι 2 τελευταίες, προτάθηκαν στα πλαίσια της εργασίας αυτής.

Οι 2 από τις 3 δορυφορικές εικόνες, είναι εικόνες του δορυφόρου WorldView-2, ενώ η άλλη προέρχεται από τον Geoeye-1. Επιλέχθηκαν εικόνες πολύ υψηλής ΧΔΙ, ώστε να υπάρχουν μεγάλες απαιτήσεις σε ό,τι αφορά τις επιδόσεις των μεθόδων. Οι εικόνες απεικονίζουν διαφορετικές περιοχές και ανάμεσα στις τρεις, υπάρχει έντονη ποικιλία και διαφορετικότητα στα απεικονιζόμενα αντικείμενα και στις χρήσεις γης. Έτσι, η μέθοδος που θα αναδειχθεί ως η καλύτερη, δεν θα είναι εξαρτημένη από τις ιδιοτροπίες ενός δέκτη ή κάποιου συγκεκριμένου περιεχόμενου της εικόνας.

Η διερεύνηση και αποτίμηση των επιδόσεων των 6 μεθόδων χωρικής βελτίωσης έγινε και ποιοτικά, παρουσιάζοντας οπτικά τα αποτελέσματα της κάθε μεθόδου, αλλά και ποσοτικά, βάσει υπολογισμού του δείκτη Q, ο οποίος αναδείχθηκε ως καλύτερος στο προηγούμενο στάδιο. Μεγάλη σημασία έχει το γεγονός, ότι η ποσοτική αξιολόγηση των τεχνικών χωρικής βελτίωσης έγινε με μία νέα μεθοδολογία, η οποία προτάθηκε στα πλαίσια της εργασίας αυτής. Τη μεθοδολογία αυτή πραγματεύεται το τρίτο θέμα.

Ένα δεύτερο σκέλος της αναζήτησης της βέλτιστης μεθόδου χωρικής βελτίωσης, είναι πάλι η ανάδειξη της βέλτιστης τεχνικής χωρικής βελτίωσης, αυτή τη φορά όμως σε ακραίες συνθήκες χωρικής βελτίωσης. Με τον όρο “ακραίες συνθήκες”, εννοούμε κυρίως τη συγχώνευση εικόνων, οι οποίες παρουσιάζουν πολύ μεγάλη διαφορά χωρικής ανάλυσης. Στη συνήθη χωρική βελτίωση, η χωρική ανάλυση της πολυφασματικής (ή υπερφασματικής) εικόνας, βελτιώνεται από 2 έως 4 φορές, ενώ στην ακραία χωρική βελτίωση που επιχειρείται εδώ, η χωρική βελτίωση αγγίζει τις 50 φορές (!).

Για την ακρίβεια, επιχειρούνται 2 πειράματα ακραίας χωρικής βελτίωσης: Στο πρώτο πείραμα, κατεβάζουμε την ανάλυση της πολυφασματικής εικόνας (ΧΔΙ = 2 m) WorldView-2 10 φορές και επιχειρούμε χωρική βελτίωση της εικόνας αυτής με τις 6 τεχνικές, χρησιμοποιώντας αρχική παγχρωματική (ΧΔΙ = 0.5 m). Εφόσον η σχέση ανάλυσης αρχική παγχρωματική : αρχική πολυφασματική είναι 4:1, η νέα σχέση ανάλυσης είναι 40:1. Στο δεύτερο πείραμα, υλοποιείται γεωμετρική διόρθωση της υπερφασματικής εικόνας Hyperion (ΧΔΙ = 30 m) από μια παγχρωματική εικόνα Quickbird (ΧΔΙ = 0.6 m). Στη γεωμετρικώς διορθωμένη υπερφασματική εικόνα του Hyperion, πραγματοποιείται χωρική βελτίωση με τις 6 προαναφερθείσες τεχνικές, από την παγχρωματική εικόνα του Quickbird. Η σχέση ανάλυσης στην περίπτωση αυτή είναι 50:1.

Τα αποτελέσματα του δεύτερου θέματος είναι τα εξής: α) Στο πρώτο σκέλος (συνήθης χωρική βελτίωση), η μέθοδος που αναδείχθηκε ως καλύτερη, είναι η HCS. Σύμφωνα με τη νέα μέθοδο αξιολόγησης των μεθόδων χωρικής βελτίωσης που προτάθηκε, η HCS αποδίδει περίπου 10% καλύτερα από τις κλασικές μεθόδους HPF και LMVM. Μάλιστα, η μέθοδος HCS, αναδείχθηκε πρώτη και στις τρεις εικόνες που χρησιμοποιήθηκαν. β) Στο δεύτερο σκέλος (ακραία χωρική βελτίωση), η μέθοδος που αναδείχθηκε ως καλύτερη, είναι η LMVM. Μάλιστα, η μέθοδος LMVM, αναδείχθηκε πρώτη και στα 2 πειράματα που εκτελέστηκαν. Γ) Στο τρίτο θέμα, παρουσιάζεται ένας νέος τρόπος αξιολόγησης μεθόδων χωρικής βελτίωσης. Στην μέχρι τώρα βιβλιογραφία, χρησιμοποιούνται κυρίως 2 τρόποι αξιολόγησης τεχνικών χωρικής βελτίωσης. Στην εργασία αυτή, οι δύο αυτοί τρόποι αναφέρονται ως QC1 και QC4.

Έστω η αρχική παγχρωματική εικόνα P και η πολυφασματική M. Ο τρόπος αξιολόγησης QC1, περιγράφεται ως εξής: Εφαρμόζουμε χωρική βελτίωση της M από την P, με κάποια μέθοδο και παράγουμε τη συγχωνευμένη εικόνα, έστω Fu. Αναδειγματίζουμε προς τα πάνω την M, στην ανάλυση της P (και της Fu), φτιάχνοντας έτσι την εικόνα Mu. Η αξιολόγηση της μεθόδου χωρικής βελτίωσης γίνεται με τον υπολογισμό κάποιου δείκτη ποιότητας εικόνας, μεταξύ των εικόνων Mu και Fu (βλ. σχήμα 1).

Υπάρχει μια άλλη ομάδα ερευνητών, που υποστηρίζει ότι ο τρόπος αξιολόγησης QC4, είναι ορθότερος. Ο QC4 υπαγορεύει ότι και οι 2 αρχικές εικόνες P και M θα πρέπει να αναδειγματιστούν προς τα κάτω N φορές (όπου Ν συνήθως όσες φορές έχει μεγαλύτερη ανάλυση η P από την M), παράγοντας έτσι τις εικόνες Pd και Md αντίστοιχα. Έπειτα, ακολουθεί η εφαρμογή της χωρικής βελτίωσης της Md από την Pd, κατασκευάζοντας την Fdu. Η αξιολόγηση της μεθόδου χωρικής βελτίωσης γίνεται με τον υπολογισμό κάποιου δείκτη ποιότητας εικόνας, μεταξύ των εικόνων M και Fdu (βλ. σχήμα 1).

Παρά το γεγονός ότι και οι 2 έλεγχοι αυτοί είναι αξιόλογοι και χρήσιμοι, κανείς από τους 2 δεν φαίνεται να είναι επαρκής από μόνος του. Επιπρόσθετα, και οι δύο έχουν την αδυναμία ότι δεν λαμβάνουν υπόψη τους την αρχική παγχρωματική εικόνα. Προκειμένου να ξεπεραστεί αυτή η αδυναμία, προτείνονται άλλοι 3 ποιοτικοί έλεγχοι, οι οποίοι φαίνονται στο σχήμα 1. Λαμβάνοντας το μέσο όρο των 5 αυτών ελέγχων αυτού του σχήματος 1, διασφαλίζουμε μια ολιστική αξιολόγηση των μεθόδων χωρικής βελτίωσης, η οποία παρουσιάζει μεγαλύτερη αντικειμενικότητα και συνέπεια στο δύσκολο έργο της αξιολόγησης μεθόδων χωρικής βελτίωσης.

Σχήμα 1: Προτεινόμενη «ολιστική» προσέγγιση αξιολόγησης αλγορίθμων χωρικής βελτίωσης, με 5 διαφορετικούς ελέγχους δεικτών ποιότητας(παρακαλώ ανατρέξτε στην εργασία, διότι η παρουσίαση γραφικών εδώ είναι αδύνατη).

Σύμφωνα με τους υπολογισμούς που επιτελέστηκαν στην εργασία αυτή, η προτεινόμενη μέθοδος αξιολόγησης μεθόδων χωρικής βελτίωσης, δίνει πολύ ενθαρρυντικά αποτελέσματα. Ο παραπάνω ισχυρισμός στηρίζεται: α) Από το ότι υπήρχε συνέπεια στην αξιολόγηση της βέλτιστης μεθόδου χωρικής βελτίωσης (όπως αναφέρθηκε στο δεύτερο θέμα), τόσο στη συνήθη όσο και στην ακραία χωρική βελτίωση. β) Από το ότι οι μέθοδοι χωρικής βελτίωσης που αναδείχθηκαν ως καλύτερες ύστερα από την εφαρμογή του σχήματος 1, πράγματι δίνουν πολύ ικανοποιητικά οπτικά αποτελέσματα. γ) Λόγω ύπαρξης σημαντικής συμφωνίας μεταξύ της αξιολόγησης των μεθόδων χωρικής βελτίωσης με την προτεινόμενη μεθοδολογία και της αξιολόγησης που πραγματοποίησαν ειδικοί φωτοερμηνευτές. Τέλος, πρέπει να τονιστεί ότι, στα πλαίσια της εργασίας αυτής συντάχθηκε και χρησιμοποιήθηκε ειδικό πρόγραμμα, σε γλώσσα Matlab: 1) Όλες οι τεχνικές χωρικής βελτίωσης που χρησιμοποιούνται στην εργασία, προγραμματίστηκαν από τον συγγραφέα, υπό τη μορφή ξεχωριστών συναρτήσεων.

2) Συντάχθηκαν συναρτήσεις που επιλύουν το πρόβλημα της χωρικής ταύτισης μεταξύ των 2 δορυφορικών εικόνων. Με λίγα λόγια, αυτές εξασφαλίζουν ότι η παγχρωματική και η πολυφασματική εικόνα απεικονίζουν ακριβώς την ίδια περιοχή.

3) Προγραμματίστηκε γραφικό περιβάλλον, ονόματι Image Quality – Index Analysis GUI (imanalysis GUI). Το λογισμικό αυτό, βοηθά τον χρήστη να υπολογίσει τους 8 δείκτες ποιότητας εικόνας που μελετώνται στην εργασία αυτή, όπως αναφέρθηκε στο πρώτο θέμα. Το πρόγραμμα imanaysis_gui, δημοσιεύτηκε στο διαδίκτυο, στον ιστότοπο της εταιρίας που κατασκευάζει το Matlab. Ο χρήστης μπορεί να το κατεβάσει το πρόγραμμα αυτό δωρεάν, από εδώ: http://www.mathworks.com/matlabcentral/fileexchange/41464 .

Ο παραπάνω σύνδεσμος είναι μόνο ωφέλιμος για τους χρήστες που έχουν εγκατεστημένο το Matlab στον υπολογιστή τους, όμως έχει κατασκευαστεί και μια έκδοση η οποία δεν απαιτεί εγκατάσταση του Matlab (standalone), παρά μονό του μεταγλωττιστή του (MCR), ο οποίος διατίθεται δωρεάν.

Λέξεις κλειδιά: Χωρική βελτίωση, Συγχώνευση εικόνων, Αξιολόγηση εικόνων χωρικής βελτίωσης, Bias, Correlation Coefficient, Difference In Variance, Entropy Difference, ERGAS, UIQI (Q), Relative Average Spectral Error, Root Mean Square Error, HPF, LMM, LMVM, HCS, ακραία χωρική βελτίωση, έλεγχος ποιότητας.

The current master thesis work, focuses on and investigates three subjects: A) The study of the behavior of indices which are used to quantify the quality of an image B) The search of the best pansharpening method (panchromatic-multispectral fusion method) C) The proposal and presentation of a new methodology, used to evaluate the performance of the pansharpening methods

Specifically: A) In the first subject 8 image quality indices are studied (Bias, Correlation Coefficient, Difference In Variance, Entropy Difference, ERGAS, UIQI (Q), Relative Average Spectral Error, Root Mean Square Error). The behavior of the indices is studied via 2 experiments, the experiment on the Lena image and the experiment on a panchromatic Worldview-2 image. Seven distortion types were applied on the original experimental images and the distorted/processed images were compared with the original ones (reference images).

As a result, it became evident that the most reliable image index, in terms of quality assessment, is the Q index. B) In the second subject, in three satellite images of very high spatial resolution (SR), the performance of 6 pansharpening techniques/methods was investigated (HPF, LMM, LMVM, HCS, HCSN, HCSNaml). The later 2, were proposed in this study.

The 2 of the 3 satellite images were acquired by Worldview-2 satellite, while the third one was acquired by Geoeye-1. Imagery of very high SR was selected, in order to set high requirements for the pansharpening methods. The images are depicting different areas and between the three, one can find high variety in the depicted objects and land use. Thus, the method which will score as the best, it will not be dependent on the idiosyncrasies of a specific sensor, or image content.

The investigation and the assessment of the performance of the 6 pansharpening methods, was carried out qualitatively, by presenting the visual results, as well as quantitatively, based on the calculation of the Q index, which was found to be superior, in the previous stage. Of big importance is the fact that the quantitative evaluation of the pansharpening techniques, was performed with a new methodology, which was proposed in the framework of the current study. This methodology is discussed in the third subject. A second part of the search of the best pansharpening method, is the evaluation of the best pansharpening method, this time in extreme conditions. With the term “extreme conditions”, we substantially mean the fusion of images which present great difference in spatial resolution. In the ordinary pansharpening, the spatial resolution of the multispectral (or hypespectral image), is improved from 2 to 4 times, while in extreme pansharpening which is attempted here, the spatial improvement reaches 50 times (!).

To be precise, 2 extreme pansharpening experiments are demonstrated: In the first experiment, the Worldview-2 multispectral image (SR = 2 m) is downsampled 10 times and afterwards, pansharpening of this image is attempted with the 6 techniques, using the original panchromatic image (SR = 0.5 m). Since the resolution ratio of the original panchromatic to the original multispectral is 4:1, the new resolution ratio is 40:1. In the second experiment, a geometric correction of the hyperspectral Hyperion image (SR = 30 m) is performed, using a panchromatic image of Quickbird (SR = 0.6 m). In the geometrically corrected Hyperion image, pansharpening is applied with the 6 aforementioned techniques, from Quickbird’s panchromatic image. In this case, the resolution ratio is 50:1.

The results of the second subject are: a) In the first part (ordinary pansharpening), the method which emerged as the best, is HCS. According to the proposed methodology of evaluation of the pansharpening methods, the HCS method performs approximately 10% better than the classic methods HPF and LMVM. On top of that, the HCS method emerged as the best pansharpening method in all three images. b) In the second part (extreme pansharpening), the method emerged as best, is LMVM. The LMVM method demonstrated superior performance in both experiments. C) In the third subject, a new methodology concerning the evaluation of the pansharpening methods, is proposed and presented. In the relative bibliography, mainly 2 different methodologies are utilized in order to evaluate the performance of the various pansharpening techniques. In the current work, these two methodologies are symbolized as QC1 and QC4.

Let the original panchromatic P and the multispectral M. The methodology QC1, is described as follows: Pansharpening is performed on the M, using P, with some fusion technique(s) and the fused image, let Fu, is created. Then, the M image is upscaled, to match the resolution of P (and Fu), producing the image Mu. The evaluation of the pansharpening technique(s), is carried out by calculating a quality index of choice, between the Mu and Fu images (see figure 1).

There is an other team of geoscientists, which suggests that the evaluation methodology QC4 is more correct. The methodology-quality control QC4, dictates that both original images, P and M, must be downsampled N times (where N is usually the P:M number of pixel ratio), thus producing the images Pd and Md respectively. Afterwards, the pansharpening technique(s) are applied to Md image, using the Pd, constructing the image(s), let Fdu. The evaluation of the pansharpening technique(s), is carried out by calculating a quality index of choice, between the images M and Fdu (see figure 1).

Despite the fact that both quality controls QC1 and QC4 are remarkable and useful, neither of them is adequate by itself. Moreover, both have the weakness that they don’t take into account the original panchromatic image. In order to redeem this weakness, 3 new quality controls are proposed, as seen in figure 1. By taking the mean of these 5 quality controls-comparisons, a more complete and holistic evaluation of the pansharpening methods is ensured. This evaluation presents higher objectivity and consistency, in the difficult task of the automated ranking, of the results of the various pansharpening methods.

Figure 1: Proposed “holistic” approach of the evaluation of the pansharpening techniques, featuring 5 different quality controls-comparisons (please see the actual study because presenting graphics here is not possible).

According to the calculations carried out in this study, the proposed methodology for evaluation of the pansharpening techniques’ performance, yields very encouraging results.

The above claim is supported by: a) The consistency which was found in the evaluation of the best pansharpening method (as mentioned in the second subject), both in ordinary and extreme pansharpening conditions. b) The fact that the pansharpening methods which emerged as best, after the application of figure 1, indeed output very satisfactory visual results. c) The existence of the important agreement between the evaluation of the pansharpening methods with the proposed methodology and the evaluation performed by a group of photo-experts. Finally, it must be pointed out that, in the framework of this study, extensive programming work has been carried out, in Matlab language: 1) All pansharpening techniques used in this study, were programmed by the author, under the form of independent functions.

2) Functions which solve the problem of spatial congruency between 2 satellite images were written. In a few words, these ensure that the panchromatic and the multispectral image are referring to the exact same area.

3) A graphical user interface was programmed, named Image Quality - Index Analysis GUI (imanalysis GUI). This software helps the user to calculate the 8 image indices studied in this work, as mentioned in the first subject. The program imanaysis_gui, has been published in the website of the company that distributes Matlab. The user can download this GUI from here: http://www.mathworks.com/matlabcentral/fileexchange/41464 .

The above link is only available to users which have a Matlab installation on their computer. However, a Matlab-independent (standalone) version has been built. This version only requires the Matlab Compiler Runtime (MCR), which can be downloaded for free.

Keywords: Spatial Enhancement, Image fusion, Evaluation of fused images, Bias, Correlation Coefficient, Difference In Variance, Entropy Difference, ERGAS, UIQI (Q), Relative Average Spectral Error, Root Mean Square Error, HPF, LMM, LMVM, HCS, extreme pansharpening, quality control.