christos psarras

ΑΝΑΠΤΥΞΗ ΣΥΣΤΗΜΑΤΟΣ ΟΠΤΙΚΟΠΟΙΗΣΗΣ ΠΗΓΑΙΟΥ ΚΩΔΙΚΑ ΜΕ ΧΡΗΣΗ ΤΕΧΝΙΚΩΝ ΑΝΑΚΤΗΣΗΣ ΠΛΗΡΟΦΟΡΙΩΝ

1

Aνάπτυξη Συστήματος Οπτικοποίησης Πηγαίου Κώδικα με χρήση τεχνικών

Ανάκτησης Πληροφοριών

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ

ΜΗΧΑΝΙΚΩΝ ΗΛΕΚΤΡΟΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ

Εκπόνηση:Ψάρρας ΧρήστοςΑΕΜ: 7803

Επίβλεψη:Αν. Καθ. Συμεωνίδης Ανδρέας

Υπ. Δρ. Θεμιστοκλής ΔιαμαντόπουλοςΘεσσαλονίκη, Μάρτιος 2017

Oμάδα Ευφυών Συστημάτων και Τεχνολογίας Λογισμικού

Θεσσαλονίκη, Μάρτιος 2017


2

Περιεχόμενα Εισαγωγή Ορισμός Προβλήματος State of the art Σκοπός διπλωματικής Ανάλυση του συστήματος Πειράματα Συμπεράσματα - Μελλοντική εργασία



3

Εισαγωγή Ψηφιακή εποχή (εποχή της πληροφορίας)

Free και Open Source Software Πολυπλοκότητα των σύγχρονων προγραμμάτων απαιτεί την ανάπτυξη κώδικα με χρήση βιβλιοθηκών



4

Ορισμός του προβλήματος Αριθμός βιβλιοθηκών τεράστιος και συνεχώς αυξανόμενος

Εξοικείωση και επέκταση δύσκολη Τεκμηρίωση συχνά ανεπαρκής ή ανύπαρκτη



5

State of the art Παρόμοια Συστήματα

Ομαδοποίηση κώδικα με χρήση LSI Ομαδοποίηση κώδικα με χρήση LDA

Μειονεκτήματα Οι παράμετροι των συστημάτων δεν είναι αυτοματοποιημένοι

Τα θέματα δεν ονοματίζονται, δεν γνωρίζουμε τη λειτουργικότητά τους

Δεν έχουμε κάποιο αντικειμενικό κριτήριο "καλής" ομαδοποίησης



6

Σκοπός διπλωματικήςΑνάπτυξη του δικού μας RSSE, που χρησιμοποιεί τεχνικές ομαδοποίησης για την ανάλυση της δομής βιβλιοθηκών

Το σύστημά μας προσφέρει:◦ Οπτικοποίηση χωρισμού των πακέτων σε

νοηματικές κατηγορίες (θέματα)◦ Δημιουργία αντικειμενικού κριτηρίου "καλής"

ομαδοποίησης◦ Σύγκριση μεθόδων ομαδοποίησης μεταξύ τους◦ Μείωση του συνολικού αριθμού θεμάτων◦ Αυτοματοποιημένη ονομασία θεμάτων


Ανάλυση ΣυστήματοςΘεσσαλονίκη, Μάρτιος 2017 ΑΝΑΠΤΥΞΗ ΣΥΣΤΗΜΑΤΟΣ ΟΠΤΙΚΟΠΟΙΗΣΗΣ ΠΗΓΑΙΟΥ ΚΩΔΙΚΑ ΜΕ ΧΡΗΣΗ ΤΕΧΝΙΚΩΝ ΑΝΑΚΤΗΣΗΣ

ΠΛΗΡΟΦΟΡΙΩΝ 7


9

Εξαγωγέας



11

Προεπεξεργαστής


Κάθε έγγραφο είναι μια συλλογή από λέξεις για κάθε κλάση που περιλαμβάνει:• Ονόματα και τύπους μεταβλητών και

μεθόδων• Javadocs και λοιπούς σχολιασμούς

Η προεπεξεργασία περιλαμβάνει:• Μετατροπή σε πεζά• Καθαρισμό Javadoc και σχολίων• Διαχωρισμό CamelCase • Tokenization• Αφαίρεση stopwords• lemmatization


13

Διανυσματοποιητής & Ομαδοποιητής


Τεχνικές διανυσματοποίησης:• Count vectorization• Tf-idf vectorization

Τεχνικές Ομαδοποίησης:• K-means• LDA


15

Βελτιστοποιητής


Κριτήριο βέλτιστης ομαδοποίησηςΘεσσαλονίκη, Μάρτιος 2017 ΑΝΑΠΤΥΞΗ ΣΥΣΤΗΜΑΤΟΣ ΟΠΤΙΚΟΠΟΙΗΣΗΣ ΠΗΓΑΙΟΥ ΚΩΔΙΚΑ ΜΕ ΧΡΗΣΗ ΤΕΧΝΙΚΩΝ ΑΝΑΚΤΗΣΗΣ


Count + k-means

Tf-idf + k-means

Κριτήριο βέλτιστης ομαδοποίησηςΘεσσαλονίκη, Μάρτιος 2017 ΑΝΑΠΤΥΞΗ ΣΥΣΤΗΜΑΤΟΣ ΟΠΤΙΚΟΠΟΙΗΣΗΣ ΠΗΓΑΙΟΥ ΚΩΔΙΚΑ ΜΕ ΧΡΗΣΗ ΤΕΧΝΙΚΩΝ ΑΝΑΚΤΗΣΗΣ


Count + LDA Tf-idf + LDA


19

Κατανομή πακέτων σε θέματα



20

Θέματα και αυτόματη ονομασία



21

Απόδοση σε άλλα συστήματα



22Θεσσαλονίκη, Μάρτιος 2017


25

Συμπεράσματα Πετύχαμε χωρισμό μιας βιβλιοθήκης στις νοηματικές κατηγορίες (θέματα) από τις οποίες αποτελείται.

Ο αριθμός των ομάδων βελτιστοποιείται με μέθοδο που είναι ανεξάρτητη του αλγορίθμου ομαδοποίησης που χρησιμοποιείται.

Επιπλέον, εφαρμόζεται μεταεπεξεργασία στα θέματα, με σκοπό τη μείωση του αριθμού τους, βρίσκοντας τα όμοια.

Παρουσιάζεται η κατανομή των πακέτων στα επιμέρους θέματα. H αυτόματη ονομασία των θεμάτων με την χρήση ετικετών από το Stack Overflow, περιγράφει αρκετά καλά την λειτουργικότητά που εκφράζουν.



26

Μελλοντική Εργασία Η μέθοδος αξιολόγησης που έχουμε επιλέξει βασίζεται στην δομή των πακέτων που έχει ορίσει ο δημιουργός της εφαρμογής που αναλύουμε.

Δοκιμή επιπλέον μεθόδων ομαδοποίησης (π.χ. autoencoders) και σύγκριση των αποτελεσμάτων.

Διερεύνηση της επίδρασης των παραμέτρων του LDA στην απόδοση του αλγορίθμου, με βάση τα κριτήρια αξιολόγησης που έχουμε ορίσει (purity).

Πρόταση αλλαγών στη δομή των πακέτων με διάσπαση ή συγχώνευση.



27

Ευχαριστώ για την προσοχή σας


christos psarras

Education