- Η ιεραρχική ομαδοποίηση οργανώνει τα δεδομένα σε μια δενδροειδή δομή που ονομάζεται δενδρογράφημα, αποφεύγοντας την ανάγκη προκαθορισμού του αριθμού των συστάδων.
- Το AGNES δημιουργεί συστάδες από κάτω προς τα πάνω μέσω επαναληπτικής συγχώνευσης, ενώ το DIANA διαχωρίζει μια ενιαία μεγάλη ομάδα από πάνω προς τα κάτω.
- Η ποιότητα της συστάδας αξιολογείται χρησιμοποιώντας εσωτερικές μετρήσεις όπως ο δείκτης Davies-Bouldin ή εξωτερικές συγκρίσεις μέσω της ακρίβειας και της ανάκλησης.
Έχετε νιώσει ποτέ ότι κοιτάτε ένα βουνό από δεδομένα και απλά δεν μπορείτε να δείτε το δάσος από τα δέντρα; Εδώ μπαίνει στο παιχνίδι η ομαδοποίηση. Είναι ουσιαστικά η τέχνη της ομαδοποίησης σημείων δεδομένων με βάση το πόσο ομοιόμορφα είναι , διασφαλίζοντας ότι τα στοιχεία μέσα σε μια ομάδα είναι δεμένα μεταξύ τους, ενώ οι ίδιες οι ομάδες παραμένουν σε μεγάλη απόσταση μεταξύ τους. Είναι ο ακρογωνιαίος λίθος της μη επιβλεπόμενης μηχανικής μάθησης, που σημαίνει ότι ο υπολογιστής βρίσκει μοτίβα χωρίς να του έχουν πει εκ των προτέρων τι να αναζητήσει.
Ενώ υπάρχουν πολλοί τρόποι για να χωρίσετε δεδομένα σε τμήματα, η ιεραρχική ομαδοποίηση είναι λίγο ιδιαίτερη. Αντί να επιλέγετε απλώς έναν τυχαίο αριθμό ομάδων, δημιουργεί μια ένθετη δομή που μοιάζει με οικογενειακό δέντρο . Είτε προσπαθείτε να διαφοροποιήσετε ένα χαρτοφυλάκιο μετοχών είτε να τμηματοποιήσετε την πελατειακή σας βάση, αυτή η προσέγγιση σάς παρέχει έναν οπτικό χάρτη πορείας για το πώς σχετίζονται τα δεδομένα σας, επιτρέποντάς σας να αποφασίσετε πού να χωρίσετε το δέντρο για να βρείτε τον τέλειο αριθμό ομαδοποιήσεων.
Η Βασική Λογική της Ιεραρχικής Ομαδοποίησης
Στην ουσία της, η ιεραρχική ομαδοποίηση δημιουργεί μια ιεραρχία ομάδων. Αυτή συχνά αναπαρίσταται από ένα δενδρογράφημα , ένα δενδροειδές διάγραμμα όπου ο κάθετος άξονας αντιπροσωπεύει την απόσταση ή την ανομοιότητα μεταξύ των συστάδων. Όσο χαμηλότερος είναι ο κλάδος, τόσο πιο παρόμοια είναι τα στοιχεία. Αυτή η μέθοδος είναι απίστευτα ευέλικτη επειδή δεν σας αναγκάζει να προκαθορίσετε τον αριθμό των συστάδων (k) από την αρχή, σε αντίθεση με αλγόριθμους όπως το K-Means.
AGNES: Η προσέγγιση από κάτω προς τα πάνω
Το AGNES, ή αλλιώς Agglomerative Nesting, είναι η πιο συνηθισμένη μορφή ιεραρχικής ομαδοποίησης. Ξεκινά με τη νοοτροπία «ο καθένας για τον εαυτό του», όπου κάθε μεμονωμένο σημείο δεδομένων ξεκινά ως το δικό του μικροσκοπικό σύμπλεγμα . Από εκεί, ο αλγόριθμος συγχωνεύει επαναληπτικά τα δύο πλησιέστερα σύμπλεγμα μέχρι όλα να συγκεντρωθούν σε μία γιγαντιαία ομάδα.
Η διαδικασία γενικά ακολουθεί τα εξής βήματα: πρώτα, υπολογίζεται ένας πίνακας εγγύτητας χρησιμοποιώντας μια μετρική απόστασης (όπως η Ευκλείδεια απόσταση). Στη συνέχεια, τα δύο πιο παρόμοια σημεία ενώνονται. Ο πίνακας ενημερώνεται ώστε να αντικατοπτρίζει αυτήν τη νέα ομάδα και η διαδικασία επαναλαμβάνεται. Για να λειτουργήσει αυτό, χρειάζεστε ένα κριτήριο σύνδεσης για να αποφασίσετε πώς να μετρήσετε την απόσταση μεταξύ των ομάδων:
- Μονή σύνδεση: Κοιτάζει το ελάχιστη απόσταση μεταξύ οποιωνδήποτε δύο σημείων σε διαφορετικές συστάδες. Αυτό μπορεί να οδηγήσει σε «αλυσιδωτή σύνδεση», όπου οι συστάδες αναπτύσσονται σε μακριές, λεπτές γραμμές.
- Πλήρης σύνδεση: Εστιάζει στο μέγιστη απόσταση μεταξύ σημείων, τείνοντας να δημιουργούν πιο συμπαγείς, σφαιρικές ομάδες.
- Μέση σύνδεση: Υπολογίζει το μέση απόσταση μεταξύ όλων των ζευγών σημείων σε δύο συστάδες, παρέχοντας ένα ισορροπημένο μέσο έδαφος.
- Κεντρική σύνδεση: Μετράει την απόσταση μεταξύ των γεωμετρικά κέντρα (κεντροειδή) των συστάδων, η οποία είναι συχνά πιο ισχυρή έναντι των ακραίων τιμών.
- Η μέθοδος του Ward: Αντί για την ακατέργαστη απόσταση, στοχεύει στην ελαχιστοποιήστε τη συνολική ενδοσυσταδική διακύμανση, διατηρώντας αποτελεσματικά τις συστάδες σφιχτές και συνεκτικές.
DIANA: Η Στρατηγική από Πάνω προς τα Κάτω
Από την άλλη πλευρά, έχουμε την DIANA (Διαιρετική Ανάλυση). Αν η AGNES αφορά την κατασκευή ενός πύργου, η DIANA αφορά τη γλυπτική ενός γλυπτού . Ξεκινά με μια τεράστια συστάδα που περιέχει κάθε σημείο δεδομένων και την χωρίζει αναδρομικά σε μικρότερα.
Ο αλγόριθμος αναγνωρίζει το σύμπλεγμα με τη μεγαλύτερη διάμετρο (τα πιο ανόμοια σημεία) και βρίσκει την παρατήρηση με τα περισσότερα «θραύσματα»—αυτή που είναι η πιο διαφορετική από τις υπόλοιπες. Αυτή η παρατήρηση ξεκινά μια νέα ομάδα και άλλα σημεία αναδιατάσσονται με βάση την ομάδα στην οποία βρίσκονται πιο κοντά . Αυτό συνεχίζεται μέχρι να απομονωθεί κάθε σημείο. Σε αντίθεση με το AGNES, χρειάζεται να επιλέξετε μόνο μια μετρική απόστασης. Δεν απαιτείται μέθοδος σύνδεσης εδώ.
Μέτρηση Επιτυχίας και Ποιότητας
Δεδομένου ότι δεν υπάρχει «σωστή» απάντηση στη μη επιβλεπόμενη μάθηση, χρησιμοποιούμε συγκεκριμένες μετρήσεις για να δούμε αν οι συστάδες μας έχουν όντως νόημα. Γενικά τις χωρίζουμε σε εσωτερική και εξωτερική επικύρωση.
Η Εσωτερική Επικύρωση δεν χρειάζεται εξωτερικές ετικέτες. Για παράδειγμα, ο Δείκτης Davies-Bouldin εξετάζει την αναλογία της συνοχής εντός της συστάδας προς τον διαχωρισμό μεταξύ των συστάδων. Μια χαμηλότερη βαθμολογία είναι καλύτερη. Το Δυναμικό Τάσης μετρά το άθροισμα των τετραγώνων των αποστάσεων προς τα κεντροειδή, αν και αυτό φυσικά μειώνεται καθώς προσθέτετε περισσότερες συστάδες. Άλλα δημοφιλή εργαλεία περιλαμβάνουν τη Μέθοδο Αγκώνα και την Ανάλυση Σιλουέτας για να βρείτε αυτό το "γλυκό σημείο" για τον αριθμό των ομάδων.
Η Εξωτερική Επικύρωση τίθεται σε εφαρμογή όταν έχετε ένα χρυσό πρότυπο ή ετικέτες ειδικών για να συγκρίνετε. Μετρήσεις όπως η Ακρίβεια, η Ανάκληση και το μέτρο F αντιμετωπίζουν το αποτέλεσμα της ομαδοποίησης ως πρόβλημα ταξινόμησης. Μπορείτε επίσης να χρησιμοποιήσετε τη Θεωρία Πληροφοριών , αξιοποιώντας την Εντροπία και την Αμοιβαία Πληροφορία για να δείτε πόσο μειώνεται η αβεβαιότητα κατά τη σύγκριση της εξόδου του αλγορίθμου με γνωστές κατηγορίες.
Πραγματική Κοινωνία: Από τα Χρηματοοικονομικά στην Επιστήμη Δεδομένων
Δεν πρόκειται απλώς για ακαδημαϊκή θεωρία. Στα χρηματοοικονομικά, για παράδειγμα, η ομαδοποίηση αποτελεί ισχυρό εργαλείο για τη διαφοροποίηση του χαρτοφυλακίου . Χρησιμοποιώντας έναν πίνακα συσχέτισης των αποδόσεων των περιουσιακών στοιχείων ως μέτρο απόστασης, οι επενδυτές μπορούν να δημιουργήσουν ένα δενδρογράφημα για να δουν ποιες μετοχές κινούνται παράλληλα. Για να διαφοροποιηθεί πραγματικά, κάποιος θα πρέπει να επιλέξει περιουσιακά στοιχεία από διαφορετικούς κλάδους του δέντρου, διασφαλίζοντας ότι το χαρτοφυλάκιο δεν είναι υπερβολικά εκτεθειμένο σε έναν μόνο παράγοντα κινδύνου.
Πέρα από τα χρηματοοικονομικά, η ομαδοποίηση βοηθά στην τμηματοποίηση της αγοράς ομαδοποιώντας πελάτες με παρόμοιες αγοραστικές συνήθειες, επιτρέποντας στις εταιρείες να προσαρμόσουν το μάρκετινγκ τους. Το κλειδί είναι να πειραματιστούν με διαφορετικές μετρήσεις απόστασης - όπως το Manhattan ή το Mahalanobis - και διάφορες μεθόδους σύνδεσης για να δουν ποια αποκαλύπτει τα πιο εύλογα μοτίβα στο συγκεκριμένο σύνολο δεδομένων που αναλύεται.
Η τελειοποίηση αυτών των ιεραρχικών τεχνικών επιτρέπει μια βαθιά, δομική κατανόηση των δεδομένων, μεταβαίνοντας από την λεπτομερή λεπτομέρεια των μεμονωμένων σημείων στη συνολική εικόνα των παγκόσμιων κατηγοριών. Εξισορροπώντας τις συσσωματωτικές και τις διχαστικές στρατηγικές και επικυρώνοντας τα αποτελέσματα μέσω εσωτερικών και εξωτερικών μετρήσεων, μπορεί κανείς να μετατρέψει τον ακατέργαστο, μη επισημασμένο θόρυβο σε αξιοποιήσιμη, οργανωμένη νοημοσύνη.
