- Χρησιμοποιεί μια εγγενή μηχανή διανυσματικής εκτέλεσης και αρχιτεκτονική MPP για την παροχή απαντήσεων ερωτημάτων διάρκειας μικρότερης του δευτερολέπτου σε τεράστια σύνολα δεδομένων.
- Απλοποιεί την υποδομή μέσω ενός βελτιστοποιημένου σχεδιασμού FE/BE που εξαλείφει τα μεμονωμένα σημεία αστοχίας και επιτρέπει την αυτόματη κλιμάκωση.
- Προσφέρει προηγμένη βελτιστοποίηση μέσω ενός Cost-Based Optimizer (CBO) και έξυπνων υλοποιημένων προβολών για σύνθετες συνδέσεις πολλαπλών πινάκων.
- Υποστηρίζει άμεση ανάλυση λιμνών δεδομένων (Hive, Iceberg, Hudi) με πλήρη συμβατότητα με το πρωτόκολλο MySQL.
Νιώσατε ποτέ ότι η τρέχουσα ρύθμιση δεδομένων σας απλώς σας καθυστερεί; Στον κόσμο των σύγχρονων επιχειρήσεων, η πραγματοποίηση κλήσεων με βάση δεδομένα σε πραγματικό χρόνο δεν είναι απλώς πολυτέλεια. Είναι αναγκαιότητα. Ωστόσο, πολλές εταιρείες δυσκολεύονται όταν η αρχιτεκτονική τους δεν μπορεί να χειριστεί υψηλή ταυτόχρονη σύνδεση ή σύνθετες συνδέσεις πολλαπλών πινάκων , με αποτέλεσμα μια απογοητευτική εμπειρία όπου τα ερωτήματα χρειάζονται πολύ χρόνο για να φορτώσουν.
Εδώ ακριβώς παρεμβαίνει η StarRocks για να σώσει την κατάσταση. Αντί να ασχολείστε με κουραστική προεπεξεργασία δεδομένων, όπως η δημιουργία ατελείωτων επίπεδων πινάκων ή σύνθετων τεχνικών μοντελοποίησης δεδομένων ή κύβων που είναι εφιάλτης στη συντήρηση, αυτή η βάση δεδομένων MPP επόμενης γενιάς σάς επιτρέπει να εμβαθύνετε απευθείας στα δεδομένα σας. Έχει σχεδιαστεί για να είναι γρήγορη, ευέλικτη και απίστευτα εύκολη στην ανάπτυξη, κάνοντας ολόκληρη τη διαδικασία αναλυτικής υποβολής ερωτημάτων παιχνιδάκι.
Η μυστική συνταγή: Μια βελτιωμένη αρχιτεκτονική
Το StarRocks διατηρεί την ομαλή λειτουργία του κατανέμοντας τις εργασίες του σε δύο κύρια στοιχεία: το Frontend (FE) και το Backend (BE). Αυτή η ρύθμιση αλλάζει τα δεδομένα, επειδή εξαλείφει τα μεμονωμένα σημεία αστοχίας , πράγμα που σημαίνει ότι το σύστημά σας παραμένει ενεργό ακόμα και αν ένας κόμβος αποφασίσει να κάνει έναν υπνάκο. Το FE χειρίζεται την εγκεφαλική εργασία - τη διαχείριση μεταδεδομένων, τον σχεδιασμό ερωτημάτων και τον προγραμματισμό - ενώ το BE κάνει τη βαριά δουλειά της αποθήκευσης δεδομένων και της εκτέλεσης SQL.
Μέσα στο FE, θα βρείτε ένα έξυπνο σύστημα Ακόλουθων και Παρατηρητών. Οι Ακόλουθοι χρησιμοποιούν έναν αλγόριθμο συναίνεσης παρόμοιο με το Paxos για να διασφαλίσουν ότι τα μεταδεδομένα γράφονται με συνέπεια σε όλο το σύμπλεγμα. Εν τω μεταξύ, οι Παρατηρητές είναι εκεί για να ενισχύσουν την ικανότητα του συστήματος να χειρίζεται έναν τόνο ταυτόχρονων ερωτημάτων αναπαράγοντας αρχεία καταγραφής συναλλαγών. Από την άλλη πλευρά, οι κόμβοι BE είναι συμμετρικοί, που σημαίνει ότι όλοι συνεργάζονται για την επεξεργασία δεδομένων χωρίς να χρειάζεται να αντιγράφουν ή να επικοινωνούν δεδομένα μεταξύ τους κατά την εκτέλεση, γι' αυτό και η ταχύτητα είναι τόσο απίστευτη.
Κατακτώντας τη Διαχείριση Δεδομένων και την Κλιμάκωση
Για να διατηρεί τα πράγματα οργανωμένα, το StarRocks χωρίζει τους πίνακες σε tablet, τα οποία στη συνέχεια κατανέμονται στους κόμβους BE. Χρησιμοποιεί ένα μείγμα διαμέρισης (όπως διαχωρισμός δεδομένων κατά ημερομηνία) και bucketing (χρησιμοποιώντας συναρτήσεις κατακερματισμού) για να διασφαλίσει ότι κάθε πυρήνας CPU και μηχάνημα στο σύμπλεγμά σας τίθεται σε λειτουργία. Αυτή η παράλληλη επεξεργασία είναι ακριβώς ο λόγος για τον οποίο μπορείτε να λαμβάνετε αποκρίσεις κάτω του δευτερολέπτου, ακόμη και όταν έχετε να κάνετε με τεράστια σύνολα δεδομένων.
Ένα από τα πιο ενδιαφέροντα σημεία είναι η αυτόματη εξισορρόπηση δεδομένων . Εάν χρειαστεί να αυξήσετε ή να μειώσετε την κλίμακα του συμπλέγματός σας, το StarRocks χειρίζεται την κίνηση των tablet στο παρασκήνιο. Δεν χρειάζεται να αναδιανέμετε χειροκίνητα δεδομένα, κάτι που αποτελεί τεράστια νίκη για τους διαχειριστές βάσεων δεδομένων. Επιπλέον, διατηρώντας τρία αντίγραφα κάθε tablet από προεπιλογή, το σύστημα διασφαλίζει υψηλή διαθεσιμότητα και ανθεκτικότητα , επομένως μια μόνο βλάβη κόμβου δεν θα σταματήσει ολόκληρη τη λειτουργία σας.
Η Δύναμη του MPP και της Διανυσματοποιημένης Εκτέλεσης
Σε αντίθεση με τα παλαιού τύπου μοτίβα διασποράς-συγκέντρωσης που δημιουργούν σημεία συμφόρησης στο τελικό βήμα συσσωμάτωσης, το StarRocks χρησιμοποιεί ένα πλαίσιο Μαζικής Παράλληλης Επεξεργασίας (MPP) . Διαχωρίζει ένα ερώτημα σε λογικά τμήματα και μονάδες φυσικής εκτέλεσης που εκτελούνται ταυτόχρονα σε όλο το σύμπλεγμα. Αυτό σημαίνει ότι οι πολύπλοκοι υπολογισμοί, όπως η ομαδοποίηση ανά στήλες υψηλής πληθικότητας , αντιμετωπίζονται πολύ πιο αποτελεσματικά, επειδή τα δεδομένα αναμειγνύονται και υποβάλλονται σε επεξεργασία σε πολλαπλούς κόμβους.
Για να αξιοποιήσει και την τελευταία σταγόνα ισχύος από το υλικό σας, χρησιμοποιεί μια εγγενή μηχανή διανυσματικής εκτέλεσης . Αυτή η μηχανή επεξεργάζεται δεδομένα σε στήλες αντί για γραμμές, αξιοποιώντας άψογα την προσωρινή μνήμη της CPU και τις εντολές SIMD. Με απλά λόγια: κάνει περισσότερη δουλειά με λιγότερες εντολές. Αυτή η τεχνολογία μπορεί να ενισχύσει την απόδοση κατά 3 έως 10 φορές σε σύγκριση με τους παραδοσιακούς τελεστές και λειτουργεί ακόμη και με κωδικοποιημένα δεδομένα για να παρακάμψει τα περιττά βήματα αποκωδικοποίησης, διπλασιάζοντας για άλλη μια φορά την ταχύτητα.
Έξυπνη Βελτιστοποίηση και Αποθήκευση
Όταν έχετε να κάνετε με δώδεκα πίνακες σε μια ένωση, το σχέδιο εκτέλεσης μπορεί να βελτιώσει ή να καταστρέψει την απόδοσή σας. Η StarRocks αντιμετωπίζει αυτό το πρόβλημα με ένα προσαρμοσμένο Cost-Based Optimizer (CBO) . Αυτό το CBO είναι ένα θηρίο—μπορεί να ξαναγράψει υποερωτήματα, να επαναχρησιμοποιήσει κοινές εκφράσεις πίνακα (CTE) και να αναδιατάξει τις ενώσεις για να βρει την πιο αποτελεσματική διαδρομή προς το αποτέλεσμα. Είναι ουσιαστικά το GPS για τα ερωτήματα δεδομένων σας , διασφαλίζοντας ότι δεν θα πάρετε ποτέ μακρινές αποστάσεις.
Στο εσωτερικό, η μηχανή αποθήκευσης σε στήλες έχει σχεδιαστεί για τον πραγματικό κόσμο. Επιτρέπει υψηλές αναλογίες συμπίεσης για εξοικονόμηση χώρου στο δίσκο και μειώνει δραστικά τις εισόδους/εξόδους (I/O), επειδή διαβάζει μόνο τις στήλες που πραγματικά χρειάζονται για το ερώτημα. Ακόμα καλύτερα, υποστηρίζει ενημερώσεις σχεδόν σε πραγματικό χρόνο με ιδιότητες ACID . Είτε χρησιμοποιείτε λειτουργίες upsert είτε προσάρτησης, το σύστημα διασφαλίζει ότι τα δεδομένα σας είναι συνεπή και ενημερωμένα, συνήθως με καθυστέρηση δεύτερου επιπέδου.
Έξυπνες προβολές και ενσωμάτωση Data Lake
Ξεχάστε την μη αυτόματη ανανέωση των υλοποιημένων προβολών σας. Το StarRocks προσφέρει έξυπνες, υλοποιημένες προβολές σε πραγματικό χρόνο που ενημερώνονται αυτόματα καθώς αλλάζουν οι βασικοί πίνακες. Το σύστημα είναι αρκετά έξυπνο ώστε να ξαναγράφει αυτόματα τα ερωτήματά σας για να χρησιμοποιεί αυτές τις προβολές εάν παρέχουν ένα πιο γρήγορο αποτέλεσμα, πράγμα που σημαίνει ότι έχετε εξαιρετικά γρήγορη απόδοση χωρίς να αλλάξετε ούτε μία γραμμή SQL.
Αν χρησιμοποιείτε ήδη μια βάση δεδομένων, είστε τυχεροί. Το StarRocks σάς επιτρέπει να υποβάλλετε ερωτήματα σε δεδομένα απευθείας από το Apache Hive, το Iceberg, το Delta Lake ή το Apache Hudi χωρίς την ανάγκη για κουραστική μετεγκατάσταση δεδομένων. Αυτή η προσέγγιση "μηδενικού αντιγράφου" σημαίνει ότι μπορείτε να διατηρήσετε τα δεδομένα σας εκεί που βρίσκονται και να εκτελείτε ανάλυση υψηλής ταχύτητας. Επειδή είναι πλήρως συμβατό με τα πρωτόκολλα MySQL , μπορείτε να συνδέσετε τα αγαπημένα σας εργαλεία BI ή υπηρεσίες διαχειριζόμενης βάσης δεδομένων και να ξεκινήσετε αμέσως την ανάλυση.
Πραγματικός αντίκτυπος: Από το WeChat στο Trip.com
Το να βλέπεις είναι απίστευτο, και τα αποτελέσματα από τους μεγάλους παίκτες είναι εντυπωσιακά. Το WeChat, το οποίο εξυπηρετεί πάνω από ένα δισεκατομμύριο χρήστες, άλλαξε από το Apache Druid στο StarRocks για την πλατφόρμα παρακολούθησής του. Κατάφεραν να μειώσουν τον μέσο χρόνο ερωτημάτων από 1200ms σε 500ms και τα αργά ερωτήματα από 20 δευτερόλεπτα σε μόλις 6, ενώ παράλληλα εισάγουν 60 δισεκατομμύρια δεδομένα καθημερινά.
Ομοίως, η Trip.com εγκατέλειψε το ClickHouse επειδή χρειαζόταν καλύτερη υποστήριξη για τυπική SQL και υψηλότερη ταυτόχρονη χρήση. Μετά την αλλαγή, το 70% των σεναρίων πραγματικού χρόνου εκτελούνται πλέον σε StarRocks, με μέσους χρόνους απόκρισης περίπου 200ms. Απλοποιώντας την αρχιτεκτονική τους, δεν απέκτησαν μόνο μεγαλύτερη ταχύτητα - μείωσαν επίσης σημαντικά το κόστος ανθρώπινου δυναμικού και υλικού.
Είτε ρυθμίζετε δικαιώματα μέσω ρόλων για έναν εξωτερικό κατάλογο είτε ενσωματώνετε εργαλεία όπως το Metabase ή το GoodData, ο στόχος είναι ο ίδιος: ταχύτερη λήψη πληροφοριών. Από τη διαχείριση της ταυτόχρονης λειτουργίας χιλιάδων χρηστών έως την παροχή μιας αρχιτεκτονικής κοινόχρηστων δεδομένων στην έκδοση 3.0 για χαμηλότερο κόστος, αυτό το σύστημα έχει σχεδιαστεί για κλίμακα. Συνδυάζοντας ένα πλαίσιο MPP, μια διανυσματική μηχανή και ένα έξυπνο CBO, το StarRocks μεταμορφώνει τον τρόπο με τον οποίο οι εταιρείες χειρίζονται σύνθετες πολυδιάστατες αναλύσεις και ad-hoc ερωτήματα σε ολόκληρο το data lakehouse.
