Το «πόσο θα κοστίσει» είναι η πρώτη ερώτηση που ακούμε για ένα data platform, και η ειλικρινής απάντηση είναι ότι, για μια εταιρεία 20 έως 500 ατόμων, ο λογαριασμός του cloud σπάνια είναι το ακριβό κομμάτι. Εδώ εξηγούμε πού πάνε πραγματικά τα λεφτά, γιατί το Google Cloud ταιριάζει σε αυτό το μέγεθος, και τις λίγες συνήθειες που κάνουν ένα φθηνό platform ακριβό.
Τρεις παράγοντες κόστους, με λάθος σειρά σημασίας
Ο owner συνήθως φαντάζεται τον λογαριασμό σαν «servers». Σε ένα σύγχρονο cloud data platform δεν υπάρχουν servers που κρατάτε ανοιχτούς. Πληρώνετε για τρία πράγματα.
Storage. Πόσα δεδομένα κρατάτε. Για μια μικρές και μεσαίες επιχειρήσεις μιλάμε για gigabytes, όχι terabytes: λίγα χρόνια τιμολόγια, κινήσεις αποθήκης, παραγγελίες και δραστηριότητα CRM, από συστήματα που παράγουν μία γραμμή ανά συναλλαγή και όχι ανά κλικ. Το storage για τέτοιο όγκο είναι τόσο φθηνό που στρογγυλεύει προς τα κάτω. Σχεδόν ποτέ δεν είναι αυτό που καθορίζει το κόστος.
Queries. Πόσα δεδομένα διαβάζετε και πόσο συχνά. Εδώ μετράει ο σχεδιασμός. Ένα καθημερινό job που διαβάζει τις χθεσινές γραμμές δεν κοστίζει σχεδόν τίποτα. Ένα dashboard που ξαναδιαβάζει τρία χρόνια ιστορικό κάθε φορά που κάποιος πατάει refresh κοστίζει κάτι κάθε φορά, και αν κάνει refresh κάθε πέντε λεπτά για σαράντα άτομα, κοστίζει όλη μέρα.
Άνθρωποι. Ο χρόνος για να στηθούν τα pipelines, να οριστούν τα νούμερα, να τρέχουν οι φορτώσεις και να απαντηθεί το «γιατί δεν συμφωνεί με το ERP». Αυτό είναι το πραγματικό κόστος ενός data platform σε κάθε μέγεθος, και είναι το κομμάτι που δεν δείχνει καμία σελίδα τιμολόγησης. Ένα platform που θέλει δύο μέρες τον μήνα για να μένει ζωντανό κοστίζει περισσότερο από ένα με δεκαπλάσιο λογαριασμό cloud που τρέχει μόνο του.
Ο κανόνας για μια μικρή ή μεσαία επιχείρηση: το storage είναι θόρυβος, τα queries είναι αυτό για το οποίο σχεδιάζετε, και οι άνθρωποι είναι αυτό για το οποίο κάνετε budget.
Γιατί η τιμολόγηση του BigQuery ταιριάζει σε μικρούς όγκους
Το BigQuery, το data warehouse της Google, είναι αυτό που χρησιμοποιούμε στα περισσότερα platforms για μικρές και μεσαίες επιχειρήσεις, και ο λόγος είναι το μοντέλο τιμολόγησης, όχι κάποιο feature.
Δεν πληρώνετε μηχάνημα που κάθεται. Τα παραδοσιακά warehouses, και αρκετά «μοντέρνα», χρεώνουν ένα cluster που υπάρχει είτε τρέχει κάποιος query είτε όχι. Το BigQuery δεν έχει cluster. Ανάμεσα στα queries δεν τρέχει τίποτα, οπότε ένα platform που χρησιμοποιείται είκοσι λεπτά τη μέρα κοστίζει είκοσι λεπτά τη μέρα. Για μια εταιρεία όπου το data team είναι ένας άνθρωπος με μερική απασχόληση, αυτή είναι η μεγαλύτερη διαφορά.
Πληρώνετε ανά δεδομένα που διαβάζονται, με δωρεάν μηνιαίο όριο. Η on-demand τιμολόγηση χρεώνει τον όγκο που σαρώνει κάθε query, και το πρώτο κομμάτι κάθε μήνα είναι δωρεάν. Σε όγκους μικρών και μεσαίων επιχειρήσεων, ένα σωστά σχεδιασμένο σετ καθημερινών φορτώσεων και μερικοί agents που διαβάζουν πρόσφατα δεδομένα μένουν μέσα ή κοντά σε αυτό το όριο. Ο λογαριασμός γίνεται ψιλά και μένει ψιλά μέχρι να αλλάξει η επιχείρηση, όχι μέχρι να αλλάξει το ημερολόγιο.
Και το storage έχει δωρεάν tier, και τα παλιά δεδομένα φθηναίνουν μόνα τους. Πίνακες που δεν έχουν αλλάξει για ένα διάστημα πέφτουν αυτόματα σε χαμηλότερη χρέωση storage, χωρίς να κάνει κανείς τίποτα.
Όλα τα υπόλοιπα είναι επίσης pay-per-use. Τα scheduled jobs, τα μικρά serverless services που τρέχουν τα pipelines και τους agents, τα κανάλια ειδοποιήσεων: κανένα δεν χρειάζεται μηχάνημα ανοιχτό. Ένα ολόκληρο platform μπορεί να αποτελείται από κομμάτια που δεν κοστίζουν τίποτα όταν δεν δουλεύουν.
Το λέμε με δικά μας νούμερα, γιατί τα συστήματα που τρέχουμε για πελάτες και τα δικά μας προϊόντα ζουν ακριβώς σε αυτό το stack. Ένα από τα platforms μας εξυπηρετεί τους χρήστες του σε δύο γλώσσες πάνω σε Google Cloud και τρέχει με €0-2 τον μήνα σε κόστος cloud. Δεν είναι κόλπο με το δωρεάν tier· έτσι μοιάζει ένα σωστά σχεδιασμένο μικρό workload, και είναι ο κανόνας στα έργα μας, όχι η εξαίρεση.
Τι κάνει ένα μικρό platform ακριβό
Το ίδιο μοντέλο τιμολόγησης που ανταμείβει τον καλό σχεδιασμό τιμωρεί μερικές συνήθειες. Αυτές είναι οι πιο συχνές που βλέπουμε.
Ένα virtual machine ανοιχτό 24 ώρες «για το ETL». Κάποιος στήνει ένα VM για να τρέχει τις φορτώσεις το βράδυ. Τρέχει όλη μέρα. Είναι η πιο συνηθισμένη γραμμή σε λογαριασμό cloud μιας μικρής ή μεσαίας επιχείρησης, και σπάνια χρειάζεται. Τα scheduled serverless jobs κάνουν την ίδια δουλειά και δεν κοστίζουν τίποτα ανάμεσα στις εκτελέσεις.
Dashboards που σαρώνουν όλο το ιστορικό σε κάθε refresh. Ένα BI εργαλείο στραμμένο σε raw πίνακα με auto-refresh είναι λογαριασμός queries με χρονόμετρο. Η λύση είναι η προ-συγκέντρωση: ένας ημερήσιος πίνακας σύνοψης με λίγες χιλιάδες γραμμές, τον οποίο διαβάζει το dashboard αντί για τα εκατομμύρια από πίσω.
Πίνακες χωρίς partition. Το BigQuery μπορεί να περιορίσει ένα query στις μέρες που χρειάζεται, αλλά μόνο αν ο πίνακας είναι οργανωμένος ανά ημερομηνία. Αν φορτωθούν όλα σε έναν πίνακα χωρίς partition, κάθε query για το «χθες» διαβάζει κάθε χρονιά. Είναι απόφαση σχεδιασμού της πρώτης εβδομάδας που πληρώνεται κάθε μήνα.
Αντίγραφα των ίδιων δεδομένων. Ένα staging αντίγραφο, ένα «καθαρό», ένα για το dashboard, ένα που έβγαλε κάποιος σε Excel. Το καθένα κοστίζει λίγο· το πραγματικό κόστος είναι ότι κανείς δεν ξέρει ποιο είναι το σωστό.
Άδειες που κοστίζουν περισσότερο από το platform. Συνδρομές BI ανά χρήστη, εργαλεία integration ανά connector, «AI add-ons» ανά άτομο. Είναι συνηθισμένο τα εργαλεία γύρω από ένα μικρό platform να κοστίζουν πολλαπλάσια από το ίδιο το platform. Βάλτε τα στο budget, και ρωτήστε αν ένα scheduled query και ένα μήνυμα στο Slack θα έκαναν την ίδια δουλειά.
Κανείς δεν κοιτάει τον λογαριασμό. Οι πάροχοι cloud σας αφήνουν να ορίσετε budget και alert σε πέντε λεπτά. Κάθε platform που χτίζουμε έχει ένα από την πρώτη μέρα, με threshold αρκετά χαμηλό ώστε ένα λάθος να φαίνεται σε μέρες, όχι στο τέλος του τριμήνου.
Πώς μοιάζει ένα λογικό budget
Για εταιρεία αυτού του μεγέθους, ένας λογικός τρόπος να το σκεφτείτε είναι σε τρεις γραμμές: ένας λογαριασμός cloud μικρός και προβλέψιμος, με budget alert πάνω του· ένα κόστος υλοποίησης που είναι κυρίως σχεδιασμός και pipelines, συγκεντρωμένο στις πρώτες εβδομάδες· και ένα κόστος λειτουργίας που είναι κυρίως άνθρωποι, και που πρέπει να πέφτει με τον καιρό καθώς το platform τρέχει μόνο του και οι ορισμοί σταθεροποιούνται. Αν στην πρόταση που έχετε μπροστά σας η πρώτη γραμμή είναι μεγάλη και η τρίτη λείπει, ρωτήστε γιατί.
Αν θέλετε μια απλή εκτίμηση για τη δική σας περίπτωση, στείλτε μας δυο γραμμές για τα συστήματα που έχετε και για το πόσοι άνθρωποι θα χρησιμοποιούσαν το platform. Θα σας πούμε πόσο πιστεύουμε ότι πρέπει να κοστίζει, και αν η απάντηση είναι «δεν το χρειάζεστε ακόμα», θα το πούμε κι αυτό.