Τεχνολογία μεγάλων δεδομένων και παραδείγματα εφαρμογής της. Alexey Ryvkin για τις κύριες κατευθύνσεις στον τομέα των μεγάλων δεδομένων, της επικοινωνίας με τους πελάτες και του κόσμου των αριθμών. Big Data Technologies

Κάποτε, άκουσα τον όρο "Big Data" από τον German Gref (επικεφαλής της Sberbank). Όπως, τώρα εργάζονται ενεργά για την υλοποίηση, γιατί αυτό θα τους βοηθήσει να μειώσουν τον χρόνο που εργάζονται με κάθε πελάτη.

Η δεύτερη φορά που συνάντησα αυτήν την ιδέα ήταν στο ηλεκτρονικό κατάστημα του πελάτη, στο οποίο δουλέψαμε και αυξήσαμε τη συλλογή από μερικές χιλιάδες σε μερικές δεκάδες χιλιάδες είδη εμπορευμάτων.

Την τρίτη φορά είδα ότι η Yandex χρειαζόταν έναν αναλυτή μεγάλων δεδομένων. Τότε αποφάσισα να εμβαθύνω σε αυτό το θέμα και ταυτόχρονα να γράψω ένα άρθρο που θα σας πει τι είδους όρος είναι αυτός που ενθουσιάζει τα μυαλά των TOP managers και του χώρου του Διαδικτύου.

VVV ή VVVVV

Συνήθως ξεκινώ οποιοδήποτε από τα άρθρα μου με μια εξήγηση για το τι είδους όρος είναι. Αυτό το άρθρο δεν θα αποτελέσει εξαίρεση.

Ωστόσο, αυτό δεν οφείλεται πρωτίστως στην επιθυμία να δείξω πόσο έξυπνος είμαι, αλλά επειδή το θέμα είναι πραγματικά πολύπλοκο και απαιτεί προσεκτική εξήγηση.

Για παράδειγμα, μπορείτε να διαβάσετε τι είναι τα μεγάλα δεδομένα στη Wikipedia, να μην καταλαβαίνετε τίποτα και, στη συνέχεια, να επιστρέψετε σε αυτό το άρθρο για να κατανοήσετε τον ορισμό και τη δυνατότητα εφαρμογής για επιχειρήσεις. Λοιπόν, ας ξεκινήσουμε με μια περιγραφή και στη συνέχεια με επιχειρηματικά παραδείγματα.

Τα μεγάλα δεδομένα είναι μεγάλα δεδομένα. Καταπληκτικό, σωστά; Στην πραγματικότητα, από τα αγγλικά μεταφράζεται ως "μεγάλα δεδομένα". Αλλά αυτός ο ορισμός, θα έλεγε κανείς, είναι για ανδρείκελα.

Σπουδαίος. Η τεχνολογία μεγάλων δεδομένων είναι μια προσέγγιση/μέθοδος επεξεργασίας περισσότερων δεδομένων για τη λήψη νέων πληροφοριών που είναι δύσκολο να επεξεργαστούν με συμβατικούς τρόπους.

Τα δεδομένα μπορούν να είναι τόσο επεξεργασμένα (δομημένα) όσο και κατακερματισμένα (δηλαδή μη δομημένα).

Ο ίδιος ο όρος εμφανίστηκε σχετικά πρόσφατα. Το 2008, ένα επιστημονικό περιοδικό προέβλεψε αυτή την προσέγγιση ως κάτι απαραίτητο για την αντιμετώπιση μεγάλου όγκου πληροφοριών που αυξάνεται εκθετικά.

Για παράδειγμα, κάθε χρόνο οι πληροφορίες στο Διαδίκτυο που πρέπει να αποθηκευτούν και, φυσικά, να υποβληθούν σε επεξεργασία, αυξάνονται κατά 40%. Πάλι. +40% κάθε χρόνο εμφανίζονται νέες πληροφορίες στο Διαδίκτυο.

Εάν τα έντυπα έγγραφα είναι κατανοητά και οι τρόποι επεξεργασίας τους είναι επίσης κατανοητοί (μεταφορά σε ηλεκτρονική φόρμα, συρραφή σε έναν φάκελο, αριθμημένα), τότε τι να κάνετε με πληροφορίες που παρουσιάζονται σε εντελώς διαφορετικούς «φορείς» και άλλους τόμους:

• έγγραφα Διαδικτύου.
• ιστολόγια και κοινωνικά δίκτυα·
• πηγές ήχου/βίντεο·
• συσκευές μέτρησης?

Υπάρχουν χαρακτηριστικά που καθιστούν δυνατή την ταξινόμηση πληροφοριών και δεδομένων ως μεγάλα δεδομένα.

Δηλαδή, μπορεί να μην είναι όλα τα δεδομένα κατάλληλα για ανάλυση. Αυτά τα χαρακτηριστικά περιέχουν τη βασική έννοια των μεγάλων δεδομένων. Όλα χωράνε σε τρία V.

1. Τόμος (από τον αγγλικό τόμο). Τα δεδομένα μετρώνται ως προς τον φυσικό όγκο του «εγγράφου» που πρόκειται να αναλυθεί.
2. Ταχύτητα (από τα αγγλικά velocity). Τα δεδομένα δεν στέκονται στην ανάπτυξή τους, αλλά συνεχώς αυξάνονται, γι' αυτό πρέπει να υποβληθούν σε γρήγορη επεξεργασία για να ληφθούν αποτελέσματα.
3. Ποικιλία (από αγγλική ποικιλία). Τα δεδομένα μπορεί να μην είναι ομοιόμορφα. Δηλαδή, μπορούν να είναι κατακερματισμένα, δομημένα ή μερικώς δομημένα.

Ωστόσο, κατά καιρούς προστίθεται στο VVV ένα τέταρτο V (αλήθεια - αξιοπιστία / αξιοπιστία των δεδομένων) και ακόμη και ένα πέμπτο V (σε κάποιες περιπτώσεις είναι βιωσιμότητα - βιωσιμότητα, σε άλλες αξία).

Κάπου είδα ακόμη και 7V, που χαρακτηρίζουν δεδομένα που σχετίζονται με μεγάλα δεδομένα. Αλλά κατά τη γνώμη μου, αυτό είναι από μια σειρά (όπου προστίθενται περιοδικά P, αν και το αρχικό 4 είναι αρκετό για κατανόηση).

Ποιος το χρειάζεται;

Τίθεται ένα λογικό ερώτημα, πώς μπορούν να χρησιμοποιηθούν οι πληροφορίες (αν μη τι άλλο, τα μεγάλα δεδομένα είναι εκατοντάδες και χιλιάδες terabyte); Ούτε καν έτσι.

Εδώ είναι οι πληροφορίες. Γιατί λοιπόν έβγαλαν μεγάλα δεδομένα τότε; Ποια είναι η χρήση των μεγάλων δεδομένων στο μάρκετινγκ και τις επιχειρήσεις;

1. Οι συμβατικές βάσεις δεδομένων δεν μπορούν να αποθηκεύσουν και να επεξεργαστούν (δεν μιλάω καν για αναλυτικά στοιχεία τώρα, αλλά απλώς αποθηκεύουν και επεξεργάζονται) τεράστιο όγκο πληροφοριών.

   Τα μεγάλα δεδομένα λύνουν αυτό το κύριο πρόβλημα. Αποθηκεύει και διαχειρίζεται με επιτυχία πληροφορίες με μεγάλο όγκο.

2. Δομίζει τις πληροφορίες που προέρχονται από διάφορες πηγές (βίντεο, εικόνες, έγγραφα ήχου και κειμένου) σε μια ενιαία, κατανοητή και εύπεπτη μορφή.
3. Διαμόρφωση αναλυτικών στοιχείων και δημιουργία ακριβών προβλέψεων με βάση δομημένες και επεξεργασμένες πληροφορίες.

Είναι περίπλοκο. Με απλά λόγια, οποιοσδήποτε έμπορος καταλαβαίνει ότι εάν μελετήσετε μεγάλο όγκο πληροφοριών (για εσάς, την εταιρεία σας, τους ανταγωνιστές σας, τον κλάδο σας), μπορείτε να πάρετε πολύ αξιοπρεπή αποτελέσματα:

• Πλήρης κατανόηση της εταιρείας σας και της επιχείρησής σας από την πλευρά των αριθμών.
• Μελετήστε τους ανταγωνιστές σας. Και αυτό, με τη σειρά του, θα καταστήσει δυνατό να προχωρήσουμε με την κυριαρχία τους.
• Μάθετε νέες πληροφορίες για τους πελάτες σας.

Και ακριβώς επειδή η τεχνολογία big data δίνει τα εξής αποτελέσματα, όλοι βιάζονται μαζί της.

Προσπαθούν να βάλουν αυτή την επιχείρηση στην εταιρεία τους για να πετύχουν αύξηση στις πωλήσεις και μείωση του κόστους. Και για να γίνουμε συγκεκριμένοι, λοιπόν:

1. Αύξηση cross-sells και up-sells μέσω της καλύτερης γνώσης των προτιμήσεων των πελατών.
2. Αναζήτηση δημοφιλών προϊόντων και λόγων για τους οποίους αγοράζονται (και αντίστροφα).
3. Βελτίωση προϊόντων ή υπηρεσιών.
4. Βελτίωση του επιπέδου εξυπηρέτησης.
5. Αύξηση της αφοσίωσης και της εστίασης στον πελάτη.
6. Πρόληψη της απάτης (πιο σχετική για τον τραπεζικό τομέα).
7. Μείωση του πλεονάζοντος κόστους.

Το πιο συνηθισμένο παράδειγμα που δίνεται σε όλες τις πηγές είναι, φυσικά, η Apple, η οποία συλλέγει δεδομένα για τους χρήστες της (τηλέφωνο, ρολόι, υπολογιστής).

Λόγω της παρουσίας του οικοσυστήματος η εταιρεία γνωρίζει τόσα πολλά για τους χρήστες της και στο μέλλον το χρησιμοποιεί αυτό για κέρδος.

Μπορείτε να διαβάσετε αυτά και άλλα παραδείγματα χρήσης σε οποιοδήποτε άλλο άρθρο εκτός από αυτό.

Ας πάμε στο μέλλον

Θα σας πω για ένα άλλο έργο. Ή μάλλον, για ένα άτομο που χτίζει το μέλλον χρησιμοποιώντας λύσεις μεγάλων δεδομένων.

Αυτός είναι ο Elon Musk και η εταιρεία του Tesla. Το κύριο όνειρό του είναι να κάνει τα αυτοκίνητα αυτόνομα, δηλαδή να μπαίνεις πίσω από το τιμόνι, να ανοίγεις τον αυτόματο πιλότο από τη Μόσχα στο Βλαδιβοστόκ και να... κοιμηθείς, γιατί δεν χρειάζεται να οδηγήσεις καθόλου αυτοκίνητο, γιατί θα το κάνει. τα πάντα μόνος του.

Θα φαινόταν φανταστικό; Αλλά όχι! Απλώς ο Έλον ενήργησε πολύ πιο σοφός από την Google, που ελέγχει αυτοκίνητα χρησιμοποιώντας δεκάδες δορυφόρους. Και πήγε από την άλλη:

1. Κάθε αυτοκίνητο που πωλείται είναι εξοπλισμένο με έναν υπολογιστή που συλλέγει όλες τις πληροφορίες.

   Όλα σημαίνουν τα πάντα. Σχετικά με τον οδηγό, τον τρόπο οδήγησής του, τους δρόμους γύρω, την κίνηση άλλων αυτοκινήτων. Ο όγκος τέτοιων δεδομένων φτάνει τα 20-30 GB ανά ώρα.

2. Επιπλέον, αυτές οι πληροφορίες μεταδίδονται μέσω δορυφόρου στον κεντρικό υπολογιστή, ο οποίος επεξεργάζεται αυτά τα δεδομένα.
3. Με βάση τα μεγάλα δεδομένα που επεξεργάζεται αυτός ο υπολογιστής, κατασκευάζεται ένα μοντέλο ενός μη επανδρωμένου οχήματος.

Παρεμπιπτόντως, εάν η Google τα πηγαίνει πολύ άσχημα και τα αυτοκίνητά τους ατυχήματα συνεχώς, τότε ο Μασκ, λόγω του ότι εργάζεται με μεγάλα δεδομένα, τα πάει πολύ καλύτερα, επειδή τα μοντέλα δοκιμής δείχνουν πολύ καλά αποτελέσματα.

https://youtu.be/lc2ZVUZ6kno

Αλλά... Όλα είναι θέμα οικονομίας. Τι είμαστε όλοι για το κέρδος, ναι για το κέρδος; Πολλά από αυτά που μπορούν να λύσουν τα μεγάλα δεδομένα είναι εντελώς άσχετα με τα κέρδη και τα χρήματα.

Τα στατιστικά της Google, βασισμένα μόνο σε μεγάλα δεδομένα, δείχνουν ένα ενδιαφέρον πράγμα.

Προτού οι γιατροί ανακοινώσουν την έναρξη μιας επιδημίας μιας ασθένειας σε μια περιοχή, ο αριθμός των ερωτημάτων αναζήτησης για τη θεραπεία αυτής της ασθένειας αυξάνεται σημαντικά σε αυτήν την περιοχή.

Έτσι, η σωστή μελέτη των δεδομένων και η ανάλυσή τους μπορεί να σχηματίσει προβλέψεις και να προβλέψει την έναρξη της επιδημίας (και, κατά συνέπεια, την πρόληψή της) πολύ πιο γρήγορα από τη γνώμη των αρχών και των ενεργειών τους.

Εφαρμογή στη Ρωσία

Ωστόσο, η Ρωσία, όπως πάντα, επιβραδύνει λίγο. Έτσι, ο ίδιος ο ορισμός των μεγάλων δεδομένων στη Ρωσία εμφανίστηκε πριν από 5 χρόνια (μιλάω για συνηθισμένες εταιρείες τώρα).

Και αυτό παρά το γεγονός ότι αυτή είναι μια από τις ταχύτερα αναπτυσσόμενες αγορές στον κόσμο (τα ναρκωτικά και τα όπλα καπνίζουν νευρικά στο περιθώριο), επειδή κάθε χρόνο η αγορά λογισμικού για τη συλλογή και ανάλυση μεγάλων δεδομένων αυξάνεται κατά 32%.

Για να χαρακτηρίσω την αγορά μεγάλων δεδομένων στη Ρωσία, μου θυμίζει ένα παλιό αστείο. Το μεγάλο ραντεβού είναι σαν το σεξ πριν τα 18.

Όλοι μιλούν γι' αυτό, υπάρχει πολλή δημοσιότητα γύρω από αυτό και λίγη πραγματική δράση, και όλοι ντρέπονται να παραδεχτούν ότι οι ίδιοι δεν το κάνουν αυτό. Πράγματι, υπάρχει πολλή διαφημιστική εκστρατεία γύρω από αυτό, αλλά λίγη πραγματική δράση.

Αν και η γνωστή εταιρεία ερευνών Gartner ανακοίνωσε ήδη το 2015 ότι τα μεγάλα δεδομένα δεν είναι πλέον μια αυξανόμενη τάση (όπως η τεχνητή νοημοσύνη, παρεμπιπτόντως), αλλά εντελώς ανεξάρτητα εργαλεία για την ανάλυση και την ανάπτυξη προηγμένων τεχνολογιών.

Οι πιο ενεργές θέσεις όπου χρησιμοποιούνται μεγάλα δεδομένα στη Ρωσία είναι οι τράπεζες / οι ασφάλειες (όχι χωρίς λόγο ξεκίνησα το άρθρο με τον επικεφαλής της Sberbank), οι τηλεπικοινωνίες, το λιανικό εμπόριο, τα ακίνητα και ... ο δημόσιος τομέας.

Για παράδειγμα, θα σας πω πιο αναλυτικά για μερικούς τομείς της οικονομίας που χρησιμοποιούν αλγόριθμους μεγάλων δεδομένων.

Τράπεζες

Ας ξεκινήσουμε με τις τράπεζες και τις πληροφορίες που συλλέγουν για εμάς και τις δραστηριότητές μας. Για παράδειγμα, πήρα τις TOP-5 ρωσικές τράπεζες που επενδύουν ενεργά σε μεγάλα δεδομένα:

1. Sberbank;
2. Gazprombank;
3. VTB 24;
4. Alfa Bank;
5. Τράπεζα Tinkoff.

Είναι ιδιαίτερα ευχάριστο να βλέπεις την Alfa Bank ανάμεσα στους Ρώσους ηγέτες. Τουλάχιστον, είναι ωραίο να γνωρίζετε ότι η τράπεζα, της οποίας είστε επίσημος συνεργάτης, κατανοεί την ανάγκη εισαγωγής νέων εργαλείων μάρκετινγκ στην εταιρεία σας.

Θέλω όμως να δείξω παραδείγματα χρήσης και επιτυχημένης εφαρμογής μεγάλων δεδομένων στην τράπεζα, τα οποία μου αρέσουν για τη μη τυπική εμφάνιση και τις ενέργειες του ιδρυτή της.

Μιλάω για την Tinkoff Bank. Το κύριο καθήκον τους ήταν να αναπτύξουν ένα σύστημα για την ανάλυση μεγάλων δεδομένων σε πραγματικό χρόνο λόγω της υπερβολικής πελατειακής βάσης.

Αποτελέσματα: ο χρόνος των εσωτερικών διεργασιών μειώθηκε κατά τουλάχιστον 10 φορές και για μερικούς - περισσότερο από 100 φορές.

Λοιπόν, μια μικρή απόσπαση της προσοχής. Ξέρετε γιατί άρχισα να μιλάω για τις μη τυπικές γελοιότητες και ενέργειες του Oleg Tinkov;

Απλώς, κατά τη γνώμη μου, ήταν αυτοί που τον βοήθησαν να μετατραπεί από επιχειρηματία της μεσαίας τάξης, από τους οποίους υπάρχουν χιλιάδες στη Ρωσία, σε έναν από τους πιο διάσημους και αναγνωρίσιμους επιχειρηματίες. Για να το αποδείξετε, δείτε αυτό το ασυνήθιστο και ενδιαφέρον βίντεο:

https://youtu.be/XHMaD5HAvfk

Ακίνητα

Στο real estate τα πράγματα είναι πολύ πιο περίπλοκα. Και αυτό ακριβώς είναι το παράδειγμα που θέλω να σας δώσω για να κατανοήσετε το μεγάλο ραντεβού στην κανονική επιχείρηση. Αρχικά δεδομένα:

1. Μεγάλος όγκος τεκμηρίωσης κειμένου.
2. Ανοιχτές πηγές (ιδιωτικοί δορυφόροι που μεταδίδουν δεδομένα αλλαγής της γης).
3. Ο τεράστιος όγκος ανεξέλεγκτων πληροφοριών στο Διαδίκτυο.
4. Συνεχείς αλλαγές σε πηγές και δεδομένα.

Και με βάση αυτό, είναι απαραίτητο να προετοιμαστεί και να αξιολογηθεί το κόστος ενός οικοπέδου, για παράδειγμα, κάτω από το χωριό Ural. Θα χρειαστεί μια εβδομάδα για έναν επαγγελματία.

Η Russian Society of Appraisers & ROSEKO, η οποία ουσιαστικά εφάρμοσε την ανάλυση μεγάλων δεδομένων με τη βοήθεια λογισμικού, δεν θα χρειαστεί περισσότερο από 30 λεπτά χαλαρής εργασίας. Συγκρίνετε, μια εβδομάδα και 30 λεπτά. Τεράστια διαφορά.

Λοιπόν, για ένα σνακ

Φυσικά, τεράστιες ποσότητες πληροφοριών δεν μπορούν να αποθηκευτούν και να υποβληθούν σε επεξεργασία σε απλούς σκληρούς δίσκους.

Και το λογισμικό που δομεί και αναλύει δεδομένα είναι γενικά πνευματική ιδιοκτησία και κάθε φορά είναι ανάπτυξη συγγραφέα. Ωστόσο, υπάρχουν εργαλεία με βάση τα οποία δημιουργείται όλη αυτή η γοητεία:

• Hadoop & MapReduce;
• NoSQL βάσεις δεδομένων.
• Εργαλεία της κλάσης Data Discovery.

Για να είμαι ειλικρινής, δεν μπορώ να σας εξηγήσω ξεκάθαρα πώς διαφέρουν μεταξύ τους, αφού η γνωριμία και η εργασία με αυτά τα πράγματα διδάσκονται σε φυσικά και μαθηματικά ινστιτούτα.

Γιατί τότε άρχισα να μιλάω για αυτό αν δεν μπορώ να το εξηγήσω; Θυμάστε σε όλες τις ταινίες οι ληστές μπαίνουν σε οποιαδήποτε τράπεζα και βλέπουν έναν τεράστιο αριθμό από κάθε είδους κομμάτια σιδήρου συνδεδεμένα με τα καλώδια;

Το ίδιο ισχύει και για τα μεγάλα δεδομένα. Για παράδειγμα, εδώ είναι ένα μοντέλο που είναι αυτή τη στιγμή ένας από τους πιο ηγέτες στην αγορά.

Εργαλείο μεγάλο ραντεβού

Το κόστος στη μέγιστη διαμόρφωση φτάνει τα 27 εκατομμύρια ρούβλια ανά ράφι. Αυτή είναι φυσικά η deluxe έκδοση. Εννοώ ότι προσπαθείτε να δημιουργήσετε μεγάλα δεδομένα στην επιχείρησή σας εκ των προτέρων.

Εν συντομία για το κύριο

Ίσως ρωτήσετε γιατί εσείς, οι μικρομεσαίες επιχειρήσεις, εργάζεστε με μεγάλα δεδομένα;

Σε αυτό θα σας απαντήσω με ένα απόσπασμα ενός ατόμου: «Στο εγγύς μέλλον, οι πελάτες θα έχουν ζήτηση για εταιρείες που κατανοούν καλύτερα τη συμπεριφορά, τις συνήθειές τους και ανταποκρίνονται όσο το δυνατόν περισσότερο σε αυτές».

Αλλά ας το παραδεχτούμε. Για την εφαρμογή μεγάλων δεδομένων σε μια μικρή επιχείρηση, είναι απαραίτητο να υπάρχουν όχι μόνο μεγάλοι προϋπολογισμοί για την ανάπτυξη και εφαρμογή λογισμικού, αλλά και για τη συντήρηση ειδικών, τουλάχιστον όπως ένας αναλυτής μεγάλων δεδομένων και ένας διαχειριστής συστήματος.

Και τώρα σιωπώ για το γεγονός ότι πρέπει να έχετε τέτοια δεδομένα για επεξεργασία.

ΕΝΤΑΞΕΙ. Για τις μικρές επιχειρήσεις, το θέμα σχεδόν δεν ισχύει. Αλλά αυτό δεν σημαίνει ότι πρέπει να ξεχάσετε όλα όσα διαβάσατε παραπάνω.

Απλώς μελετήστε όχι τα δικά σας δεδομένα, αλλά τα αποτελέσματα των αναλύσεων δεδομένων από γνωστές ξένες και ρωσικές εταιρείες.

Για παράδειγμα, η αλυσίδα λιανικής Target, χρησιμοποιώντας αναλυτικά στοιχεία μεγάλων δεδομένων, ανακάλυψε ότι οι έγκυες γυναίκες πριν από το δεύτερο τρίμηνο της εγκυμοσύνης (από την 1η έως τη 12η εβδομάδα της εγκυμοσύνης) αγοράζουν ενεργά προϊόντα χωρίς γεύση.

Με αυτά τα δεδομένα τους στέλνουν εκπτωτικά κουπόνια για προϊόντα χωρίς άρωμα με περιορισμένη ημερομηνία λήξης.

Και αν είστε απλώς ένα πολύ μικρό καφέ, για παράδειγμα; Ναι, πολύ απλό. Χρησιμοποιήστε μια εφαρμογή αφοσίωσης.

Και μετά από κάποιο χρονικό διάστημα και χάρη στις συσσωρευμένες πληροφορίες, θα μπορείτε όχι μόνο να προσφέρετε στους πελάτες πιάτα σχετικά με τις ανάγκες τους, αλλά και να δείτε τα πιο απούλητα και πιο περιθωριακά πιάτα με μερικά μόνο κλικ του ποντικιού.

Εξ ου και το συμπέρασμα. Δεν αξίζει σχεδόν καθόλου την εφαρμογή μεγάλων δεδομένων για μικρές επιχειρήσεις, αλλά η χρήση των αποτελεσμάτων και των εξελίξεων άλλων εταιρειών είναι απαραίτητη.

Τα μεγάλα δεδομένα, ή μεγάλα δεδομένα, είναι μια έννοια που χρησιμοποιείται στην τεχνολογία πληροφοριών και το μάρκετινγκ. Ο όρος "μεγάλα δεδομένα" χρησιμοποιείται για να ορίσει την ανάλυση και τη διαχείριση μεγάλων συνόλων δεδομένων. Έτσι, τα μεγάλα δεδομένα είναι πληροφορίες που, λόγω του μεγάλου όγκου τους, δεν μπορούν να υποστούν επεξεργασία με παραδοσιακούς τρόπους.

Η σύγχρονη ζωή δεν μπορεί να φανταστεί χωρίς ψηφιακές τεχνολογίες. Οι παγκόσμιες αποθήκες δεδομένων αναπληρώνονται συνεχώς και επομένως είναι επίσης απαραίτητο να αλλάζουμε συνεχώς τόσο τις συνθήκες αποθήκευσης πληροφοριών όσο και να αναζητούμε νέους τρόπους για την αύξηση του όγκου των φορέων της. Με βάση τη γνώμη των ειδικών, η αύξηση μεγάλα δεδομένακαι η αύξηση του ρυθμού ανάπτυξης είναι η τρέχουσα πραγματικότητα. Όπως ήδη αναφέρθηκε, οι πληροφορίες εμφανίζονται ασταμάτητα. Τεράστιοι όγκοι του παράγονται από ιστότοπους πληροφοριών, διάφορες υπηρεσίες κοινής χρήσης αρχείων και κοινωνικά δίκτυα, αλλά αυτό είναι μόνο ένα μικρό μέρος του συνολικού όγκου που παράγεται.

Η IDC Digital Universe, αφού διεξήγαγε μια μελέτη, δήλωσε ότι μέσα σε 5 χρόνια ο όγκος των δεδομένων γενικά σε ολόκληρη τη Γη θα φτάσει τα σαράντα zettabyte. Αυτό σημαίνει ότι για κάθε άτομο στον πλανήτη θα υπάρχουν 5200 GB πληροφοριών.

Το καλύτερο άρθρο του μήνα

Το πρώτο εξάμηνο του 2018 πλησιάζει στο τέλος του - ήρθε η ώρα να συνοψίσουμε τα ενδιάμεσα αποτελέσματα. Ακόμα κι αν η εμπορική απόδοση της εταιρείας έχει αυξηθεί σε σχέση με την προηγούμενη περίοδο, φροντίστε να μην υπάρχουν κρυφές δυσκολίες στη λειτουργία της εταιρείας που μπορεί να φέρουν προβλήματα.

Για να διαγνώσετε προβλήματα, συμπληρώστε τις λίστες ελέγχου από το άρθρο μας και μάθετε σε ποια πλευρά της επιχείρησης να δώσετε προσοχή.

Είναι γνωστό ότι οι άνθρωποι δεν είναι ο κύριος παραγωγός πληροφοριών. Η κύρια πηγή που φέρνει δεδομένα πληροφοριών είναι τα ρομπότ που αλληλεπιδρούν συνεχώς. Αυτά περιλαμβάνουν το λειτουργικό σύστημα υπολογιστών, tablet και κινητών τηλεφώνων, έξυπνα συστήματα, εργαλεία παρακολούθησης, συστήματα επιτήρησης και άλλα. Μαζί, καθορίζουν τον γρήγορο ρυθμό αύξησης της ποσότητας δεδομένων, πράγμα που σημαίνει ότι αυξάνεται η ανάγκη δημιουργίας πραγματικών και εικονικών διακομιστών. Μαζί, αυτό οδηγεί στην επέκταση και την εφαρμογή νέων κέντρων δεδομένων.

Τις περισσότερες φορές, τα μεγάλα δεδομένα ορίζονται ως πληροφορίες που είναι μεγαλύτερες από έναν σκληρό δίσκο υπολογιστή και επίσης δεν μπορούν να υποβληθούν σε επεξεργασία με παραδοσιακές μεθόδους που χρησιμοποιούνται για την επεξεργασία και την ανάλυση πληροφοριών με μικρότερο όγκο.

Συνοψίζοντας, η τεχνολογία επεξεργασίας μεγάλων δεδομένων καταλήγει τελικά σε 3 βασικούς τομείς, οι οποίοι, με τη σειρά τους, λύνουν 3 τύπους προβλημάτων:

1. Αποθήκευση και διαχείριση τεράστιων ποσοτήτων δεδομένων -μεγέθους εκατοντάδων terabyte και petabyte- που οι σχεσιακές βάσεις δεδομένων δεν μπορούν να χρησιμοποιήσουν αποτελεσματικά.
2. Οργάνωση αδόμητων πληροφοριών - κειμένων, εικόνων, βίντεο και άλλων τύπων δεδομένων.
3. Ανάλυση μεγάλων δεδομένων (big data analytics) - εδώ εξετάζουμε τον τρόπο εργασίας με μη δομημένες πληροφορίες και τη δημιουργία αναφορών αναλυτικών δεδομένων και την εισαγωγή προγνωστικών μοντέλων.

Αγορά Έργωνμεγάλοδεδομέναείναι στενά διασυνδεδεμένη με την αγορά VA - επιχειρηματική ευφυΐα, ο όγκος της οποίας το 2012 ανήλθε σε περίπου 100 δισεκατομμύρια δολάρια και περιλαμβάνει τεχνολογίες δικτύου, λογισμικό, τεχνικές υπηρεσίες και διακομιστές.

Η αυτοματοποίηση των δραστηριοτήτων της εταιρείας και ειδικότερα των λύσεων της κατηγορίας εγγυήσεων εισοδήματος (RA), είναι επίσης άρρηκτα συνδεδεμένη με τη χρήση τεχνολογιών μεγάλων δεδομένων. Σήμερα, τα συστήματα σε αυτόν τον τομέα περιέχουν εργαλεία που χρησιμοποιούνται για την ανίχνευση ασυνεπειών και για εις βάθος ανάλυση δεδομένων, καθώς και για τον εντοπισμό πιθανών απωλειών ή ανακρίβειων πληροφοριών που μπορούν να οδηγήσουν σε μείωση των αποτελεσμάτων του κλάδου.

Οι ρωσικές εταιρείες επιβεβαιώνουν ότι υπάρχει ζήτηση για τεχνολογίες μεγάλων δεδομένων, σημειώνουν ξεχωριστά ότι οι κύριοι παράγοντες που επηρεάζουν την ανάπτυξη μεγάλων δεδομένων στη Ρωσία είναι η αύξηση του όγκου των δεδομένων, η ταχεία λήψη αποφάσεων διαχείρισης και η αύξηση της ποιότητάς τους.

Τι ρόλο παίζουν τα μεγάλα δεδομένα στο μάρκετινγκ;

Δεν είναι μυστικό ότι οι πληροφορίες είναι ένα από τα κύρια συστατικά της επιτυχημένης πρόβλεψης και ανάπτυξης μιας στρατηγικής μάρκετινγκ, εάν ξέρετε πώς να τις χρησιμοποιήσετε.

Η ανάλυση μεγάλων δεδομένων είναι απαραίτητη για τον προσδιορισμό του κοινού-στόχου, των ενδιαφερόντων και της δραστηριότητάς του. Με άλλα λόγια, η επιδέξια χρήση των μεγάλων δεδομένων σας επιτρέπει να προβλέψετε με ακρίβεια την ανάπτυξη της εταιρείας.

Χρησιμοποιώντας, για παράδειγμα, το γνωστό μοντέλο δημοπρασίας RTB, με τη βοήθεια ανάλυσης μεγάλων δεδομένων, είναι εύκολο να γίνει έτσι ώστε η διαφήμιση να εμφανίζεται μόνο για εκείνους τους πιθανούς αγοραστές που ενδιαφέρονται να αγοράσουν μια υπηρεσία ή ένα προϊόν.

Εφαρμογήμεγάλα δεδομένα στο μάρκετινγκ:

1. Σας επιτρέπει να αναγνωρίζετε πιθανούς αγοραστές και να προσελκύετε το κατάλληλο κοινό στο Διαδίκτυο.
2. Συμβάλλει στην αξιολόγηση του βαθμού ικανοποίησης.
3. Βοηθά στην αντιστοίχιση της προσφερόμενης υπηρεσίας με τις ανάγκες του αγοραστή.
4. Διευκολύνει την αναζήτηση και εφαρμογή νέων μεθόδων για την αύξηση της αφοσίωσης των πελατών.
5. Απλοποιεί τη δημιουργία έργων που αργότερα θα έχουν ζήτηση.

Ένα συγκεκριμένο παράδειγμα είναι η υπηρεσία Google.trends. Με τη βοήθειά του, ο έμπορος θα είναι σε θέση να προσδιορίσει την πρόβλεψη για την εποχή σχετικά με ένα συγκεκριμένο προϊόν, τη γεωγραφία των κλικ και τις διακυμάνσεις. Έτσι, συγκρίνοντας τις πληροφορίες που λαμβάνετε με τα στατιστικά στοιχεία του δικού σας ιστότοπου, είναι πολύ εύκολο να δημιουργήσετε έναν διαφημιστικό προϋπολογισμό που υποδεικνύει την περιοχή και τον μήνα.

• Κατανομή του διαφημιστικού προϋπολογισμού: σε τι αξίζει να ξοδέψετε χρήματα
l>

Πώς και πού να αποθηκεύσετε μεγάλα δεδομένα

Σύστημα αρχείων- εδώ οργανώνονται και αποθηκεύονται τα μεγάλα δεδομένα. Όλες οι πληροφορίες βρίσκονται σε μεγάλο αριθμό σκληρών δίσκων σε υπολογιστή.

"Χάρτης"- χάρτης - παρακολουθεί πού αποθηκεύεται άμεσα κάθε πληροφορία.

Προκειμένου να ασφαλιστείτε έναντι απρόβλεπτων περιστάσεων, είναι σύνηθες να αποθηκεύετε καθεμία από τις πληροφορίες πολλές φορές - συνιστάται να το κάνετε αυτό τρείς φορές.

Για παράδειγμα, μετά τη συλλογή μεμονωμένων συναλλαγών σε ένα δίκτυο λιανικής, όλες οι πληροφορίες για κάθε μεμονωμένη συναλλαγή θα αποθηκευτούν σε πολλούς διακομιστές και σκληρούς δίσκους και ο «χάρτης» θα ευρετηριάσει τη θέση του αρχείου για κάθε συγκεκριμένη συναλλαγή.

Για να οργανώσετε την αποθήκευση δεδομένων σε μεγάλους όγκους, μπορείτε να χρησιμοποιήσετε τυπικό υλικό και λογισμικό που είναι δημόσιο τομέα (για παράδειγμα, Hadoop).

Μεγάλα δεδομένα και επιχειρηματική ευφυΐα: η διαφορά μεταξύ των εννοιών

Σήμερα, η επιχειρηματική ανάλυση είναι μια περιγραφική διαδικασία των αποτελεσμάτων που έχουν επιτευχθεί σε μια συγκεκριμένη χρονική περίοδο. Η ταχύτητα λειτουργίας για την επεξεργασία μεγάλων δεδομένων καθιστά την ανάλυση προγνωστική. Οι συστάσεις του μπορούν να βασιστούν στο μέλλον. Οι τεχνολογίες μεγάλων δεδομένων καθιστούν δυνατή την ανάλυση περισσότερων τύπων δεδομένων σε σύγκριση με τα εργαλεία και τα εργαλεία που χρησιμοποιούνται στην επιχειρηματική ευφυΐα. Αυτό επιτρέπει όχι μόνο την εστίαση σε αποθηκευτικούς χώρους όπου είναι δομημένα τα δεδομένα, αλλά και τη χρήση πολύ ευρύτερων πόρων.

Η επιχειρηματική ευφυΐα και τα μεγάλα δεδομένα είναι παρόμοια από πολλές απόψεις, αλλά υπάρχουν οι ακόλουθες διαφορές:

• Τα μεγάλα δεδομένα χρησιμοποιούνται για την επεξεργασία μιας ποσότητας πληροφοριών που είναι πολύ μεγαλύτερη από την επιχειρηματική ευφυΐα, η οποία καθορίζει την ίδια την έννοια των μεγάλων δεδομένων.
• Με τη βοήθεια μεγάλων δεδομένων, μπορείτε να επεξεργάζεστε γρήγορα δεδομένα που λαμβάνονται και αλλάζουν, γεγονός που οδηγεί σε διαδραστικότητα, δηλαδή στις περισσότερες περιπτώσεις, η ταχύτητα φόρτωσης μιας ιστοσελίδας είναι μικρότερη από την ταχύτητα δημιουργίας αποτελεσμάτων.
• Τα μεγάλα δεδομένα μπορούν να χρησιμοποιηθούν για την επεξεργασία δεδομένων που δεν έχουν δομή, η εργασία με την οποία θα πρέπει να ξεκινήσει μόνο αφού διασφαλιστεί η αποθήκευση και η συλλογή τους. Επιπλέον, είναι απαραίτητο να εφαρμοστούν αλγόριθμοι που μπορούν να αναγνωρίσουν τα κύρια μοτίβα στους δημιουργημένους πίνακες.

Η διαδικασία της ανάλυσης επιχειρήσεων έχει ελάχιστη ομοιότητα με τη δουλειά των μεγάλων δεδομένων. Κατά κανόνα, είναι σύνηθες για τους επιχειρησιακούς αναλυτές να λαμβάνουν το αποτέλεσμα αθροίζοντας συγκεκριμένες αξίες: ένα παράδειγμα είναι ο ετήσιος όγκος πωλήσεων, που υπολογίζεται ως το άθροισμα όλων των τιμολογίων που έχουν πληρωθεί. Στη διαδικασία εργασίας με μεγάλα δεδομένα, ο υπολογισμός πραγματοποιείται με την κατασκευή ενός μοντέλου σε στάδια:

• διατυπώνοντας μια υπόθεση·
• κατασκευή ενός στατικού, οπτικού και σημασιολογικού μοντέλου.
• Έλεγχος της εγκυρότητας της υπόθεσης που βασίζεται σε αυτά τα μοντέλα.
• προβάλλοντας την ακόλουθη υπόθεση.

Για τη διεξαγωγή ενός πλήρους κύκλου έρευνας, είναι απαραίτητο να ερμηνευτούν οπτικές αξίες (διαδραστικά ερωτήματα βασισμένα στη γνώση). Είναι επίσης δυνατό να αναπτυχθεί ένας προσαρμοστικός αλγόριθμος μηχανικής μάθησης.

Γνώμη ειδικού

Μην βασίζεστε τυφλά στις απόψεις των αναλυτών

Βιάτσεσλαβ Ναζάροφ,

Γενικός Διευθυντής του ρωσικού γραφείου αντιπροσωπείας της Archos, Μόσχα

Πριν από περίπου ένα χρόνο, βασιζόμενοι στη γνώμη των ειδικών, λανσάραμε στην αγορά ένα εντελώς νέο tablet, μια κονσόλα παιχνιδιών. Η συμπαγής συμπεριφορά και η επαρκής τεχνική ισχύς έχουν βρει την αναγνώρισή τους μεταξύ των οπαδών των παιχνιδιών υπολογιστή. Να σημειωθεί ότι ο όμιλος αυτός, παρά τη «στενότητά» του, είχε αρκετά υψηλή αγοραστική δύναμη. Αρχικά, η καινοτομία συγκέντρωσε πολλές θετικές κριτικές στα μέσα ενημέρωσης και έλαβε μια εγκριτική αξιολόγηση από τους συνεργάτες μας. Ωστόσο, σύντομα έγινε σαφές ότι οι πωλήσεις του tablet είναι αρκετά χαμηλές. Η λύση δεν βρήκε ποτέ τη μαζική της δημοτικότητα.

Λάθος. Το μειονέκτημά μας ήταν ότι τα ενδιαφέροντα του κοινού-στόχου δεν μελετήθηκαν μέχρι τέλους. Οι χρήστες που προτιμούν να παίζουν σε tablet δεν χρειάζονται σούπερ γραφικά καθώς παίζουν κυρίως απλά παιχνίδια. Οι σοβαροί παίκτες έχουν ήδη συνηθίσει να παίζουν σε υπολογιστή σε πιο προηγμένες πλατφόρμες. Δεν υπήρχε μαζική διαφήμιση του προϊόντος μας, η καμπάνια μάρκετινγκ ήταν επίσης αδύναμη και τελικά, το tablet δεν βρήκε τον αγοραστή του σε καμία από τις αναφερόμενες ομάδες.

Συνέπειες. Η παραγωγή του προϊόντος έπρεπε να μειωθεί σχεδόν κατά 40% σε σύγκριση με τους αρχικά προγραμματισμένους όγκους. Φυσικά δεν υπήρξαν μεγάλες ζημιές, όπως και το προβλεπόμενο κέρδος. Ωστόσο, αυτό μας ανάγκασε να προσαρμόσουμε ορισμένους στρατηγικούς στόχους. Το πολυτιμότερο πράγμα που έχουμε χάσει ανεπανόρθωτα είναι ο χρόνος μας.

Συμβουλή. Πρέπει να σκεφτείς μπροστά. Οι σειρές προϊόντων πρέπει να υπολογίζονται δύο ή τρία βήματα μπροστά. Τι σημαίνει? Κατά την κυκλοφορία μιας σειράς μοντέλων σήμερα, είναι επιθυμητό να κατανοήσουμε την τύχη της αύριο και να έχουμε τουλάχιστον μια κατά προσέγγιση εικόνα για το τι θα συμβεί σε ενάμιση χρόνο. Φυσικά, η πλήρης λεπτομέρεια είναι απίθανη, αλλά χρειάζεται ακόμη να καταρτιστεί ένα βασικό σχέδιο.

Και όμως δεν πρέπει να εμπιστεύεστε πλήρως και πλήρως τους αναλυτές. Οι εκτιμήσεις των εμπειρογνωμόνων θα πρέπει να είναι ανάλογες με τα δικά τους στατιστικά στοιχεία, καθώς και με την επιχειρησιακή κατάσταση στην αγορά. Εάν το προϊόν σας δεν έχει αναπτυχθεί πλήρως, δεν πρέπει να το κυκλοφορήσετε στην αγορά, γιατί για τον αγοραστή η πρώτη εντύπωση είναι η πιο σημαντική και τότε θα είναι δύσκολο να τον πείσετε για το αντίθετο.

Μια πολύ σημαντική συμβουλή σε περίπτωση αποτυχίας είναι η ταχύτητα λήψης αποφάσεων. Δεν μπορείς απλά να παρακολουθείς και να περιμένεις. Η επίλυση ενός προβλήματος στο hot pursuit είναι πάντα πολύ πιο εύκολη και φθηνότερη από την επίλυση ενός προβλήματος που τρέχει.

Τι προβλήματα δημιουργεί το σύστημα μεγάλων δεδομένων;

Υπάρχουν τρεις κύριες ομάδες προβλημάτων συστημάτων μεγάλων δεδομένων, τα οποία στην ξένη βιβλιογραφία συνδυάζονται σε 3V - Volume, Velocity και Variety, δηλαδή:

1. Ενταση ΗΧΟΥ.
2. Ταχύτητα επεξεργασίας.
3. Μη δομημένο.

Το θέμα της αποθήκευσης μεγάλου όγκου πληροφοριών συνδέεται με την ανάγκη οργάνωσης ορισμένων συνθηκών, δηλαδή με τη δημιουργία χώρου και ευκαιριών. Όσο για την ταχύτητα, συνδέεται όχι τόσο με επιβραδύνσεις και φρενάρισμα κατά τη χρήση απαρχαιωμένων μεθόδων επεξεργασίας, αλλά με διαδραστικότητα: το αποτέλεσμα είναι πιο παραγωγικό, τόσο πιο γρήγορη είναι η επεξεργασία των πληροφοριών.

1. Το πρόβλημα της μη δομής προέρχεται από τον διαχωρισμό των πηγών, τη μορφή και την ποιότητά τους. Η επιτυχής συγκέντρωση και επεξεργασία μεγάλων δεδομένων απαιτεί τόσο προετοιμασία όσο και αναλυτικά εργαλεία ή συστήματα.
2. Μεγάλη επιρροή έχει και το όριο της «αξίας» των δεδομένων. Είναι μάλλον δύσκολο να προσδιοριστεί η αξία και σε αυτή τη βάση είναι προβληματικό να υπολογίσουμε ποιες οικονομικές επενδύσεις θα απαιτηθούν και ποιες τεχνολογίες θα χρειαστούν. Ωστόσο, για ορισμένες ποσότητες, για παράδειγμα, terabytes, σήμερα εφαρμόζονται με επιτυχία νέες μέθοδοι επεξεργασίας, οι οποίες βελτιώνονται συνεχώς.
3. Η έλλειψη γενικά αποδεκτών αρχών για την εργασία με μεγάλα δεδομένα είναι ένα άλλο πρόβλημα που περιπλέκεται από την προαναφερθείσα ετερογένεια των ροών. Για την επίλυση αυτού του προβλήματος, δημιουργούνται νέες μέθοδοι ανάλυσης μεγάλων δεδομένων. Με βάση τις δηλώσεις εκπροσώπων των πανεπιστημίων της Νέας Υόρκης, της Ουάσιγκτον και της Καλιφόρνια, η δημιουργία ενός ξεχωριστού κλάδου και ακόμη και της επιστήμης των μεγάλων δεδομένων δεν απέχει πολύ. Αυτός είναι ο κύριος λόγος που οι εταιρείες δεν βιάζονται να εισαγάγουν έργα που σχετίζονται με τα μεγάλα δεδομένα. Ένας άλλος παράγοντας είναι το υψηλό κόστος.
4. Οι δυσκολίες προκαλούν επίσης την επιλογή των δεδομένων για ανάλυση και τον αλγόριθμο των ενεργειών. Μέχρι σήμερα, δεν έχει γίνει κατανοητό ποια δεδομένα φέρουν πολύτιμες πληροφορίες και απαιτούν αναλυτικά στοιχεία μεγάλων δεδομένων και ποια μπορούν να αγνοηθούν. Σε αυτήν την κατάσταση, ένα ακόμη πράγμα γίνεται σαφές - δεν υπάρχουν αρκετοί επαγγελματίες του κλάδου στην αγορά που μπορούν να αντιμετωπίσουν σε βάθος ανάλυση, να κάνουν μια αναφορά για τη λύση του προβλήματος και, κατά συνέπεια, να αποφέρουν κέρδος.
5. Υπάρχει επίσης μια ηθική πλευρά στο ερώτημα: διαφέρει η συλλογή δεδομένων χωρίς τη γνώση του χρήστη από μια κατάφωρη παραβίαση της ιδιωτικής ζωής; Αξίζει να σημειωθεί ότι η συλλογή δεδομένων βελτιώνει την ποιότητα ζωής: για παράδειγμα, η συνεχής συλλογή δεδομένων στα συστήματα Google και Yandex βοηθά τις εταιρείες να βελτιώσουν τις υπηρεσίες τους ανάλογα με τις ανάγκες των καταναλωτών. Τα συστήματα αυτών των υπηρεσιών καταγράφουν κάθε κλικ του χρήστη, την τοποθεσία του και τους ιστότοπους που επισκέπτεται, όλα τα μηνύματα και τις αγορές - και όλα αυτά καθιστούν δυνατή την προβολή διαφημίσεων με βάση τη συμπεριφορά του χρήστη. Ο χρήστης δεν έδωσε τη συγκατάθεσή του για τη συλλογή δεδομένων: τέτοια επιλογή δεν δόθηκε. Αυτό οδηγεί στο επόμενο πρόβλημα: πόσο ασφαλείς αποθηκεύονται οι πληροφορίες; Για παράδειγμα, πληροφορίες σχετικά με πιθανούς αγοραστές, το ιστορικό των αγορών τους και τις μεταβάσεις τους σε διάφορους ιστότοπους μπορούν να βοηθήσουν στην επίλυση πολλών επιχειρηματικών προβλημάτων, αλλά αν η πλατφόρμα που χρησιμοποιούν οι αγοραστές είναι ασφαλής είναι ένα πολύ αμφιλεγόμενο ζήτημα. Πολλοί κάνουν έκκληση στο γεγονός ότι σήμερα καμία αποθήκευση δεδομένων - ούτε καν οι διακομιστές στρατιωτικών υπηρεσιών - δεν προστατεύεται επαρκώς από επιθέσεις χάκερ.

• Εμπορικό μυστικό: προστασία και κυρώσεις για αποκάλυψη

Σταδιακή χρήση μεγάλων δεδομένων

Στάδιο 1. Τεχνολογική υλοποίηση της εταιρείας σε στρατηγικό έργο.

Τα καθήκοντα των ειδικών τεχνικών περιλαμβάνουν μια προκαταρκτική μελέτη της ιδέας ανάπτυξης: μια ανάλυση των διαδρομών ανάπτυξης για περιοχές που το χρειάζονται περισσότερο.

Για τον προσδιορισμό της σύνθεσης και των εργασιών, διεξάγεται μια συνομιλία με τους πελάτες, ως αποτέλεσμα της οποίας αναλύονται οι απαιτούμενοι πόροι. Παράλληλα, ο οργανισμός αποφασίζει να αναθέσει σε εξωτερικούς συνεργάτες πλήρως όλες τις εργασίες ή να δημιουργήσει μια υβριδική ομάδα αποτελούμενη από ειδικούς από αυτόν και οποιονδήποτε άλλο οργανισμό.

Σύμφωνα με στατιστικά στοιχεία, ένας μεγάλος αριθμός εταιρειών χρησιμοποιεί ακριβώς ένα τέτοιο σχέδιο: την παρουσία μιας ομάδας εμπειρογνωμόνων μέσα, τον έλεγχο της ποιότητας της εργασίας και τη διαμόρφωση του κινήματος, και έξω, πραγματοποιώντας μια άμεση δοκιμή υποθέσεων σχετικά με την ανάπτυξη οποιουδήποτε κατεύθυνση.

Στάδιο 2. Αναζήτηση για μηχανικό δεδομένων.

Ο επικεφαλής συγκεντρώνει το προσωπικό των εργαζομένων συλλογικά. Είναι επίσης υπεύθυνος για την ανάπτυξη του έργου. Οι υπάλληλοι ανθρώπινου δυναμικού διαδραματίζουν άμεσο ρόλο στη δημιουργία μιας εσωτερικής ομάδας.

Πρώτα από όλα, μια τέτοια ομάδα χρειάζεται έναν αναλυτή δεδομένων, αυτός είναι επιστήμονας δεδομένων, ο οποίος θα ασχοληθεί με το έργο του σχηματισμού υποθέσεων και της ανάλυσης της συστοιχίας των πληροφοριών. Οι συσχετισμοί που περιέγραψε θα χρησιμοποιηθούν στο μέλλον για τη βάση νέων προϊόντων και υπηρεσιών.

Είναι ιδιαίτερα σημαντικό στα αρχικά στάδια καθήκον του τμήματος HR. Οι υπάλληλοί της αποφασίζουν ποιος ακριβώς θα κάνει τη δουλειά που στοχεύει στην ανάπτυξη του έργου, πού θα το αποκτήσει και πώς θα το παρακινήσει. Ένας αναλυτής δεδομένων δεν είναι εύκολο να βρεθεί, επομένως αυτό είναι ένα "προϊόν κομματιού".

Κάθε σοβαρή εταιρεία πρέπει να έχει έναν ειδικό αυτού του προφίλ, διαφορετικά χάνεται η εστίαση του έργου. Αναλυτής μηχανικός συνολικά: προγραμματιστής, αναλυτής και αναλυτής επιχειρήσεων. Επιπλέον, πρέπει να έχει επικοινωνιακές δεξιότητες για να δείξει τα αποτελέσματα των δραστηριοτήτων του και απόθεμα γνώσεων και δεξιοτήτων για λεπτομερή εξήγηση των σκέψεών του.

• 24 σκέψεις που ξεκινούν μεγάλες αλλαγές στη ζωή

Παραδείγματα αναζήτησης

1. Μια εταιρεία ταξί «Big Data» οργανώθηκε στη Μόσχα. Κατά τη διάρκεια της διαδρομής, οι επιβάτες απαντούσαν σε εργασίες από τον τομέα της επαγγελματικής ανάλυσης. Σε περίπτωση που ο επιβάτης απαντούσε σωστά στις περισσότερες ερωτήσεις, η εταιρεία του πρότεινε δουλειά. Το κύριο μειονέκτημα αυτής της τεχνικής πρόσληψης είναι η απροθυμία της πλειοψηφίας να συμμετάσχει σε τέτοια έργα. Μόνο λίγοι συμφώνησαν στη συνέντευξη.

2. Διεξαγωγή ειδικού διαγωνισμού επιχειρηματικής ευφυΐας με κάποιου είδους έπαθλο. Μια μεγάλη ρωσική τράπεζα χρησιμοποίησε αυτή τη μέθοδο. Ως αποτέλεσμα, περισσότερα από 1000 άτομα συμμετείχαν στον διαγωνισμό hackathon. Σε όσους πέτυχαν την υψηλότερη επιτυχία στον διαγωνισμό προσφέρθηκε δουλειά. Δυστυχώς, οι περισσότεροι νικητές δεν εξέφρασαν την επιθυμία να λάβουν θέση, αφού το μόνο τους κίνητρο ήταν το έπαθλο. Ωστόσο, λίγοι άνθρωποι συμφώνησαν να εργαστούν σε μια ομάδα.

3. Αναζήτηση στο περιβάλλον ειδικών δεδομένων που κατανοούν τις επιχειρηματικές αναλύσεις και είναι σε θέση να βάλουν τα πράγματα σε τάξη χτίζοντας τον σωστό αλγόριθμο ενεργειών. Οι απαραίτητες δεξιότητες ενός ειδικού αναλυτή περιλαμβάνουν: προγραμματισμό, γνώση Python, R, Statistica, Rapidminer και άλλες εξίσου σημαντικές γνώσεις για έναν επιχειρησιακό αναλυτή.

Στάδιο 3. Δημιουργία ομάδας για ανάπτυξη.

Χρειάζεται συντονισμένη ομάδα. Όταν εξετάζετε προηγμένα αναλυτικά στοιχεία, όπως η καινοτόμος ανάπτυξη μιας εταιρείας, ένας διευθυντής θα πρέπει να δημιουργήσει και να αναπτύξει επιχειρηματική ευφυΐα.

Ερευνητής Μηχανικόςασχολείται με την κατασκευή και τον έλεγχο υποθέσεων για την επιτυχή ανάπτυξη του επιλεγμένου διανύσματος.

Κεφάλιείναι απαραίτητο να οργανωθεί η ανάπτυξη της επιλεγμένης επιχειρηματικής περιοχής, να δημιουργηθούν νέα προϊόντα και να συντονιστούν με τους πελάτες. Στα καθήκοντά του, επιπλέον, περιλαμβάνεται και ο υπολογισμός των επιχειρηματικών υποθέσεων.

Υπεύθυνος ανάπτυξηςπρέπει να συνεργαστεί στενά με όλους. Ο μηχανικός αναλυτής και ο διευθυντής επιχειρηματικής ανάπτυξης ανακαλύπτουν τις ανάγκες και τις ευκαιρίες για ανάλυση μεγάλων δεδομένων μέσω συναντήσεων με υπαλλήλους που είναι υπεύθυνοι για διάφορους τομείς του έργου. Αφού αναλύσει την κατάσταση, ο διευθυντής δημιουργεί περιπτώσεις, χάρη στις οποίες η εταιρεία θα λάβει αποφάσεις για την περαιτέρω ανάπτυξη μιας κατεύθυνσης, μιας υπηρεσίας ή ενός προϊόντος.

• Υπεύθυνος ανάπτυξης: απαιτήσεις και περιγραφή θέσης εργασίας

3 αρχές εργασίας με βigρεata

Μπορούμε να διακρίνουμε τις κύριες μεθόδους εργασίας με μεγάλα δεδομένα:

1. Οριζόντια επεκτασιμότητα.Λόγω του ότι πρέπει να υπάρχει τεράστιος όγκος δεδομένων, κάθε σύστημα που επεξεργάζεται μεγάλο όγκο πληροφοριών θα είναι επεκτάσιμο. Για παράδειγμα, εάν ο όγκος των δεδομένων έχει αυξηθεί πολλές φορές, ο όγκος του υλικού στο σύμπλεγμα έχει αυξηθεί κατά το ίδιο ποσό.
2. Ανοχή σε σφάλματα.Με βάση την αρχή της οριζόντιας επεκτασιμότητας, μπορούμε να συμπεράνουμε ότι υπάρχει μεγάλος αριθμός μηχανών στο σύμπλεγμα. Για παράδειγμα, το σύμπλεγμα Hadoop της Yahoo έχει περισσότερα από 42.000 από αυτά. Όλες οι μέθοδοι εργασίας με μεγάλα δεδομένα πρέπει να λαμβάνουν υπόψη πιθανές αποτυχίες και να αναζητούν τρόπους αντιμετώπισης προβλημάτων χωρίς συνέπειες.
3. Τοπικότητα δεδομένων.Τα δεδομένα που αποθηκεύονται σε μεγάλα συστήματα διανέμονται σε έναν αρκετά μεγάλο αριθμό μηχανών. Επομένως, σε μια κατάσταση όπου τα δεδομένα αποθηκεύονται στον διακομιστή Νο. 1 και υποβάλλονται σε επεξεργασία στον διακομιστή Νο. 2, δεν μπορεί να αποκλειστεί η πιθανότητα η μετάδοσή τους να κοστίσει περισσότερο από την επεξεργασία. Γι' αυτό, κατά το σχεδιασμό, δίνεται μεγάλη προσοχή στη διασφάλιση ότι τα δεδομένα αποθηκεύονται και υποβάλλονται σε επεξεργασία σε έναν υπολογιστή.

Όλες οι μέθοδοι εργασίας με μεγάλα δεδομένα, με τον ένα ή τον άλλο τρόπο, τηρούν αυτές τις τρεις αρχές.

Πώς να χρησιμοποιήσετε το σύστημα μεγάλων δεδομένων

Ισχυρές λύσεις μεγάλων δεδομένων για ένα ευρύ φάσμα επιχειρήσεων ενεργοποιούνται από τους πολλούς συνδυασμούς λογισμικού και υλικού που είναι διαθέσιμοι σήμερα.

Σημαντική Αξιοπρέπειαμεγάλοδεδομένα- τη δυνατότητα εφαρμογής νέων εργαλείων με αυτά που χρησιμοποιούνται ήδη σε αυτόν τον τομέα. Αυτό διαδραματίζει ιδιαίτερα σημαντικό ρόλο στην κατάσταση με τα διεπιστημονικά έργα. Παραδείγματα περιλαμβάνουν πωλήσεις πολλαπλών καναλιών και υποστήριξη καταναλωτών.

Για να εργαστείτε με μεγάλα δεδομένα, μια συγκεκριμένη σειρά είναι σημαντική:

• Τα δεδομένα συλλέγονται πρώτα.
• τότε οι πληροφορίες δομούνται. Για το σκοπό αυτό χρησιμοποιούνται πίνακες εργαλείων ( Πίνακες ελέγχου -εργαλεία δόμησης?
• στο επόμενο στάδιο, δημιουργούνται ιδέες και πλαίσια, βάσει των οποίων διαμορφώνονται συστάσεις για τη λήψη αποφάσεων. Λόγω του υψηλού κόστους συλλογής δεδομένων, το κύριο καθήκον είναι να προσδιοριστεί ο σκοπός χρήσης των πληροφοριών που λαμβάνονται.

Παράδειγμα.Οι διαφημιστικές εταιρείες μπορούν να χρησιμοποιούν συγκεντρωτικές πληροφορίες τοποθεσίας μέσω τηλεπικοινωνιών. Αυτή η προσέγγιση θα παρέχει στοχευμένη διαφήμιση. Οι ίδιες πληροφορίες ισχύουν και σε άλλους τομείς που σχετίζονται με την παροχή και την πώληση υπηρεσιών και αγαθών.

Οι πληροφορίες που λαμβάνονται με αυτόν τον τρόπο μπορούν να είναι βασικές για να αποφασίσετε εάν θα ανοίξετε ένα κατάστημα σε μια συγκεκριμένη περιοχή.

Αν αναλογιστούμε την περίπτωση χρήσης εξωτερικών πινακίδων στο Λονδίνο, δεν υπάρχει αμφιβολία ότι σήμερα μια τέτοια εμπειρία είναι δυνατή μόνο εάν τοποθετηθεί μια ειδική συσκευή μέτρησης κοντά σε κάθε διαφημιστική πινακίδα. Ταυτόχρονα, οι πάροχοι κινητής τηλεφωνίας γνωρίζουν πάντα τις βασικές πληροφορίες για τους συνδρομητές τους: την τοποθεσία τους, την οικογενειακή τους κατάσταση και ούτω καθεξής.

Ένας άλλος πιθανός τομέας εφαρμογής μεγάλων δεδομένων είναι η συλλογή πληροφοριών σχετικά με τον αριθμό των επισκεπτών σε διάφορες εκδηλώσεις.

Παράδειγμα.Οι διοργανωτές ποδοσφαιρικών αγώνων δεν είναι σε θέση να γνωρίζουν εκ των προτέρων τον ακριβή αριθμό των ατόμων που ήρθαν στον αγώνα. Ωστόσο, θα λάμβαναν τέτοιες πληροφορίες εάν χρησιμοποιούν πληροφορίες από παρόχους κινητής τηλεφωνίας: πού βρίσκονται οι πιθανοί επισκέπτες για μια συγκεκριμένη χρονική περίοδο - ένα μήνα, μια εβδομάδα, μια ημέρα - πριν από τον αγώνα. Αποδεικνύεται ότι οι διοργανωτές θα έχουν την ευκαιρία να σχεδιάσουν την τοποθεσία της εκδήλωσης, ανάλογα με τις προτιμήσεις του κοινού-στόχου.

Τα μεγάλα δεδομένα παρέχουν επίσης ασύγκριτα πλεονεκτήματα για τον τραπεζικό τομέα, ο οποίος μπορεί να χρησιμοποιήσει τα επεξεργασμένα δεδομένα για να εντοπίσει αδίστακτους κατόχους καρτών.

Παράδειγμα.Όταν ο κάτοχος της κάρτας ισχυρίζεται ότι η κάρτα έχει χαθεί ή κλαπεί, η τράπεζα έχει τη δυνατότητα να παρακολουθεί τη θέση της κάρτας που χρησιμοποιείται για διακανονισμό και το κινητό τηλέφωνο του κατόχου προκειμένου να επαληθεύσει την αλήθεια των πληροφοριών. Έτσι, ο εκπρόσωπος της τράπεζας έχει τη δυνατότητα να δει ότι η κάρτα πληρωμής και το κινητό τηλέφωνο του κατόχου βρίσκονται στην ίδια ζώνη. Έτσι - η κάρτα χρησιμοποιείται από τον ιδιοκτήτη.

Με τα οφέλη αυτού του είδους, η χρήση πληροφοριών παρέχει στις εταιρείες πολλές νέες ευκαιρίες και η αγορά μεγάλων δεδομένων συνεχίζει να εξελίσσεται.

Η κύρια δυσκολία στην υλοποίηση μεγάλων δεδομένων είναι η πολυπλοκότητα του υπολογισμού των περιπτώσεων. Αυτή η διαδικασία περιπλέκεται από την παρουσία μεγάλου αριθμού αγνώστων.

Είναι αρκετά δύσκολο να γίνουν προβλέψεις για το μέλλον, ενώ τα δεδομένα για το παρελθόν δεν βρίσκονται πάντα στη ζώνη πρόσβασης. Σε αυτή την κατάσταση, το πιο σημαντικό σχεδιάζετε τις αρχικές σας ενέργειες:

1. Ο ορισμός ενός συγκεκριμένου ζητήματος, στην επίλυση του οποίου θα εφαρμοστεί η τεχνολογία επεξεργασίας μεγάλων δεδομένων, θα βοηθήσει στον προσδιορισμό της έννοιας και στον καθορισμό του φορέα για περαιτέρω ενέργειες. Έχοντας επικεντρωθεί στη συλλογή πληροφοριών για το συγκεκριμένο θέμα, αξίζει επίσης να χρησιμοποιήσετε όλα τα διαθέσιμα εργαλεία και μεθόδους για να έχετε μια σαφέστερη εικόνα. Επιπλέον, αυτή η προσέγγιση θα διευκολύνει σημαντικά τη διαδικασία λήψης αποφάσεων στο μέλλον.
2. Η πιθανότητα ένα έργο μεγάλων δεδομένων να υλοποιηθεί από μια ομάδα χωρίς συγκεκριμένες δεξιότητες και εμπειρία είναι εξαιρετικά μικρή. Οι γνώσεις που πρέπει να χρησιμοποιηθούν σε μια τόσο πολύπλοκη μελέτη συνήθως αποκτώνται μέσα από μακροχρόνια εργασία, γι' αυτό και η προηγούμενη εμπειρία είναι τόσο σημαντική σε αυτόν τον τομέα. Είναι δύσκολο να υπερεκτιμηθεί ο αντίκτυπος της κουλτούρας της χρήσης πληροφοριών που λαμβάνονται μέσω αυτής της έρευνας. Παρέχουν διάφορες ευκαιρίες, συμπεριλαμβανομένης της κατάχρησης του ληφθέντος υλικού. Για να χρησιμοποιήσετε τις πληροφορίες για καλό, θα πρέπει να ακολουθείτε τους στοιχειώδεις κανόνες της σωστής επεξεργασίας δεδομένων.
3. Οι πληροφορίες είναι η βασική αξία της τεχνολογίας. Η αγορά εξακολουθεί να αντιμετωπίζει έντονη έλλειψη ισχυρών επαγγελματιών - εκείνων που κατανοούν τους νόμους της επιχειρηματικής δραστηριότητας, τη σημασία των πληροφοριών και το εύρος της εφαρμογής τους. Είναι αδύνατο να μην λάβετε υπόψη το γεγονός ότι η ανάλυση δεδομένων είναι ένας βασικός τρόπος για να επιτύχετε τους στόχους σας και να αναπτύξετε την επιχείρησή σας, πρέπει να προσπαθήσετε να αναπτύξετε ένα συγκεκριμένο μοντέλο συμπεριφοράς και αντίληψης. Σε αυτή την περίπτωση, τα μεγάλα δεδομένα θα είναι χρήσιμα και θα διαδραματίσουν θετικό ρόλο στην επίλυση επιχειρηματικών θεμάτων.

Επιτυχείς περιπτώσεις υλοποίησης μεγάλων δεδομένων

Ορισμένες από τις περιπτώσεις που αναφέρονται παρακάτω ήταν πιο επιτυχημένες στη συλλογή δεδομένων, άλλες ήταν καλύτερες στην ανάλυση μεγάλων δεδομένων και στους τρόπους εφαρμογής των δεδομένων που ελήφθησαν κατά τη διάρκεια της μελέτης.

1. « Tinkoff Credit Systems» χρησιμοποίησε την πλατφόρμα EMC2 Greenplum για μαζικά παράλληλους υπολογιστές. Λόγω της συνεχούς αύξησης της ροής των χρηστών καρτών στην τράπεζα, κατέστη αναγκαίο να γίνει ταχύτερη η επεξεργασία των δεδομένων. Αποφασίστηκε η χρήση μεγάλων δεδομένων και η εργασία με μη δομημένες πληροφορίες, καθώς και εταιρικές πληροφορίες που ελήφθησαν από διαφορετικές πηγές. Το γεγονός ότι ένα αναλυτικό επίπεδο της ομοσπονδιακής αποθήκης δεδομένων εφαρμόζεται στον ιστότοπο της Ρωσικής Ομοσπονδιακής Φορολογικής Υπηρεσίας δεν έχει διαφύγει της προσοχής των ειδικών τους. Στη συνέχεια, στη βάση του, σχεδιάζεται να οργανωθεί χώρος που θα παρέχει πρόσβαση σε δεδομένα φορολογικού συστήματος για περαιτέρω επεξεργασία και λήψη στατιστικών στοιχείων.
2. Ξεχωριστά, αξίζει να εξετάσετε μια ρωσική startup synquera,συμμετείχε σε διαδικτυακή ανάλυση μεγάλων δεδομένων και ανέπτυξε την πλατφόρμα Simplate. Η ουσία είναι ότι υφίσταται επεξεργασία μεγάλου όγκου δεδομένων, αναλύονται δεδομένα σχετικά με τους καταναλωτές, τις αγορές τους, την ηλικία, τη διάθεση και την ψυχική τους κατάσταση. Ένα δίκτυο καταστημάτων καλλυντικών έχει εγκαταστήσει αισθητήρες στα ταμεία που μπορούν να αναγνωρίσουν τα συναισθήματα του αγοραστή. Μετά τον προσδιορισμό της διάθεσης, αναλύονται πληροφορίες για τον αγοραστή, ο χρόνος αγοράς. Μετά από αυτό, ο αγοραστής λαμβάνει σκόπιμα πληροφορίες σχετικά με εκπτώσεις και προσφορές. Αυτή η απόφαση αύξησε την πίστη των καταναλωτών και μπόρεσε να αυξήσει το εισόδημα του πωλητή.
3. Ξεχωριστά, αξίζει να μιλήσουμε για μια περίπτωση χρήσης τεχνολογιών μεγάλων δεδομένων σε μια εταιρεία Ντάνκιν Ντόνατς,οι οποίοι, κατ' αναλογία με το προηγούμενο παράδειγμα, χρησιμοποίησαν διαδικτυακή ανάλυση για να αυξήσουν τα κέρδη. Έτσι, στα καταστήματα λιανικής, οι οθόνες εμφανίζουν ειδικές προσφορές, το περιεχόμενο των οποίων άλλαζε κάθε λεπτό. Η βάση για τις αντικαταστάσεις στο κείμενο ήταν τόσο η ώρα της ημέρας όσο και το προϊόν σε απόθεμα. Από τις εισπράξεις μετρητών, η εταιρεία έλαβε πληροφορίες για το ποια είδη είχαν τη μεγαλύτερη ζήτηση. Αυτή η μέθοδος επέτρεψε την αύξηση του εισοδήματος και του κύκλου εργασιών των αποθεμάτων αποθήκης.

Έτσι, η επεξεργασία μεγάλων δεδομένων έχει θετική επίδραση στην επίλυση επιχειρηματικών προβλημάτων. Σημαντικός παράγοντας φυσικά είναι η επιλογή στρατηγικής και η χρήση των τελευταίων εξελίξεων στον τομέα των μεγάλων δεδομένων.

Πληροφορίες για την εταιρεία

Archos.Τομέας δραστηριότητας: παραγωγή και πώληση ηλεκτρονικού εξοπλισμού. Επικράτεια: τα γραφεία πωλήσεων είναι ανοιχτά σε εννέα χώρες (Ισπανία, Κίνα, Ρωσία, ΗΠΑ, Γαλλία κ.λπ.). Αριθμός προσωπικού του υποκαταστήματος: 5 (στη ρωσική αντιπροσωπεία).

Η συνεχής επιτάχυνση της ανάπτυξης δεδομένων είναι αναπόσπαστο μέρος της σημερινής πραγματικότητας. Τα κοινωνικά δίκτυα, οι κινητές συσκευές, τα δεδομένα από τις συσκευές μέτρησης, οι επιχειρηματικές πληροφορίες είναι μόνο μερικοί από τους τύπους πηγών που μπορούν να δημιουργήσουν τεράστιες ποσότητες δεδομένων.

Επί του παρόντος, ο όρος Big Data (Big data) έχει γίνει αρκετά κοινός. Δεν γνωρίζουν όλοι ακόμη πόσο γρήγορα και βαθιά οι τεχνολογίες για την επεξεργασία μεγάλων ποσοτήτων δεδομένων αλλάζουν τις πιο διαφορετικές πτυχές της κοινωνίας. Αλλαγές πραγματοποιούνται σε διάφορους τομείς, που δημιουργούν νέα προβλήματα και προκλήσεις, μεταξύ άλλων στον τομέα της ασφάλειας των πληροφοριών, όπου σημαντικές πτυχές όπως η εμπιστευτικότητα, η ακεραιότητα, η διαθεσιμότητα κ.λπ. θα πρέπει να βρίσκονται στο προσκήνιο.

Δυστυχώς, πολλές σύγχρονες εταιρείες καταφεύγουν στην τεχνολογία Big Data χωρίς να δημιουργήσουν την κατάλληλη υποδομή για αυτό, η οποία θα μπορούσε να εξασφαλίσει αξιόπιστη αποθήκευση των τεράστιων ποσοτήτων δεδομένων που συλλέγουν και αποθηκεύουν. Από την άλλη πλευρά, η τεχνολογία blockchain αναπτύσσεται αυτή τη στιγμή με ταχείς ρυθμούς, η οποία έχει σχεδιαστεί για να λύνει αυτό και πολλά άλλα προβλήματα.

Τι είναι τα Big Data;

Στην πραγματικότητα, ο ορισμός του όρου βρίσκεται στην επιφάνεια: «μεγάλα δεδομένα» σημαίνει τη διαχείριση πολύ μεγάλων ποσοτήτων δεδομένων, καθώς και την ανάλυσή τους. Αν κοιτάξετε ευρύτερα, τότε πρόκειται για πληροφορίες που δεν μπορούν να επεξεργαστούν με κλασικές μεθόδους λόγω του μεγάλου όγκου τους.

Ο ίδιος ο όρος Big Data (big data) εμφανίστηκε σχετικά πρόσφατα. Σύμφωνα με την υπηρεσία Google Trends, η ενεργή αύξηση της δημοτικότητας του όρου πέφτει στα τέλη του 2011:

Το 2010 άρχισαν να εμφανίζονται τα πρώτα προϊόντα και λύσεις που σχετίζονται άμεσα με την επεξεργασία μεγάλων δεδομένων. Μέχρι το 2011, οι περισσότερες από τις μεγαλύτερες εταιρείες πληροφορικής, συμπεριλαμβανομένων των IBM, Oracle, Microsoft και Hewlett-Packard, χρησιμοποιούν ενεργά τον όρο Big Data στις επιχειρηματικές τους στρατηγικές. Σταδιακά, οι αναλυτές της αγοράς τεχνολογίας πληροφοριών ξεκινούν ενεργή έρευνα σχετικά με αυτήν την έννοια.

Επί του παρόντος, αυτός ο όρος έχει κερδίσει σημαντική δημοτικότητα και χρησιμοποιείται ενεργά σε διάφορους τομείς. Ωστόσο, δεν μπορεί να ειπωθεί με βεβαιότητα ότι τα Big Data είναι κάποιου είδους θεμελιωδώς νέο φαινόμενο - αντίθετα, μεγάλες πηγές δεδομένων υπάρχουν εδώ και πολλά χρόνια. Στο μάρκετινγκ, μπορεί να είναι βάσεις δεδομένων αγορών πελατών, πιστωτικών ιστοριών, τρόπου ζωής και πολλά άλλα. Με τα χρόνια, οι αναλυτές έχουν χρησιμοποιήσει αυτά τα δεδομένα για να βοηθήσουν τις εταιρείες να προβλέψουν τις μελλοντικές ανάγκες των πελατών, να αξιολογήσουν τον κίνδυνο, να διαμορφώσουν τις προτιμήσεις των καταναλωτών και πολλά άλλα.

Επί του παρόντος, η κατάσταση έχει αλλάξει σε δύο πτυχές:

— Έχουν προκύψει πιο εξελιγμένα εργαλεία και μέθοδοι για την ανάλυση και τη σύγκριση διαφορετικών συνόλων δεδομένων.
— Τα εργαλεία ανάλυσης έχουν συμπληρωθεί από πολλές νέες πηγές δεδομένων, που οδηγούνται από την ευρεία ψηφιοποίηση, καθώς και από νέες μεθόδους συλλογής και μέτρησης δεδομένων.

Οι ερευνητές προβλέπουν ότι οι τεχνολογίες Big Data θα χρησιμοποιηθούν πιο ενεργά στην κατασκευή, την υγειονομική περίθαλψη, το εμπόριο, τη δημόσια διοίκηση και σε άλλους πολύ διαφορετικούς τομείς και βιομηχανίες.

Τα Big Data δεν είναι μια συγκεκριμένη σειρά δεδομένων, αλλά ένα σύνολο μεθόδων για την επεξεργασία τους. Το καθοριστικό χαρακτηριστικό για τα μεγάλα δεδομένα δεν είναι μόνο ο όγκος τους, αλλά και άλλες κατηγορίες που χαρακτηρίζουν τις εργατικές διαδικασίες επεξεργασίας και ανάλυσης δεδομένων.

Τα αρχικά δεδομένα για επεξεργασία μπορεί να είναι, για παράδειγμα:

— αρχεία καταγραφής συμπεριφοράς χρηστών του Διαδικτύου.
- Το διαδίκτυο των πραγμάτων;
- μεσα ΚΟΙΝΩΝΙΚΗΣ ΔΙΚΤΥΩΣΗΣ;
— μετεωρολογικά δεδομένα·
— ψηφιοποιημένα βιβλία των μεγαλύτερων βιβλιοθηκών·
– Σήματα GPS από οχήματα.
— πληροφορίες για συναλλαγές πελατών τραπεζών·
— δεδομένα σχετικά με την τοποθεσία των συνδρομητών δικτύων κινητής τηλεφωνίας·
— πληροφορίες για αγορές σε μεγάλες αλυσίδες λιανικής κ.λπ.

Με την πάροδο του χρόνου, ο όγκος των δεδομένων και ο αριθμός των πηγών τους αυξάνεται συνεχώς και σε αυτό το πλαίσιο εμφανίζονται νέες μέθοδοι επεξεργασίας πληροφοριών και βελτιώνονται οι υπάρχουσες μέθοδοι επεξεργασίας πληροφοριών.

Βασικές αρχές Big Data:

- Οριζόντια επεκτασιμότητα - οι πίνακες δεδομένων μπορεί να είναι τεράστιοι και αυτό σημαίνει ότι το σύστημα επεξεργασίας μεγάλων δεδομένων πρέπει να επεκταθεί δυναμικά καθώς αυξάνονται οι όγκοι τους.
- Ανοχή σφαλμάτων - ακόμα και αν κάποια κομμάτια του εξοπλισμού αποτύχουν, ολόκληρο το σύστημα πρέπει να παραμείνει σε λειτουργία.
— Τοπικότητα δεδομένων. Σε μεγάλα κατανεμημένα συστήματα, τα δεδομένα συνήθως κατανέμονται σε σημαντικό αριθμό μηχανών. Ωστόσο, όποτε είναι δυνατόν και για να εξοικονομηθούν πόροι, τα δεδομένα συχνά υποβάλλονται σε επεξεργασία στον ίδιο διακομιστή με τον οποίο αποθηκεύονται.

Για τη σταθερή λειτουργία και των τριών αρχών και, κατά συνέπεια, την υψηλή απόδοση αποθήκευσης και επεξεργασίας μεγάλων δεδομένων, χρειάζονται νέες πρωτοποριακές τεχνολογίες, όπως, για παράδειγμα, το blockchain.

Σε τι χρησιμεύουν τα μεγάλα δεδομένα;

Το εύρος των Big Data διευρύνεται συνεχώς:

— Τα μεγάλα δεδομένα μπορούν να χρησιμοποιηθούν στην ιατρική. Έτσι, είναι δυνατό να τεθεί μια διάγνωση για έναν ασθενή όχι μόνο με βάση τα δεδομένα της ανάλυσης του ιατρικού ιστορικού, αλλά και λαμβάνοντας υπόψη την εμπειρία άλλων γιατρών, πληροφορίες σχετικά με την οικολογική κατάσταση της περιοχής διαμονής του ασθενούς , και πολλούς άλλους παράγοντες.
— Οι τεχνολογίες Big Data μπορούν να χρησιμοποιηθούν για την οργάνωση της κίνησης μη επανδρωμένων οχημάτων.
— Με την επεξεργασία μεγάλων ποσοτήτων δεδομένων, είναι δυνατή η αναγνώριση προσώπων σε φωτογραφικό και βίντεο υλικό.
- Οι τεχνολογίες Big Data μπορούν να χρησιμοποιηθούν από λιανοπωλητές - οι εμπορικές εταιρείες μπορούν να χρησιμοποιήσουν ενεργά συστοιχίες δεδομένων από τα κοινωνικά δίκτυα για να οργανώσουν αποτελεσματικά τις διαφημιστικές τους καμπάνιες, οι οποίες μπορούν να εστιαστούν στο μέγιστο βαθμό σε ένα συγκεκριμένο τμήμα καταναλωτών.
— Αυτή η τεχνολογία χρησιμοποιείται ενεργά στην οργάνωση προεκλογικών εκστρατειών, συμπεριλαμβανομένης της ανάλυσης των πολιτικών προτιμήσεων στην κοινωνία.
— Η χρήση τεχνολογιών Big Data σχετίζεται με λύσεις κλάσης διασφάλισης εισοδήματος (RA), οι οποίες περιλαμβάνουν εργαλεία για τον εντοπισμό ασυνεπειών και εις βάθος ανάλυση δεδομένων που επιτρέπουν τον έγκαιρο εντοπισμό πιθανών απωλειών ή στρεβλώσεων των πληροφοριών που μπορεί να οδηγήσουν σε μείωση των οικονομικών αποτελεσμάτων .
— Οι πάροχοι τηλεπικοινωνιών μπορούν να συγκεντρώνουν μεγάλα δεδομένα, συμπεριλαμβανομένων των δεδομένων γεωγραφικής θέσης. Με τη σειρά τους, αυτές οι πληροφορίες ενδέχεται να παρουσιάζουν εμπορικό ενδιαφέρον για διαφημιστικές εταιρείες, οι οποίες ενδέχεται να τις χρησιμοποιήσουν για την προβολή στοχευμένων και τοπικών διαφημίσεων, καθώς και σε εμπόρους λιανικής και τράπεζες.
«Τα μεγάλα δεδομένα μπορούν να διαδραματίσουν σημαντικό ρόλο στην απόφαση για το άνοιγμα ενός καταστήματος λιανικής σε μια συγκεκριμένη τοποθεσία, βάσει δεδομένων για την παρουσία μιας ισχυρής στοχευμένης ροής ανθρώπων.

Έτσι, η πιο προφανής πρακτική εφαρμογή της τεχνολογίας Big Data βρίσκεται στον τομέα του μάρκετινγκ. Χάρη στην ανάπτυξη του Διαδικτύου και τον πολλαπλασιασμό όλων των ειδών συσκευών επικοινωνίας, δεδομένα συμπεριφοράς (όπως ο αριθμός των κλήσεων, οι συνήθειες αγορών και οι αγορές) γίνονται διαθέσιμα σε πραγματικό χρόνο.

Οι τεχνολογίες μεγάλων δεδομένων μπορούν επίσης να χρησιμοποιηθούν αποτελεσματικά στη χρηματοδότηση, στην κοινωνιολογική έρευνα και σε πολλούς άλλους τομείς. Οι ειδικοί υποστηρίζουν ότι όλες αυτές οι δυνατότητες χρήσης μεγάλων δεδομένων είναι μόνο το ορατό μέρος του παγόβουνου, καθώς αυτές οι τεχνολογίες χρησιμοποιούνται σε πολύ μεγαλύτερους όγκους στις πληροφορίες και την αντικατασκοπεία, σε στρατιωτικές υποθέσεις, καθώς και σε οτιδήποτε κοινώς αποκαλείται πόλεμος πληροφοριών.

Σε γενικές γραμμές, η αλληλουχία εργασίας με Big Data συνίσταται στη συλλογή δεδομένων, στη δομή των πληροφοριών που λαμβάνονται με χρήση αναφορών και πινάκων εργαλείων και στη συνέχεια στη διατύπωση συστάσεων για δράση.

Ας εξετάσουμε εν συντομία τις δυνατότητες χρήσης τεχνολογιών Big Data στο μάρκετινγκ. Όπως γνωρίζετε, για έναν έμπορο, οι πληροφορίες είναι το κύριο εργαλείο για την πρόβλεψη και τη στρατηγική. Η ανάλυση μεγάλων δεδομένων έχει χρησιμοποιηθεί από καιρό με επιτυχία για τον προσδιορισμό του κοινού-στόχου, των ενδιαφερόντων, της ζήτησης και της δραστηριότητας των καταναλωτών. Η ανάλυση μεγάλων δεδομένων, ειδικότερα, καθιστά δυνατή την προβολή διαφημίσεων (με βάση το μοντέλο δημοπρασίας RTB - Προσφορά σε πραγματικό χρόνο) μόνο σε εκείνους τους καταναλωτές που ενδιαφέρονται για ένα προϊόν ή μια υπηρεσία.

Η χρήση Big Data στο μάρκετινγκ επιτρέπει στους επιχειρηματίες να:

- Αναγνωρίστε καλύτερα τους καταναλωτές σας, προσελκύστε παρόμοιο κοινό στο Διαδίκτυο.
- αξιολόγηση του βαθμού ικανοποίησης των πελατών.
— να κατανοήσουν εάν η προτεινόμενη υπηρεσία ανταποκρίνεται στις προσδοκίες και τις ανάγκες·
- να βρει και να εφαρμόσει νέους τρόπους για να αυξήσει την εμπιστοσύνη των πελατών.
— δημιουργία έργων που έχουν ζήτηση κ.λπ.

Για παράδειγμα, η υπηρεσία Google.trends μπορεί να πει σε έναν έμπορο μια πρόβλεψη της εποχικής δραστηριότητας ζήτησης για ένα συγκεκριμένο προϊόν, τις διακυμάνσεις και τη γεωγραφία των κλικ. Εάν συγκρίνετε αυτές τις πληροφορίες με τα στατιστικά στοιχεία που συλλέγονται από την αντίστοιχη προσθήκη στον δικό σας ιστότοπο, μπορείτε να κάνετε ένα σχέδιο για την κατανομή του διαφημιστικού προϋπολογισμού, υποδεικνύοντας τον μήνα, την περιοχή και άλλες παραμέτρους.

Σύμφωνα με πολλούς ερευνητές, η επιτυχία της εκστρατείας του Τραμπ έγκειται στην τμηματοποίηση και χρήση των Μεγάλων Δεδομένων. Η ομάδα του μελλοντικού προέδρου των ΗΠΑ μπόρεσε να χωρίσει σωστά το κοινό, να κατανοήσει τις επιθυμίες του και να δείξει ακριβώς το μήνυμα που θέλουν να δουν και να ακούσουν οι ψηφοφόροι. Έτσι, σύμφωνα με την Irina Belysheva από την Data-Centric Alliance, η νίκη του Τραμπ οφειλόταν σε μεγάλο βαθμό σε μια μη τυποποιημένη προσέγγιση στο μάρκετινγκ στο Διαδίκτυο, η οποία βασιζόταν σε Big Data, ψυχολογική-συμπεριφορική ανάλυση και εξατομικευμένη διαφήμιση.

Οι πολιτικοί τεχνολόγοι και οι έμποροι του Τραμπ χρησιμοποίησαν ένα ειδικά αναπτυγμένο μαθηματικό μοντέλο, το οποίο τους επέτρεψε να αναλύσουν σε βάθος τα δεδομένα όλων των ψηφοφόρων των ΗΠΑ και να τα συστηματοποιήσουν, κάνοντας εξαιρετικά ακριβή στόχευση όχι μόνο από γεωγραφικά χαρακτηριστικά, αλλά και από τις προθέσεις, τα συμφέροντα των ψηφοφόρων. ψυχότυπος, χαρακτηριστικά συμπεριφοράς, κ.λπ. Για το σκοπό αυτό, οι έμποροι έχουν οργανώσει εξατομικευμένη επικοινωνία με κάθε ομάδα πολιτών με βάση τις ανάγκες, τις διαθέσεις, τις πολιτικές απόψεις, τα ψυχολογικά χαρακτηριστικά, ακόμη και το χρώμα του δέρματος, χρησιμοποιώντας το δικό τους μήνυμα για σχεδόν κάθε άτομο ψηφοφόρος.

Όσο για τη Χίλαρι Κλίντον, χρησιμοποίησε μεθόδους «δοκιμασμένες στο χρόνο» βασισμένες σε κοινωνιολογικά δεδομένα και τυπικό μάρκετινγκ στην εκστρατεία της, διαιρώντας το εκλογικό σώμα μόνο σε τυπικά ομοιογενείς ομάδες (άντρες, γυναίκες, Αφροαμερικανούς, Ισπανόφωνους, φτωχούς, πλούσιους κ.λπ.).

Ως αποτέλεσμα, νικητής ήταν αυτός που εκτίμησε τις δυνατότητες των νέων τεχνολογιών και μεθόδων ανάλυσης. Αξίζει να σημειωθεί ότι οι δαπάνες της Χίλαρι Κλίντον στην προεκλογική εκστρατεία ήταν διπλάσιες από αυτές της αντιπάλου της:

Δεδομένα: Pew Research

Τα κύρια προβλήματα χρήσης Big Data

Εκτός από το υψηλό κόστος, ένας από τους κύριους παράγοντες που εμποδίζουν την εισαγωγή των Μεγάλων Δεδομένων σε διάφορους τομείς είναι το πρόβλημα της επιλογής των προς επεξεργασία δεδομένων: δηλαδή ο καθορισμός ποια δεδομένα πρέπει να εξαχθούν, να αποθηκευτούν και να αναλυθούν και ποια. δεν πρέπει να λαμβάνονται υπόψη.

Ένα άλλο πρόβλημα των Big Data είναι ηθικό. Με άλλα λόγια, τίθεται ένα φυσικό ερώτημα: μπορεί μια τέτοια συλλογή δεδομένων (ειδικά εν αγνοία του χρήστη) να θεωρηθεί παραβίαση των ορίων απορρήτου;

Δεν είναι μυστικό ότι οι πληροφορίες που αποθηκεύονται στις μηχανές αναζήτησης Google και Yandex επιτρέπουν στους γίγαντες της πληροφορικής να βελτιώνουν συνεχώς τις υπηρεσίες τους, να τις κάνουν φιλικές προς το χρήστη και να δημιουργούν νέες διαδραστικές εφαρμογές. Για να γίνει αυτό, οι μηχανές αναζήτησης συλλέγουν δεδομένα χρηστών σχετικά με τη δραστηριότητα των χρηστών στο Διαδίκτυο, διευθύνσεις IP, δεδομένα γεωγραφικής τοποθεσίας, ενδιαφέροντα και ηλεκτρονικές αγορές, προσωπικά δεδομένα, μηνύματα ηλεκτρονικού ταχυδρομείου κ.λπ. Όλα αυτά επιτρέπουν την εμφάνιση διαφημίσεων με βάση τα συμφραζόμενα σύμφωνα με τη συμπεριφορά των χρηστών στο Διαδίκτυο. Ταυτόχρονα, συνήθως δεν ζητείται η συναίνεση των χρηστών γι' αυτό και δεν δίνεται η επιλογή ποιες πληροφορίες για τον εαυτό τους θα παρέχουν. Δηλαδή, από προεπιλογή, τα πάντα συλλέγονται σε Big Data, τα οποία στη συνέχεια θα αποθηκευτούν στους διακομιστές δεδομένων των τοποθεσιών.

Από αυτό προκύπτει το επόμενο σημαντικό θέμα σχετικά με την ασφάλεια αποθήκευσης και χρήσης δεδομένων. Για παράδειγμα, είναι ασφαλής μια πλατφόρμα ανάλυσης στην οποία οι καταναλωτές μοιράζονται αυτόματα τα δεδομένα τους; Επιπλέον, πολλοί εκπρόσωποι επιχειρήσεων σημειώνουν έλλειψη αναλυτών και εμπόρων υψηλής ειδίκευσης που είναι σε θέση να χειρίζονται αποτελεσματικά μεγάλο όγκο δεδομένων και να επιλύουν συγκεκριμένα επιχειρηματικά προβλήματα με τη βοήθειά τους.

Παρά όλες τις δυσκολίες με την εφαρμογή των Big Data, η επιχείρηση σκοπεύει να αυξήσει τις επενδύσεις σε αυτόν τον τομέα. Σύμφωνα με μελέτη της Gartner, οι ηγέτες των βιομηχανιών που επενδύουν σε Big Data είναι εταιρείες μέσων ενημέρωσης, λιανικής, τηλεπικοινωνιών, τραπεζών και υπηρεσιών.

Προοπτικές αλληλεπίδρασης μεταξύ τεχνολογιών blockchain και Big Data

Η ενοποίηση με Big Data έχει συνεργιστική επίδραση και ανοίγει ένα ευρύ φάσμα νέων ευκαιριών για τις επιχειρήσεις, μεταξύ των οποίων επιτρέπει:

— αποκτήστε πρόσβαση σε λεπτομερείς πληροφορίες σχετικά με τις προτιμήσεις των καταναλωτών, βάσει των οποίων μπορείτε να δημιουργήσετε λεπτομερή αναλυτικά προφίλ για συγκεκριμένους προμηθευτές, προϊόντα και στοιχεία προϊόντων.
- ενσωμάτωση λεπτομερών δεδομένων συναλλαγών και στατιστικών για την κατανάλωση ορισμένων ομάδων αγαθών από διάφορες κατηγορίες χρηστών·
- λήψη λεπτομερών αναλυτικών δεδομένων για τις αλυσίδες εφοδιασμού και κατανάλωσης, έλεγχος των απωλειών προϊόντων κατά τη μεταφορά (για παράδειγμα, απώλεια βάρους λόγω συρρίκνωσης και εξάτμισης ορισμένων τύπων αγαθών).
– καταπολέμηση των παραποιημένων προϊόντων, αύξηση της αποτελεσματικότητας της καταπολέμησης της νομιμοποίησης εσόδων από παράνομες δραστηριότητες και της απάτης κ.λπ.

Η πρόσβαση σε λεπτομερή δεδομένα σχετικά με τη χρήση και την κατανάλωση αγαθών θα ξεκλειδώσει σε μεγάλο βαθμό τις δυνατότητες της τεχνολογίας Big Data για βελτιστοποίηση βασικών επιχειρηματικών διαδικασιών, θα μειώσει τους ρυθμιστικούς κινδύνους και θα ανοίξει νέες ευκαιρίες για δημιουργία εσόδων και δημιουργία προϊόντων που θα ανταποκρίνονται καλύτερα στις τρέχουσες προτιμήσεις των καταναλωτών.

Όπως γνωρίζετε, εκπρόσωποι των μεγαλύτερων χρηματοπιστωτικών ιδρυμάτων δείχνουν ήδη σημαντικό ενδιαφέρον για την τεχνολογία blockchain, συμπεριλαμβανομένης της κ.λπ. λεπτά».

Οι δυνατότητες ανάλυσης από το blockchain με χρήση τεχνολογίας Big Data είναι τεράστιες. Η τεχνολογία κατανεμημένου μητρώου διασφαλίζει την ακεραιότητα των πληροφοριών, καθώς και την αξιόπιστη και διαφανή αποθήκευση ολόκληρου του ιστορικού συναλλαγών. Τα Big Data, με τη σειρά τους, παρέχουν νέα εργαλεία για αποτελεσματική ανάλυση, πρόβλεψη, οικονομική μοντελοποίηση και, κατά συνέπεια, ανοίγουν νέες ευκαιρίες για τη λήψη πιο ενημερωμένων αποφάσεων διαχείρισης.

Ο συνδυασμός blockchain και Big Data μπορεί να χρησιμοποιηθεί με επιτυχία στην υγειονομική περίθαλψη. Όπως γνωρίζετε, τα ατελή και ελλιπή δεδομένα για την υγεία του ασθενούς κατά καιρούς αυξάνουν τον κίνδυνο λανθασμένης διάγνωσης και εσφαλμένης συνταγογράφησης θεραπείας. Τα κρίσιμα δεδομένα σχετικά με την υγεία των πελατών των ιατρικών ιδρυμάτων θα πρέπει να είναι όσο το δυνατόν ασφαλέστερα, να έχουν τις ιδιότητες του αμετάβλητου, να είναι επαληθεύσιμα και να μην υπόκεινται σε καμία χειραγώγηση.

Οι πληροφορίες στο blockchain πληρούν όλες τις παραπάνω απαιτήσεις και μπορούν να χρησιμεύσουν ως υψηλής ποιότητας και αξιόπιστα δεδομένα πηγής για εις βάθος ανάλυση χρησιμοποιώντας νέες τεχνολογίες Big Data. Επιπλέον, με τη βοήθεια του blockchain, τα ιατρικά ιδρύματα θα μπορούσαν να ανταλλάσσουν αξιόπιστα δεδομένα με ασφαλιστικές εταιρείες, δικαστικές αρχές, εργοδότες, επιστημονικά ιδρύματα και άλλους οργανισμούς που χρειάζονται ιατρικές πληροφορίες.

Big Data και ασφάλεια πληροφοριών

Με την ευρεία έννοια, η ασφάλεια των πληροφοριών είναι η προστασία των πληροφοριών και της υποδομής υποστήριξης από τυχαίες ή σκόπιμες αρνητικές επιπτώσεις φυσικής ή τεχνητής φύσης.

Στον τομέα της ασφάλειας πληροφοριών, τα Big Data αντιμετωπίζουν τις ακόλουθες προκλήσεις:

— Προβλήματα προστασίας δεδομένων και διασφάλισης της ακεραιότητάς τους.
— τον κίνδυνο εξωτερικής παρέμβασης και διαρροής εμπιστευτικών πληροφοριών·
— ακατάλληλη αποθήκευση εμπιστευτικών πληροφοριών·
- ο κίνδυνος απώλειας πληροφοριών, για παράδειγμα, λόγω κακόβουλων ενεργειών κάποιου.
— τον κίνδυνο κατάχρησης προσωπικών δεδομένων από τρίτους κ.λπ.

Ένα από τα κύρια προβλήματα των μεγάλων δεδομένων που έχει σχεδιαστεί για να λύσει το blockchain βρίσκεται στον τομέα της ασφάλειας πληροφοριών. Διασφαλίζοντας τη συμμόρφωση με όλες τις βασικές αρχές της, η τεχνολογία κατανεμημένης λογιστικής μπορεί να εγγυηθεί την ακεραιότητα και την αξιοπιστία των δεδομένων και, λόγω της απουσίας ενός μόνο σημείου αστοχίας, το blockchain καθιστά τα συστήματα πληροφοριών σταθερά. Η τεχνολογία κατανεμημένης λογιστικής μπορεί να βοηθήσει στην επίλυση του προβλήματος της εμπιστοσύνης στα δεδομένα, καθώς και να παρέχει τη δυνατότητα καθολικής ανταλλαγής δεδομένων.

Οι πληροφορίες είναι ένα πολύτιμο πλεονέκτημα, πράγμα που σημαίνει ότι οι κύριες πτυχές της ασφάλειας των πληροφοριών πρέπει να βρίσκονται στην πρώτη γραμμή. Για να επιβιώσουν στον ανταγωνισμό, οι εταιρείες πρέπει να συμβαδίζουν με την εποχή, πράγμα που σημαίνει ότι δεν μπορούν να αγνοήσουν τις πιθανές ευκαιρίες και τα πλεονεκτήματα που περιέχουν η τεχνολογία blockchain και τα εργαλεία Big Data.

Τι συνέβη μεγάλα δεδομένα(Κυριολεκτικά - μεγάλα δεδομένα)? Ας δούμε πρώτα το λεξικό της Οξφόρδης:

Δεδομένα- ποσότητες, χαρακτήρες ή σύμβολα που χρησιμοποιούνται από υπολογιστή και τα οποία μπορούν να αποθηκευτούν και να μεταδοθούν με τη μορφή ηλεκτρικών σημάτων, που καταγράφονται σε μαγνητικά, οπτικά ή μηχανικά μέσα.

Ορος μεγάλα δεδομέναχρησιμοποιείται για να περιγράψει ένα μεγάλο και εκθετικά αυξανόμενο σύνολο δεδομένων. Για την επεξεργασία αυτού του όγκου δεδομένων, δεν μπορεί κανείς να κάνει χωρίς .

Οφέλη που παρέχονται από τα Big Data:

1. Συλλογή δεδομένων από διάφορες πηγές.
2. Βελτιώστε τις επιχειρηματικές διαδικασίες μέσω αναλύσεων σε πραγματικό χρόνο.
3. Αποθήκευση τεράστιου όγκου δεδομένων.
4. Insights. Τα Big Data είναι πιο διορατικά στις κρυφές πληροφορίες μέσω δομημένων και ημιδομημένων δεδομένων.
5. Τα μεγάλα δεδομένα συμβάλλουν στη μείωση του κινδύνου και στη λήψη εξυπνότερων αποφάσεων με τη σωστή ανάλυση κινδύνου

Παραδείγματα Μεγάλων Δεδομένων

Χρηματιστήριο της Νέας Υόρκηςκαθημερινά παράγει 1 terabyteδεδομένα συναλλαγών για την προηγούμενη συνεδρίαση.

Μεσα ΚΟΙΝΩΝΙΚΗΣ ΔΙΚΤΥΩΣΗΣ: τα στατιστικά δείχνουν ότι οι βάσεις δεδομένων του Facebook ανεβαίνουν καθημερινά 500 terabyteνέα δεδομένα δημιουργούνται κυρίως λόγω της μεταφόρτωσης φωτογραφιών και βίντεο σε διακομιστές κοινωνικών δικτύων, ανταλλαγής μηνυμάτων, σχολίων κάτω από αναρτήσεις κ.λπ.

Μηχανή αεροπλάνουδημιουργεί 10 terabyteδεδομένα κάθε 30 λεπτά κατά τη διάρκεια της πτήσης. Δεδομένου ότι πραγματοποιούνται χιλιάδες πτήσεις καθημερινά, ο όγκος των δεδομένων φτάνει τα petabyte.

Ταξινόμηση μεγάλων δεδομένων

Φόρμες μεγάλων δεδομένων:

• δομημένος
• Μη δομημένο
• ημιδομημένος

Δομημένη μορφή

Τα δεδομένα που μπορούν να αποθηκευτούν, να προσπελαστούν και να υποβληθούν σε επεξεργασία σε σταθερή μορφή ονομάζονται δομημένα δεδομένα. Για μεγάλο χρονικό διάστημα, η επιστήμη των υπολογιστών έχει κάνει μεγάλα βήματα στη βελτίωση των τεχνικών για την εργασία με αυτό το είδος δεδομένων (όπου η μορφή είναι γνωστή εκ των προτέρων) και έχει μάθει να αποκομίζει τα οφέλη. Ωστόσο, ήδη σήμερα υπάρχουν προβλήματα που σχετίζονται με την αύξηση των όγκων σε μεγέθη που μετρώνται στην περιοχή πολλών zettabyte.

1 zettabyte ισούται με ένα δισεκατομμύριο terabyte

Εξετάζοντας αυτούς τους αριθμούς, είναι εύκολο να επαληθεύσουμε την ακρίβεια του όρου Big Data και τις δυσκολίες που σχετίζονται με την επεξεργασία και αποθήκευση τέτοιων δεδομένων.

Τα δεδομένα που αποθηκεύονται σε μια σχεσιακή βάση δεδομένων είναι δομημένα και μοιάζουν, για παράδειγμα, με πίνακες υπαλλήλων της εταιρείας

αδόμητη μορφή

Τα δεδομένα άγνωστης δομής ταξινομούνται ως μη δομημένα. Εκτός από το μεγάλο της μέγεθος, αυτή η φόρμα χαρακτηρίζεται από μια σειρά από δυσκολίες στην επεξεργασία και εξαγωγή χρήσιμων πληροφοριών. Ένα τυπικό παράδειγμα μη δομημένων δεδομένων είναι μια ετερογενής πηγή που περιέχει έναν συνδυασμό απλών αρχείων κειμένου, εικόνων και βίντεο. Οι οργανισμοί σήμερα έχουν πρόσβαση σε μεγάλο όγκο ακατέργαστων ή μη δομημένων δεδομένων, αλλά δεν ξέρουν πώς να τα χρησιμοποιήσουν.

ημιδομημένη μορφή

Αυτή η κατηγορία περιέχει και τα δύο παραπάνω, επομένως τα ημιδομημένα δεδομένα έχουν κάποια μορφή, αλλά δεν ορίζονται πραγματικά από πίνακες σε σχεσιακές βάσεις δεδομένων. Ένα παράδειγμα αυτής της κατηγορίας είναι τα προσωπικά δεδομένα που παρουσιάζονται σε ένα αρχείο XML.

Prashant RaoΑρσενικός35 Seema R.Θηλυκός41 satish χαίτηΑρσενικός29 Σουμπράτο ΡόιΑρσενικός26 Jeremiah J.Αρσενικός35

Χαρακτηριστικά Μεγάλων Δεδομένων

Αύξηση μεγάλων δεδομένων με την πάροδο του χρόνου:

Το μπλε χρώμα αντιπροσωπεύει δομημένα δεδομένα (Enterprise data), τα οποία αποθηκεύονται σε σχεσιακές βάσεις δεδομένων. Σε άλλα χρώματα - μη δομημένα δεδομένα από διαφορετικές πηγές (τηλεφωνία IP, συσκευές και αισθητήρες, κοινωνικά δίκτυα και εφαρμογές web).

Σύμφωνα με την Gartner, τα μεγάλα δεδομένα ποικίλλουν σε μέγεθος, ρυθμό παραγωγής, ποικιλία και μεταβλητότητα. Ας εξετάσουμε αυτά τα χαρακτηριστικά με περισσότερες λεπτομέρειες.

1. Ενταση ΗΧΟΥ. Από μόνος του, ο όρος Big Data συνδέεται με μεγάλο μέγεθος. Το μέγεθος των δεδομένων είναι ο πιο σημαντικός δείκτης για τον προσδιορισμό της πιθανής ανακτήσιμης αξίας. Καθημερινά, 6 εκατομμύρια άνθρωποι χρησιμοποιούν ψηφιακά μέσα, τα οποία παράγουν περίπου 2,5 εκατομμύριο byte δεδομένων. Επομένως, ο όγκος είναι το πρώτο χαρακτηριστικό που πρέπει να ληφθεί υπόψη.
2. Ποικιλίαείναι η επόμενη πτυχή. Αναφέρεται σε ετερογενείς πηγές και στη φύση των δεδομένων, τα οποία μπορεί να είναι είτε δομημένα είτε μη. Προηγουμένως, τα υπολογιστικά φύλλα και οι βάσεις δεδομένων ήταν οι μόνες πηγές πληροφοριών που λαμβάνονταν υπόψη στις περισσότερες εφαρμογές. Σήμερα, δεδομένα με τη μορφή email, φωτογραφιών, βίντεο, αρχείων PDF, ήχου λαμβάνονται υπόψη και σε αναλυτικές εφαρμογές. Αυτή η ποικιλία αδόμητων δεδομένων οδηγεί σε προβλήματα στην αποθήκευση, την εξόρυξη και την ανάλυση: το 27% των εταιρειών δεν είναι σίγουροι ότι εργάζονται με τα σωστά δεδομένα.
3. Ποσοστό παραγωγής. Το πόσο γρήγορα συγκεντρώνονται και επεξεργάζονται τα δεδομένα για να ικανοποιηθούν οι απαιτήσεις καθορίζει τις δυνατότητες. Η ταχύτητα καθορίζει την ταχύτητα ροής πληροφοριών από πηγές - επιχειρηματικές διαδικασίες, αρχεία καταγραφής εφαρμογών, ιστότοπους κοινωνικής δικτύωσης και πολυμέσων, αισθητήρες, κινητές συσκευές. Η ροή των δεδομένων είναι τεράστια και συνεχής στο χρόνο.
4. Μεταβλητότηταπεριγράφει τη μεταβλητότητα των δεδομένων σε ορισμένες χρονικές στιγμές, γεγονός που περιπλέκει την επεξεργασία και τη διαχείριση. Για παράδειγμα, τα περισσότερα δεδομένα είναι αδόμητα στη φύση τους.

Big Data analytics: ποια είναι η χρήση των μεγάλων δεδομένων

Προώθηση αγαθών και υπηρεσιών: Η πρόσβαση σε δεδομένα από μηχανές αναζήτησης και ιστότοπους όπως το Facebook και το Twitter επιτρέπει στις επιχειρήσεις να αναπτύσσουν στρατηγικές μάρκετινγκ με μεγαλύτερη ακρίβεια.

Βελτίωση Εξυπηρέτησης Πελατών: Τα παραδοσιακά συστήματα σχολίων πελατών αντικαθίστανται από νέα που χρησιμοποιούν Big Data και επεξεργασία φυσικής γλώσσας για την ανάγνωση και την αξιολόγηση των σχολίων των πελατών.

Υπολογισμός κινδύνουπου σχετίζονται με την κυκλοφορία ενός νέου προϊόντος ή υπηρεσίας.

Λειτουργική αποτελεσματικότητα: τα μεγάλα δεδομένα είναι δομημένα ώστε να εξάγουν τις σωστές πληροφορίες πιο γρήγορα και να παράγουν γρήγορα ακριβή αποτελέσματα. Αυτός ο συνδυασμός τεχνολογιών Big Data και αποθήκευσης βοηθά τους οργανισμούς να βελτιστοποιήσουν την εργασία με σπάνια χρησιμοποιούμενες πληροφορίες.

Ξέρετε αυτό το διάσημο ανέκδοτο; Τα Big Data είναι σαν το σεξ πριν τα 18:

• όλοι το σκέφτονται.
• όλοι μιλούν γι' αυτό.
• Όλοι πιστεύουν ότι οι φίλοι τους το κάνουν.
• σχεδόν κανείς δεν το κάνει?
• όποιος το κάνει το κάνει άσχημα?
• όλοι πιστεύουν ότι την επόμενη φορά θα είναι καλύτερα.
• κανείς δεν παίρνει μέτρα ασφαλείας.
• κάποιος ντρέπεται να παραδεχτεί ότι δεν ξέρει κάτι.
• αν κάποιος τα καταφέρει, υπάρχει πάντα πολύς θόρυβος από αυτό.

Αλλά ας είμαστε ειλικρινείς, με οποιαδήποτε διαφημιστική εκστρατεία, η συνηθισμένη περιέργεια θα πάει πάντα μαζί: τι είδους φασαρία υπάρχει και υπάρχει κάτι πραγματικά σημαντικό εκεί; Εν ολίγοις, ναι, υπάρχει. Λεπτομέρειες είναι παρακάτω. Επιλέξαμε για εσάς τις πιο εκπληκτικές και ενδιαφέρουσες εφαρμογές τεχνολογιών Big Data. Αυτή η μικρή μελέτη της αγοράς σε ξεκάθαρα παραδείγματα αντιμετωπίζει ένα απλό γεγονός: το μέλλον δεν έρχεται, δεν χρειάζεται να "περιμένετε άλλα n χρόνια και η μαγεία θα γίνει πραγματικότητα". Όχι, έχει ήδη φτάσει, αλλά είναι ακόμα αόρατο στο μάτι, και ως εκ τούτου το κάψιμο της μοναδικότητας δεν καίει ακόμη ένα συγκεκριμένο σημείο στην αγορά εργασίας τόσο πολύ. Πηγαίνω.

1 Πώς εφαρμόζονται οι τεχνολογίες Big Data από όπου προήλθαν

Οι μεγάλες εταιρείες πληροφορικής είναι εκεί που γεννήθηκε η επιστήμη των δεδομένων, επομένως η εσωτερική τους λειτουργία σε αυτόν τον τομέα είναι η πιο ενδιαφέρουσα. Μια καμπάνια της Google, η γενέτειρα του παραδείγματος Map Reduce, της οποίας ο μοναδικός σκοπός είναι να εκπαιδεύσει τους προγραμματιστές της στις τεχνικές μηχανικής μάθησης. Και εκεί έγκειται το ανταγωνιστικό τους πλεονέκτημα: αφού αποκτήσουν νέες γνώσεις, οι εργαζόμενοι θα εφαρμόσουν νέες μεθόδους σε εκείνα τα έργα της Google όπου εργάζονται συνεχώς. Φανταστείτε πόσο μεγάλη είναι η λίστα με τους τομείς στους οποίους η εκστρατεία μπορεί να κάνει επανάσταση. Ένα παράδειγμα: χρησιμοποιούνται νευρωνικά δίκτυα.

Η εταιρεία εφαρμόζει μηχανική μάθηση σε όλα της τα προϊόντα. Το πλεονέκτημά του είναι η παρουσία ενός μεγάλου οικοσυστήματος, που περιλαμβάνει όλες τις ψηφιακές συσκευές που χρησιμοποιούνται στην καθημερινή ζωή. Αυτό επιτρέπει στην Apple να φτάσει σε ένα αδύνατο επίπεδο: η καμπάνια έχει περισσότερα δεδομένα χρήστη από οποιαδήποτε άλλη. Ταυτόχρονα, η πολιτική απορρήτου είναι πολύ αυστηρή: η εταιρεία πάντα καυχιόταν ότι δεν χρησιμοποιεί δεδομένα πελατών για διαφημιστικούς σκοπούς. Αντίστοιχα, οι πληροφορίες χρήστη είναι κρυπτογραφημένες έτσι ώστε οι δικηγόροι της Apple ή ακόμα και το FBI με ένταλμα να μην μπορούν να τις διαβάσουν. Θα βρείτε μια εξαιρετική επισκόπηση των εξελίξεων AI της Apple εδώ.

2 Big Data σε 4 τροχούς

Ένα σύγχρονο αυτοκίνητο είναι ένα κατάστημα πληροφοριών: συγκεντρώνει όλα τα δεδομένα σχετικά με τον οδηγό, το περιβάλλον, τις συνδεδεμένες συσκευές και τον εαυτό του. Σύντομα, ένα όχημα που είναι συνδεδεμένο σε ένα δίκτυο όπως αυτό θα παράγει έως και 25 GB δεδομένων ανά ώρα.

Η τηλεματική των οχημάτων χρησιμοποιείται από τις αυτοκινητοβιομηχανίες για πολλά χρόνια, αλλά τώρα ασκείται πιέσεις για μια πιο εξελιγμένη μέθοδο συλλογής δεδομένων που αξιοποιεί πλήρως τα Big Data. Αυτό σημαίνει ότι η τεχνολογία μπορεί πλέον να ειδοποιεί τον οδηγό για κακές συνθήκες δρόμου ενεργοποιώντας αυτόματα το σύστημα αντιμπλοκαρίσματος πέδησης και ελέγχου πρόσφυσης.

Άλλες ανησυχίες, συμπεριλαμβανομένης της BMW, είναι η χρήση της τεχνολογίας Big Data, σε συνδυασμό με γνώσεις από πρωτότυπα δοκιμών, ενσωματωμένα συστήματα "μνήμης σφαλμάτων" και παράπονα πελατών, για τον εντοπισμό αδυναμιών σε ένα μοντέλο στην αρχή της παραγωγής. Τώρα, αντί για χειροκίνητη αξιολόγηση των δεδομένων, η οποία διαρκεί μήνες, εφαρμόζεται ένας αλγόριθμος τελευταίας τεχνολογίας. Τα σφάλματα και το κόστος αντιμετώπισης προβλημάτων μειώνονται, επιτρέποντας ταχύτερες ροές εργασιών ανάλυσης δεδομένων στη BMW.

Σύμφωνα με εκτιμήσεις ειδικών, μέχρι το 2019 ο τζίρος της αγοράς που συνδέεται με ένα ενιαίο δίκτυο αυτοκινήτων θα φτάσει τα 130 δισεκατομμύρια δολάρια. Αυτό δεν προκαλεί έκπληξη, δεδομένου του ρυθμού ολοκλήρωσης από τις αυτοκινητοβιομηχανίες τεχνολογιών που αποτελούν αναπόσπαστο μέρος του οχήματος.

Η χρήση Big Data συμβάλλει στο να γίνει το μηχάνημα ασφαλέστερο και πιο λειτουργικό. Έτσι, η Toyota με την ενσωμάτωση των μονάδων επικοινωνίας πληροφοριών (DCM) . Αυτό το εργαλείο, που χρησιμοποιείται για Big Data, επεξεργάζεται και αναλύει τα δεδομένα που συλλέγει το DCM προκειμένου να επωφεληθεί περαιτέρω από αυτό.

3 Εφαρμογή μεγάλων δεδομένων στην ιατρική

Η εφαρμογή τεχνολογιών Big Data στον ιατρικό τομέα επιτρέπει στους γιατρούς να μελετήσουν πιο διεξοδικά τη νόσο και να επιλέξουν μια αποτελεσματική πορεία θεραπείας για μια συγκεκριμένη περίπτωση. Χάρη στην ανάλυση των πληροφοριών, γίνεται ευκολότερο για τους επαγγελματίες υγείας να προβλέπουν υποτροπές και να λαμβάνουν προληπτικά μέτρα. Το αποτέλεσμα είναι πιο ακριβής διάγνωση και βελτιωμένες θεραπείες.

Η νέα τεχνική κατέστησε δυνατή την εξέταση των προβλημάτων των ασθενών από διαφορετική οπτική γωνία, γεγονός που οδήγησε στην ανακάλυψη προηγουμένως άγνωστων πηγών του προβλήματος. Για παράδειγμα, ορισμένες φυλές έχουν γενετικά μεγαλύτερη προδιάθεση για καρδιακές παθήσεις από τα μέλη άλλων εθνοτικών ομάδων. Τώρα, όταν ένας ασθενής παραπονιέται για μια συγκεκριμένη ασθένεια, οι γιατροί λαμβάνουν υπόψη δεδομένα για μέλη της φυλής του που παραπονέθηκαν για το ίδιο πρόβλημα. Η συλλογή και η ανάλυση δεδομένων σάς επιτρέπει να μάθετε πολύ περισσότερα για τους ασθενείς: από τις προτιμήσεις των τροφίμων και τον τρόπο ζωής έως τη γενετική δομή του DNA και των μεταβολιτών των κυττάρων, των ιστών, των οργάνων. Για παράδειγμα, το Κέντρο Παιδιατρικής Γονιδιωματικής Ιατρικής στο Κάνσας Σίτι χρησιμοποιεί ασθενείς και αναλύει μεταλλάξεις στον γενετικό κώδικα που προκαλούν καρκίνο. Μια ατομική προσέγγιση σε κάθε ασθενή, λαμβάνοντας υπόψη το DNA του, θα ανεβάσει την αποτελεσματικότητα της θεραπείας σε ένα ποιοτικά νέο επίπεδο.

Με την κατανόηση του τρόπου χρήσης των Big Data, ακολουθεί η πρώτη και πολύ σημαντική αλλαγή στον ιατρικό τομέα. Όταν ένας ασθενής υποβάλλεται σε θεραπεία, ένα νοσοκομείο ή άλλη μονάδα υγειονομικής περίθαλψης μπορεί να λάβει πολλές πολύτιμες πληροφορίες για το άτομο. Οι πληροφορίες που συλλέγονται χρησιμοποιούνται για την πρόβλεψη της υποτροπής ασθενειών με συγκεκριμένο βαθμό ακρίβειας. Για παράδειγμα, εάν ένας ασθενής έχει υποστεί εγκεφαλικό, οι γιατροί μελετούν πληροφορίες σχετικά με την ώρα του εγκεφαλοαγγειακού ατυχήματος, αναλύουν την ενδιάμεση περίοδο μεταξύ προηγούμενων προηγούμενων (αν υπάρχει), δίνοντας ιδιαίτερη προσοχή σε στρεσογόνες καταστάσεις και βαριά σωματική καταπόνηση στη ζωή του ασθενούς. Με βάση αυτά τα δεδομένα, τα νοσοκομεία δίνουν στον ασθενή ένα σαφές σχέδιο δράσης για την πρόληψη της πιθανότητας εγκεφαλικού επεισοδίου στο μέλλον.

Οι φορητές συσκευές παίζουν επίσης ρόλο, βοηθώντας στον εντοπισμό προβλημάτων υγείας, ακόμα κι αν ένα άτομο δεν έχει εμφανή συμπτώματα μιας συγκεκριμένης ασθένειας. Αντί να αξιολογεί την κατάσταση του ασθενούς μέσω μιας μακράς σειράς εξετάσεων, ο γιατρός μπορεί να βγάλει συμπεράσματα με βάση τις πληροφορίες που συλλέγονται από ένα fitness tracker ή ένα έξυπνο ρολόι.

Ένα από τα τελευταία παραδείγματα είναι . Ενώ ο ασθενής εξεταζόταν για νέα κρίση που προκλήθηκε από παράλειψη φαρμακευτικής αγωγής, οι γιατροί ανακάλυψαν ότι ο άνδρας είχε πολύ πιο σοβαρό πρόβλημα υγείας. Το πρόβλημα αποδείχθηκε ότι ήταν η κολπική μαρμαρυγή. Η διάγνωση έγινε λόγω του γεγονότος ότι το προσωπικό του τμήματος είχε πρόσβαση στο τηλέφωνο του ασθενούς, δηλαδή στην εφαρμογή που σχετίζεται με το fitness tracker του. Τα δεδομένα από την εφαρμογή αποδείχθηκαν καθοριστικός παράγοντας για τον καθορισμό της διάγνωσης, καθώς τη στιγμή της εξέτασης δεν βρέθηκαν καρδιακές ανωμαλίες στον άνδρα.

Αυτή είναι μόνο μια από τις λίγες περιπτώσεις που φαίνεται γιατί να χρησιμοποιείτε μεγάλα δεδομέναστον ιατρικό τομέα σήμερα παίζει τόσο σημαντικό ρόλο.

4 Η ανάλυση δεδομένων βρίσκεται ήδη στον πυρήνα του λιανικού εμπορίου

Η κατανόηση των ερωτημάτων των χρηστών και της στόχευσης είναι ένας από τους μεγαλύτερους και πιο ευρέως δημοσιευμένους τομείς εφαρμογής των εργαλείων Big Data. Τα Big Data βοηθούν στην ανάλυση των συνηθειών των πελατών προκειμένου να κατανοηθούν καλύτερα οι ανάγκες των καταναλωτών στο μέλλον. Οι εταιρείες επιδιώκουν να επεκτείνουν το παραδοσιακό σύνολο δεδομένων με πληροφορίες μέσων κοινωνικής δικτύωσης και ιστορικό αναζήτησης προγράμματος περιήγησης, προκειμένου να σχηματίσουν την πληρέστερη δυνατή εικόνα πελατών. Μερικές φορές οι μεγάλοι οργανισμοί επιλέγουν να δημιουργήσουν το δικό τους μοντέλο πρόβλεψης ως παγκόσμιο στόχο.

Για παράδειγμα, η αλυσίδα καταστημάτων Target, χρησιμοποιώντας βαθιά ανάλυση δεδομένων και το δικό της σύστημα πρόβλεψης, μπορεί να προσδιορίσει με υψηλή ακρίβεια -. Σε κάθε πελάτη εκχωρείται ένα αναγνωριστικό, το οποίο με τη σειρά του συνδέεται με μια πιστωτική κάρτα, όνομα ή email. Το αναγνωριστικό χρησιμεύει ως ένα είδος καλαθιού αγορών, όπου αποθηκεύονται πληροφορίες για όλα όσα έχει αγοράσει ποτέ κάποιος. Οι ειδικοί του δικτύου διαπίστωσαν ότι οι γυναίκες στη θέση αγοράζουν ενεργά προϊόντα χωρίς γεύση πριν από το δεύτερο τρίμηνο της εγκυμοσύνης και κατά τις πρώτες 20 εβδομάδες βασίζονται σε συμπληρώματα ασβεστίου, ψευδαργύρου και μαγνησίου. Με βάση τα δεδομένα που έλαβε, η Target στέλνει κουπόνια για παιδικά προϊόντα σε πελάτες. Οι εκπτώσεις σε προϊόντα για τα ίδια τα παιδιά «αραιώνονται» με κουπόνια για άλλα προϊόντα, έτσι ώστε οι προσφορές για αγορά κούνιας ή πάνες να μην φαίνονται πολύ ενοχλητικές.

Ακόμη και κυβερνητικά τμήματα έχουν βρει έναν τρόπο να χρησιμοποιούν τεχνολογίες Big Data για τη βελτιστοποίηση των προεκλογικών εκστρατειών. Κάποιοι πιστεύουν ότι η νίκη του Μπ. Ομπάμα στις προεδρικές εκλογές των ΗΠΑ το 2012 οφείλεται στην εξαιρετική δουλειά της ομάδας των αναλυτών του, που επεξεργάστηκε τεράστιες ποσότητες δεδομένων με τον σωστό τρόπο.

5 Big Data για τη διαφύλαξη του νόμου και της τάξης

Τα τελευταία χρόνια, οι υπηρεσίες επιβολής του νόμου έχουν καταλάβει πώς και πότε να χρησιμοποιούν τα Big Data. Είναι γνωστό ότι η Εθνική Υπηρεσία Ασφαλείας χρησιμοποιεί τεχνολογίες Big Data για να αποτρέψει τρομοκρατικές επιθέσεις. Άλλα τμήματα χρησιμοποιούν προοδευτική μεθοδολογία για την πρόληψη μικρότερων εγκλημάτων.

Το αστυνομικό τμήμα του Λος Άντζελες χρησιμοποιεί . Κάνει αυτό που συνήθως αναφέρεται ως προληπτική επιβολή του νόμου. Χρησιμοποιώντας αναφορές εγκλημάτων για μια χρονική περίοδο, ο αλγόριθμος καθορίζει περιοχές όπου είναι πιο πιθανό να συμβεί το έγκλημα. Το σύστημα επισημαίνει τέτοιες περιοχές στον χάρτη της πόλης με μικρά κόκκινα τετράγωνα και τα δεδομένα αυτά μεταδίδονται αμέσως στα περιπολικά.

Αστυνομικοί του Σικάγο χρήση τεχνολογιών μεγάλων δεδομένωνμε λίγο διαφορετικό τρόπο. Οι αξιωματικοί επιβολής του νόμου από την Windy City το έχουν επίσης, αλλά στοχεύει στη σκιαγράφηση ενός "κύκλου κινδύνου" που αποτελείται από άτομα που μπορεί να είναι θύμα ή συμμετέχοντες σε ένοπλη επίθεση. Σύμφωνα με τους New York Times, αυτός ο αλγόριθμος εκχωρεί μια βαθμολογία ευπάθειας σε ένα άτομο με βάση το ποινικό ιστορικό του (συλλήψεις και συμμετοχή σε πυροβολισμούς, που ανήκουν σε εγκληματικές συμμορίες). Ο προγραμματιστής του συστήματος λέει ότι ενώ το σύστημα μελετά το εγκληματικό παρελθόν του ατόμου, δεν λαμβάνει υπόψη δευτερεύοντες παράγοντες όπως η φυλή, το φύλο, η εθνικότητα και η τοποθεσία του ατόμου.

6 Πώς οι τεχνολογίες Big Data βοηθούν τις πόλεις να αναπτυχθούν

Ο Διευθύνων Σύμβουλος της Veniam João Barros παρουσιάζει έναν χάρτη παρακολούθησης των δρομολογητών Wi-Fi σε λεωφορεία στην πόλη του Πόρτο

Η ανάλυση δεδομένων χρησιμοποιείται επίσης για τη βελτίωση ορισμένων πτυχών της ζωής των πόλεων και των χωρών. Για παράδειγμα, γνωρίζοντας ακριβώς πώς και πότε να χρησιμοποιείτε τις τεχνολογίες Big Data, μπορείτε να βελτιστοποιήσετε τις ροές μεταφοράς. Για αυτό λαμβάνεται υπόψη η διαδικτυακή κίνηση των αυτοκινήτων, αναλύονται τα μέσα κοινωνικής δικτύωσης και τα μετεωρολογικά δεδομένα. Σήμερα, ορισμένες πόλεις έχουν πρωτοστατήσει στη χρήση της ανάλυσης δεδομένων για να συνδυάσουν τις υποδομές μεταφορών με άλλους τύπους δημόσιων υπηρεσιών σε ένα ενιαίο σύνολο. Αυτή είναι η ιδέα μιας έξυπνης πόλης, όπου τα λεωφορεία περιμένουν αργά το τρένο και τα φανάρια μπορούν να προβλέψουν την κυκλοφοριακή συμφόρηση για να ελαχιστοποιήσουν την κυκλοφοριακή συμφόρηση.

Με βάση τις τεχνολογίες Big Data, η πόλη του Long Beach λειτουργεί «έξυπνους» μετρητές νερού που χρησιμοποιούνται για τον περιορισμό του παράνομου ποτίσματος. Παλαιότερα, χρησιμοποιούνταν για τη μείωση της κατανάλωσης νερού από τα ιδιωτικά νοικοκυριά (το μέγιστο αποτέλεσμα είναι μείωση 80%). Η εξοικονόμηση γλυκού νερού είναι πάντα ένα επίκαιρο ζήτημα. Ειδικά όταν το κράτος βιώνει τη χειρότερη ξηρασία που έχει καταγραφεί ποτέ.

Εκπρόσωποι του Υπουργείου Μεταφορών της πόλης του Λος Άντζελες εντάχθηκαν στη λίστα με αυτούς που χρησιμοποιούν Big Data. Με βάση τα δεδομένα που λαμβάνονται από αισθητήρες κάμερας κυκλοφορίας, οι αρχές ελέγχουν τη λειτουργία των φωτεινών σηματοδοτών, κάτι που με τη σειρά του επιτρέπει τη ρύθμιση της κυκλοφορίας. Το ηλεκτρονικό σύστημα ελέγχει περίπου 4.500.000 φανάρια σε όλη την πόλη. Σύμφωνα με επίσημα στοιχεία, ο νέος αλγόριθμος βοήθησε στη μείωση της συμφόρησης κατά 16%.

7 Μηχανή προόδου στο μάρκετινγκ και τις πωλήσεις

Στο μάρκετινγκ, τα εργαλεία Big Data σάς επιτρέπουν να προσδιορίσετε ποιες ιδέες είναι οι πιο αποτελεσματικές για προώθηση σε ένα συγκεκριμένο στάδιο του κύκλου πωλήσεων. Η ανάλυση δεδομένων καθορίζει πώς οι επενδύσεις μπορούν να βελτιώσουν τη διαχείριση των σχέσεων με τους πελάτες, ποια στρατηγική πρέπει να επιλεγεί για να αυξηθούν τα ποσοστά μετατροπής και πώς να βελτιστοποιηθεί ο κύκλος ζωής των πελατών. Στην επιχείρηση cloud, οι αλγόριθμοι Big Data χρησιμοποιούνται για να υπολογίσουν πώς να ελαχιστοποιηθεί το κόστος απόκτησης πελατών και να αυξηθεί ο κύκλος ζωής των πελατών.

Η διαφοροποίηση των στρατηγικών τιμολόγησης ανάλογα με το επίπεδο εντός του συστήματος του πελάτη είναι, ίσως, το κύριο πράγμα για το οποίο χρησιμοποιούνται τα Big Data στον τομέα του μάρκετινγκ. Η McKinsey διαπίστωσε ότι περίπου το 75% των εσόδων της μέσης επιχείρησης προέρχεται από βασικά προϊόντα, το 30% των οποίων τιμολογούνται λανθασμένα. Η αύξηση της τιμής κατά 1% οδηγεί σε αύξηση των λειτουργικών κερδών κατά 8,7%.

Η ερευνητική ομάδα της Forrester μπόρεσε να προσδιορίσει ότι η ανάλυση δεδομένων επιτρέπει στους επαγγελματίες του μάρκετινγκ να επικεντρωθούν στο πώς να κάνουν πιο επιτυχημένες τις σχέσεις με τους πελάτες. Διερευνώντας την κατεύθυνση ανάπτυξης των πελατών, οι ειδικοί μπορούν να αξιολογήσουν το επίπεδο της αφοσίωσής τους, καθώς και να επεκτείνουν τον κύκλο ζωής στο πλαίσιο μιας συγκεκριμένης εταιρείας.

Η βελτιστοποίηση των στρατηγικών πωλήσεων και τα στάδια εισόδου σε νέες αγορές με χρήση γεωαναλυτικών στοιχείων αντικατοπτρίζονται στη βιοφαρμακευτική βιομηχανία. Σύμφωνα με τη McKinsey, οι φαρμακευτικές εταιρείες ξοδεύουν κατά μέσο όρο το 20 έως 30% των κερδών τους για τη διαχείριση και τις πωλήσεις. Εάν οι επιχειρήσεις γίνουν πιο ενεργές χρησιμοποιήστε μεγάλα δεδομέναγια τον εντοπισμό των πιο οικονομικά αποδοτικών και ταχύτερα αναπτυσσόμενων αγορών, το κόστος θα μειωθεί αμέσως.

Η ανάλυση δεδομένων είναι ένα μέσο για τις εταιρείες να αποκτήσουν μια πλήρη εικόνα των βασικών πτυχών της επιχείρησής τους. Η αύξηση των εσόδων, η μείωση του κόστους και η μείωση του κεφαλαίου κίνησης είναι τα τρία καθήκοντα που η σύγχρονη επιχείρηση προσπαθεί να επιλύσει με τη βοήθεια αναλυτικών εργαλείων.

Τέλος, το 58% των διευθυντών μάρκετινγκ λέει ότι η εφαρμογή των τεχνολογιών Big Data μπορεί να εντοπιστεί στη βελτιστοποίηση μηχανών αναζήτησης (SEO), στο e-mail και στο mobile marketing, όπου η ανάλυση δεδομένων παίζει τον πιο σημαντικό ρόλο στη διαμόρφωση των προγραμμάτων μάρκετινγκ. Και μόνο 4% λιγότεροι ερωτηθέντες είναι σίγουροι ότι τα Big Data θα διαδραματίσουν σημαντικό ρόλο σε όλες τις στρατηγικές μάρκετινγκ για πολλά χρόνια.

8 Παγκόσμια ανάλυση δεδομένων

Δεν είναι λιγότερο περίεργο αυτό. Είναι πιθανό ότι η μηχανική μάθηση θα είναι τελικά η μόνη δύναμη ικανή να διατηρήσει μια λεπτή ισορροπία. Το θέμα της ανθρώπινης επιρροής στην υπερθέρμανση του πλανήτη εξακολουθεί να προκαλεί πολλές διαμάχες, επομένως μόνο αξιόπιστα προγνωστικά μοντέλα που βασίζονται στην ανάλυση μεγάλων ποσοτήτων δεδομένων μπορούν να δώσουν ακριβή απάντηση. Τελικά, η μείωση των εκπομπών θα μας βοηθήσει όλους: θα ξοδέψουμε λιγότερα σε ενέργεια.

Τώρα τα Big Data δεν είναι μια αφηρημένη έννοια, η οποία, ίσως, θα βρει την εφαρμογή της σε μερικά χρόνια. Πρόκειται για ένα πλήρως λειτουργικό σύνολο τεχνολογιών που μπορεί να είναι χρήσιμες σε όλους σχεδόν τους τομείς της ανθρώπινης δραστηριότητας: από την ιατρική και τη δημόσια τάξη μέχρι το μάρκετινγκ και τις πωλήσεις. Το στάδιο της ενεργούς ενσωμάτωσης των Μεγάλων Δεδομένων στην καθημερινότητά μας μόλις ξεκίνησε και ποιος ξέρει ποιος θα είναι ο ρόλος των Μεγάλων Δεδομένων σε λίγα χρόνια;