빅데이터 기술과 그 적용 사례. Alexey Ryvkin은 빅 데이터, 고객과의 커뮤니케이션 및 숫자 세계 분야의 주요 동향에 대해 설명합니다. 빅데이터 기술
한때 German Gref(Sberbank 대표)로부터 '빅 데이터'라는 용어를 들었습니다. 그들은 현재 구현에 적극적으로 노력하고 있다고 말합니다. 왜냐하면 이것이 각 클라이언트와 작업하는 시간을 줄이는 데 도움이 될 것이기 때문입니다.
제가 이 개념을 두 번째로 접한 것은 고객의 온라인 상점에서였습니다. 우리는 그 곳에서 작업하면서 제품 품목을 몇 천 개에서 수만 개로 늘리고 있었습니다.
세 번째로 Yandex에 빅 데이터 분석가가 필요하다는 것을 알았습니다. 그런 다음 나는이 주제에 대해 더 깊이 탐구하는 동시에 TOP 관리자와 인터넷 공간의 마음을 자극하는 용어가 무엇인지 알려주는 기사를 쓰기로 결정했습니다.
VVV 또는 VVVVV
나는 보통 이것이 어떤 종류의 용어인지에 대한 설명으로 기사를 시작합니다. 이 글도 예외는 아닐 것이다.
그러나 이것은 주로 내가 얼마나 똑똑한 지 보여주고 싶은 욕구가 아니라 주제가 정말 복잡하고 신중한 설명이 필요하다는 사실 때문에 발생합니다.
예를 들어, Wikipedia에서 빅 데이터가 무엇인지 읽고 아무 것도 이해하지 못한 다음 이 문서로 돌아와 비즈니스에 대한 정의와 적용 가능성을 이해할 수 있습니다. 이제 설명부터 시작한 다음 비즈니스에 대한 예를 살펴보겠습니다.
빅데이터는 빅데이터다. 놀랍지 않나요? 실제로 이것은 영어로 "빅 데이터"로 번역됩니다. 그러나 이 정의는 인형을 위한 것이라고 말할 수도 있습니다.
중요한. 빅데이터 기술은 기존 방식으로는 처리하기 어려운 새로운 정보를 얻기 위해 더 많은 데이터를 처리하는 접근 방식/방법이다.
데이터는 처리(구조화)되거나 분산(즉, 구조화되지 않음)될 수 있습니다.
용어 자체는 비교적 최근에 나타났습니다. 2008년에 한 과학 저널에서는 기하급수적으로 증가하는 대량의 정보를 처리하는 데 이러한 접근 방식이 필요하다고 예측했습니다.
예를 들어, 인터넷에 저장하고 처리해야 하는 정보가 매년 40%씩 증가합니다. 다시. +40% 매년 새로운 정보가 인터넷에 나타납니다.
인쇄된 문서가 명확하고 처리 방법도 명확한 경우(전자 형식으로 전송, 하나의 폴더, 번호로 연결) 완전히 다른 "미디어" 및 기타 볼륨에 표시되는 정보를 어떻게 처리해야 할까요?
- 인터넷 문서;
- 블로그 및 소셜 네트워크;
- 오디오/비디오 소스;
- 측정 장치;
정보나 데이터를 빅데이터로 분류할 수 있는 특징이 있습니다.
즉, 모든 데이터가 분석에 적합한 것은 아닙니다. 이러한 특징은 빅데이터의 핵심 개념을 정확하게 담고 있습니다. 그들은 모두 세 개의 V에 맞습니다.
- 볼륨 (영어 볼륨에서). 데이터는 분석할 "문서"의 물리적 볼륨 측면에서 측정됩니다.
- 속도 (영어 속도에서). 데이터는 개발 중에 가만히 있지 않고 지속적으로 증가하고 있습니다. 따라서 결과를 얻으려면 빠른 처리가 필요합니다.
- 다양성 (영어 다양성에서). 데이터의 형식이 동일하지 않을 수 있습니다. 즉, 분산되거나 구조화되거나 부분적으로 구조화될 수 있습니다.
그러나 때때로 네 번째 V(진실성)와 심지어 다섯 번째 V가 VVV에 추가됩니다(어떤 경우에는 이것이 실행 가능성이고 다른 경우에는 가치입니다).
어디선가 빅데이터 관련 데이터를 특징짓는 7V도 본 적이 있다. 그러나 제 생각에는 이것은 시리즈에서 나온 것입니다 (처음 4개면 이해하기에 충분하지만 P가 주기적으로 추가되는 경우).
누가 이것을 필요로 합니까?
논리적인 질문이 생깁니다. 정보를 어떻게 사용할 수 있습니까(빅 데이터는 수십, 수천 테라바이트에 달합니까)? 그것도 아닙니다.
여기에 정보가 있습니다. 그렇다면 빅데이트는 왜 발명되었을까? 마케팅과 비즈니스에서 빅데이터는 어떻게 활용되나요?
- 기존 데이터베이스는 엄청난 양의 정보를 저장하고 처리할 수 없습니다(지금은 분석에 대해 말하는 것이 아니라 단순히 저장하고 처리하는 것뿐입니다).
빅데이터는 이 주요 문제를 해결합니다. 대량의 정보를 성공적으로 저장하고 관리합니다.
- 다양한 소스(비디오, 이미지, 오디오 및 텍스트 문서)에서 나오는 정보를 하나의 이해 가능하고 소화 가능한 형식으로 구조화합니다.
- 구조화되고 처리된 정보를 기반으로 분석을 생성하고 정확한 예측을 생성합니다.
복잡해요. 간단히 말해서, 많은 양의 정보(귀하, 귀하의 회사, 경쟁업체, 업계에 대한 정보)를 연구하면 매우 괜찮은 결과를 얻을 수 있다는 것을 이해하는 마케터라면 누구나 다음과 같은 결과를 얻을 수 있습니다.
- 숫자 측면에서 귀하의 회사와 귀하의 비즈니스에 대한 완전한 이해;
- 경쟁사를 연구하십시오. 그리고 이는 결국 그들을 지배함으로써 앞서 나가는 것을 가능하게 할 것입니다.
- 고객에 대한 새로운 정보를 알아보세요.
그리고 바로 빅데이터 기술이 다음과 같은 결과를 낳기 때문에 모두가 달려들고 있는 것입니다.
그들은 매출을 늘리고 비용을 절감하기 위해 이 사업을 회사에 통합하려고 합니다. 구체적으로 말하면:
- 고객 선호도에 대한 더 나은 지식으로 인한 교차 판매 및 추가 판매 증가
- 인기 제품과 사람들이 해당 제품을 구매하는 이유(또는 그 반대)를 검색합니다.
- 제품 또는 서비스 개선
- 서비스 수준 향상
- 충성도 및 고객 중심 향상
- 사기 예방(은행 부문과 더 관련이 있음)
- 불필요한 비용을 줄입니다.
모든 출처에서 제공되는 가장 일반적인 예는 물론 사용자(전화, 시계, 컴퓨터)에 대한 데이터를 수집하는 Apple 회사입니다.
기업이 사용자에 대해 많은 것을 알고 이를 활용하여 수익을 창출하는 것은 생태계의 존재 때문입니다.
이 기사를 제외한 다른 기사에서 이러한 사용 예와 기타 사용 예를 읽을 수 있습니다.
미래로 가자
또 다른 프로젝트에 대해 말씀 드리겠습니다. 혹은 빅데이터 솔루션을 활용해 미래를 만들어가는 사람에 대한 이야기다.
이것은 Elon Musk와 그의 회사 Tesla입니다. 그의 주된 꿈은 자동차를 자율적으로 만드는 것입니다. 즉, 운전석에 앉아 모스크바에서 블라디보스토크까지 자동 조종 장치를 켜고... 잠에 드는 것입니다. 왜냐하면 차를 전혀 운전할 필요가 없기 때문입니다. 모든 것 자체.
환상적일 것 같나요? 하지만! 수십 개의 위성을 사용해 자동차를 제어하는 구글보다 엘론이 훨씬 더 현명하게 행동했을 뿐이다. 그리고 그는 다른 방향으로 갔다:
- 판매되는 모든 차량에는 모든 정보를 수집하는 컴퓨터가 장착되어 있습니다.
모두 - 이것은 모든 것을 의미합니다. 운전자, 그의 운전 스타일, 주변 도로, 다른 자동차의 움직임에 대해. 이러한 데이터의 양은 시간당 20-30GB에 이릅니다.
- 다음으로, 이 정보는 위성 통신을 통해 이 데이터를 처리하는 중앙 컴퓨터로 전송됩니다.
- 이 컴퓨터가 처리한 빅데이터를 바탕으로 무인자동차 모델이 만들어진다.
그건 그렇고, Google의 실적이 매우 나쁘고 자동차가 항상 사고를 당한다면 Musk는 빅 데이터로 작업하고 있다는 사실로 인해 테스트 모델이 매우 좋은 결과를 보여주기 때문에 훨씬 더 잘하고 있습니다.
https://youtu.be/lc2ZVUZ6kno
하지만... 그것은 모두 경제에 관한 것입니다. 우리 모두는 이익에 관한 것이 아니라 이익에 관한 것입니까? 중요한 데이트가 결정될 수 있는 많은 부분은 수입이나 돈과 전혀 관련이 없습니다.
빅데이터를 기반으로 한 구글 통계를 보면 흥미로운 사실이 드러난다.
의사가 특정 지역에서 질병 유행의 시작을 발표하기 전에 해당 지역에서 이 질병의 치료에 대한 검색어 수가 크게 증가합니다.
따라서 데이터와 분석에 대한 적절한 연구는 공식 기관의 결론과 조치보다 훨씬 빠르게 예측을 형성하고 전염병의 시작(따라서 예방)을 예측할 수 있습니다.
러시아에서의 적용
그러나 러시아는 늘 그렇듯이 약간 "속도가 느려지고" 있습니다. 따라서 러시아에서 빅 데이터에 대한 정의는 불과 5년 전에 나타났습니다(지금은 일반 기업에 대해 이야기하고 있습니다).
그리고 이것은 세계에서 가장 빠르게 성장하는 시장 중 하나라는 사실에도 불구하고(마약과 무기는 옆에서 초조하게 연기를 냅니다), 빅 데이터를 수집하고 분석하는 소프트웨어 시장이 매년 32%씩 성장하기 때문입니다.
러시아의 빅데이터 시장을 특징짓기 위해 나는 오래된 농담 하나를 기억합니다. 중요한 데이트는 18세가 되기 전에 섹스를 하는 것과 같습니다.
모두가 그것에 대해 이야기하고 있고, 주변에 과대광고가 많고 실제 행동은 거의 없으며, 모두가 자신이 이것을 하지 않는다는 것을 인정하는 것을 부끄러워합니다. 실제로 이에 대한 과대광고는 많지만 실제 조치는 거의 없습니다.
잘 알려진 연구 회사인 Gartner는 이미 2015년에 빅 데이터가 더 이상 증가 추세(예: 인공 지능)가 아니라 고급 기술의 분석 및 개발을 위한 완전히 독립적인 도구라고 발표했습니다.
러시아에서 빅 데이터가 가장 활발하게 사용되는 틈새 시장은 은행/보험(제가 Sberbank의 수장과 함께 이 기사를 시작한 것은 아무것도 아닙니다), 통신 부문, 소매, 부동산 및... 공공 부문입니다.
예를 들어, 빅데이터 알고리즘을 사용하는 몇 가지 경제 부문에 대해 자세히 설명하겠습니다.
은행
은행과 그들이 우리와 우리의 행동에 대해 수집하는 정보부터 시작하겠습니다. 예를 들어, 저는 빅데이터에 적극적으로 투자하고 있는 러시아 상위 5개 은행을 선택했습니다.
- 스베르방크;
- 가즈프롬은행;
- VTB 24;
- 알파 은행;
- 틴코프 은행.
러시아 지도자들 사이에서 알파 은행을 만나는 것은 특히 즐겁습니다. 최소한 귀하가 공식 파트너인 은행이 회사에 새로운 마케팅 도구를 도입할 필요성을 이해하고 있다는 사실을 아는 것은 좋습니다.
하지만 창업자의 파격적인 시각과 행동이 마음에 드는 은행에서 빅데이터를 활용하고 성공적으로 구현한 사례를 보여주고 싶다.
Tinkoff Bank에 대해 이야기하고 있습니다. 고객 기반이 늘어나면서 빅데이터를 실시간으로 분석할 수 있는 시스템을 개발하는 것이 주요 과제였습니다.
결과: 내부 프로세스 시간이 최소 10배, 일부에서는 100배 이상 단축되었습니다.
글쎄, 약간의주의가 산만 해졌습니다. 내가 왜 Oleg Tinkov의 특이한 장난과 행동에 대해 이야기하기 시작했는지 아십니까?
제 생각에는 그가 러시아에 수천 명이 있는 평범한 사업가에서 가장 유명하고 인정받는 기업가 중 한 명으로 변신하는 데 도움을 준 것은 바로 그들이었습니다. 이를 확인하려면 다음의 독특하고 흥미로운 비디오를 시청하십시오.
https://youtu.be/XHMaD5HAvfk
부동산
부동산에서는 모든 것이 훨씬 더 복잡합니다. 이것이 바로 일반 비즈니스의 중요한 날짜를 이해하기 위해 제가 여러분에게 드리고 싶은 예입니다. 초기 데이터:
- 대량의 텍스트 문서;
- 오픈 소스(지구 변화에 대한 데이터를 전송하는 개인 위성)
- 인터넷에는 통제되지 않은 엄청난 양의 정보가 있습니다.
- 소스와 데이터의 지속적인 변화.
그리고 이를 바탕으로 우랄 마을 근처와 같은 토지의 가치를 준비하고 평가해야 합니다. 전문가가 이를 수행하려면 일주일이 걸릴 것입니다.
실제 소프트웨어를 활용해 빅데이터 분석을 구현한 러시아 감정인협회&ROSEKO의 여유로운 작업 시간은 30분도 채 걸리지 않는다. 비교해보세요, 일주일 30분. 큰 차이입니다.
뭐, 간식으로
물론 단순한 하드 드라이브에는 엄청난 양의 정보를 저장하고 처리할 수 없습니다.
그리고 데이터를 구조화하고 분석하는 소프트웨어는 일반적으로 지적 재산이며 매번 작성자의 개발입니다. 그러나 이 모든 아름다움을 창조하는 데 기초가 되는 도구가 있습니다.
- 하둡 및 맵리듀스;
- NoSQL 데이터베이스;
- 데이터 검색 수업 도구.
솔직히 말해서 물리학과 수학 연구소에서 이러한 것들을 알고 작업하는 것을 가르치기 때문에 서로 어떻게 다른지 명확하게 설명할 수 없습니다.
내가 설명할 수 없다면 왜 이 이야기를 했을까? 모든 영화에서 강도가 은행에 들어가서 전선에 연결된 수많은 종류의 하드웨어를 본 것을 기억하십니까?
빅데이트에서도 마찬가지다. 예를 들어, 현재 시장의 선두주자 중 하나인 모델이 있습니다.
빅 데이트 도구
최대 구성 비용은 랙당 2,700만 루블에 이릅니다. 물론 디럭스 버전입니다. 여러분의 비즈니스에서도 빅데이터 생성을 미리 시도해보시길 바랍니다.
주요 사항에 대해 간략하게
중소기업인 귀사는 왜 빅데이터를 활용해야 합니까?라고 물으실 수 있습니다.
이에 대해 저는 한 사람의 말을 인용하여 답변해 드리겠습니다. "가까운 미래에 고객은 자신의 행동과 습관을 더 잘 이해하고 자신에게 가장 적합한 회사를 요구할 것입니다."
하지만 현실을 직시하자. 소규모 기업에서 빅데이터를 구현하려면 소프트웨어 개발 및 구현을 위한 막대한 예산은 물론, 적어도 빅데이터 분석가, 시스템 관리자 등 전문가의 유지를 위한 막대한 예산이 필요하다.
그리고 이제 나는 처리를 위해 그러한 데이터가 필요하다는 사실에 대해 침묵합니다.
좋아요. 이 주제는 중소기업에는 거의 적용되지 않습니다. 그러나 이것이 위에서 읽은 모든 내용을 잊어야 한다는 의미는 아닙니다.
귀하의 데이터가 아니라 잘 알려진 외국 및 러시아 회사의 데이터 분석 결과를 연구하십시오.
예를 들어, 소매 체인 Target은 빅데이터 분석을 활용하여 임신 2기(임신 1~12주) 이전의 임산부들이 UN 향 제품을 적극적으로 구매하고 있음을 발견했습니다.
이 데이터를 사용하여 무향 제품에 대한 기간 한정 할인 쿠폰을 보냅니다.
예를 들어 아주 작은 카페라면 어떨까요? 예, 매우 간단합니다. 로열티 앱을 사용하세요.
그리고 시간이 지나면 축적된 정보 덕분에 고객의 요구에 맞는 요리를 제공할 수 있을 뿐만 아니라 단 몇 번의 마우스 클릭만으로 가장 많이 팔리지 않고 가장 수익성이 높은 요리를 볼 수도 있습니다.
따라서 결론. 중소기업이 빅데이터를 도입할 가능성은 낮지만, 다른 기업의 성과와 발전을 활용하는 것은 필수적이다.
빅 데이터 또는 빅 데이터는 정보 기술 및 마케팅에 사용되는 개념입니다. 빅데이터라는 용어는 대용량의 분석과 관리를 정의하는 데 사용됩니다. 따라서 빅데이터는 그 양이 많기 때문에 전통적인 방법으로는 처리할 수 없는 정보입니다.
현대 생활은 디지털 기술 없이는 상상할 수 없습니다. 전 세계의 데이터 웨어하우스는 지속적으로 보충되고 있으므로 정보 저장 조건을 지속적으로 변경하고 미디어 볼륨을 늘리는 새로운 방법을 찾는 것도 필요합니다. 전문가 의견에 따르면 증가폭은 빅 데이터증가하는 성장률은 현재의 현실입니다. 이미 언급했듯이 정보는 끊임없이 나타납니다. 정보 사이트, 다양한 파일 공유 서비스 및 소셜 네트워크에서 엄청난 양이 생성되지만 이는 전체 생성량의 작은 부분에 불과합니다.
IDC Digital Universe는 연구를 수행한 후 5년 안에 지구 전체의 데이터 양이 40제타바이트에 도달할 것이라고 밝혔습니다. 이는 지구상의 모든 사람이 5200GB의 정보를 갖게 된다는 것을 의미합니다.
이달의 베스트 기사
2018년 상반기가 끝나갑니다. 이제 중간 결과를 정리할 차례입니다. 이전 기간에 비해 회사의 상업적 성과가 향상되었다고 하더라도 회사 업무에 문제를 일으킬 수 있는 숨은 어려움이 없는지 확인하십시오.
문제를 진단하려면 기사의 체크리스트를 작성하고 비즈니스의 어느 측면에 주의를 기울여야 하는지 알아보세요.
정보의 주요 생산자는 사람이 아니라는 것은 상식이다. 정보데이터를 가져오는 주요 소스는 끊임없이 상호작용하는 로봇이다. 여기에는 컴퓨터, 태블릿, 휴대폰의 운영 체제, 지능형 시스템, 모니터링 도구, 감시 시스템 등이 포함됩니다. 함께, 그들은 데이터 양의 빠른 증가율을 설정했습니다. 이는 실제 서버와 가상 서버를 모두 생성해야 할 필요성이 증가하고 있음을 의미합니다. 종합하면, 이는 새로운 데이터 센터의 확장 및 구현으로 이어집니다.
흔히 빅데이터는 PC 하드 드라이브의 용량을 초과하는 정보로 정의되며, 더 작은 용량의 정보를 처리하고 분석하는 데 사용되는 전통적인 방법으로는 처리할 수 없습니다.
요약하자면, 빅데이터 처리 기술은 궁극적으로 3가지 주요 영역으로 귀결되며, 이는 결국 3가지 유형의 문제를 해결합니다.
- 관계형 데이터베이스가 효과적으로 사용할 수 없는 최대 수백 테라바이트 및 페타바이트에 달하는 방대한 양의 데이터를 저장하고 관리합니다.
- 구조화되지 않은 정보(텍스트, 이미지, 비디오 및 기타 유형의 데이터) 구성.
- 빅 데이터 분석(빅 데이터 분석) - 구조화되지 않은 정보로 작업하고, 분석 데이터 보고서를 작성하고, 예측 모델을 도입하는 방법을 다룹니다.
프로젝트 시장큰데이터 VA 시장(비즈니스 분석)과 긴밀하게 연결되어 있으며, 2012년 규모는 약 1000억 달러에 달했으며 여기에는 네트워크 기술, 소프트웨어, 기술 서비스 및 서버가 포함됩니다.
기업 활동, 특히 소득 보장(RA) 솔루션의 자동화도 빅데이터 기술의 사용과 불가분의 관계가 있습니다. 오늘날 이 분야의 시스템에는 불일치를 감지하고 심층적인 데이터 분석을 위해 사용되는 도구가 포함되어 있으며, 해당 부문의 결과를 감소시킬 수 있는 정보의 손실이나 부정확성을 식별하는 데도 도움이 됩니다.
러시아 기업들은 빅 데이터 기술에 대한 수요가 있음을 확인했으며, 러시아의 빅 데이터 개발에 영향을 미치는 주요 요인은 데이터 양의 증가, 경영 결정의 신속한 채택 및 품질 향상이라고 별도로 언급했습니다.
빅데이터는 마케팅에서 어떤 역할을 할까요?
정보를 사용하는 방법을 알고 있다면 정보가 성공적인 예측 및 마케팅 전략 개발의 주요 구성 요소 중 하나라는 것은 비밀이 아닙니다.
빅데이터 분석은 타겟 고객, 관심분야 및 활동을 결정하는 데 필수적입니다. 즉, 빅데이터를 능숙하게 활용하면 기업의 발전을 정확하게 예측할 수 있다는 것이다.
예를 들어, 잘 알려진 RTB 경매 모델을 사용하면 빅데이터 분석을 통해 서비스나 제품 구매에 관심이 있는 잠재 구매자에게만 광고가 표시되도록 하는 것이 쉽습니다.
애플리케이션마케팅의 빅데이터:
- 잠재적인 구매자를 인식하고 인터넷에서 적절한 청중을 유치할 수 있습니다.
- 만족도를 평가하는 데 도움이 됩니다.
- 구매자의 요구에 맞춰 제공되는 서비스를 맞추는 데 도움이 됩니다.
- 고객 충성도를 높이기 위한 새로운 방법의 검색 및 구현을 촉진합니다.
- 향후 수요가 있을 프로젝트 생성을 단순화합니다.
특별한 예는 Google.trends 서비스입니다. 이를 통해 마케터는 특정 제품에 대한 시즌 예측, 클릭 수 및 변동 지역을 파악할 수 있습니다. 따라서 수신된 정보를 자신의 웹 사이트 통계와 비교하면 지역 및 월을 나타내는 광고 예산을 작성하는 것이 매우 쉽습니다.
- 광고예산 배분: 어디에 쓸 가치가 있는가 l>
- 빅데이터는 빅데이터의 개념을 정의하는 비즈니스 분석보다 훨씬 더 많은 양의 정보를 처리하는 데 사용됩니다.
- 빅데이터의 도움으로 빠르게 수신되고 변경되는 데이터를 처리할 수 있으며, 이는 상호작용으로 이어집니다. 즉, 대부분의 경우 웹페이지 로딩 속도는 결과 생성 속도보다 느립니다.
- 빅데이터는 구조가 없는 데이터를 처리할 때 사용할 수 있으며, 저장 및 수집이 보장된 후에 작업을 시작해야 합니다. 또한 생성된 어레이의 주요 패턴을 식별할 수 있는 알고리즘을 적용하는 것이 필요하다.
- 가설을 세우는 것;
- 정적, 시각적, 의미론적 모델 구축
- 지정된 모델을 기반으로 가설의 타당성을 테스트합니다.
- 다음과 같은 가설을 내세운다.
빅데이터 빅데이터를 저장하는 방법과 위치
파일 시스템- 빅데이터를 정리하고 저장하는 곳입니다. 모든 정보는 PC의 수많은 하드 드라이브에 있습니다.
"지도"- 지도 - 각 정보가 직접 저장된 위치를 추적합니다.
예상치 못한 상황에 대비하기 위해 각 정보를 여러 번 저장하는 것이 일반적입니다. 이렇게 하는 것이 좋습니다. 세 번.
예를 들어, 소매 체인에서 개별 거래를 수집한 후 각 개별 거래에 대한 모든 정보는 여러 서버와 하드 드라이브에 저장되고 "지도"는 각 특정 거래에 대한 파일 위치를 색인화합니다.
대량의 데이터 저장소를 구성하려면 표준 기술 장비와 공개적으로 사용 가능한 소프트웨어(예: Hadoop)를 사용할 수 있습니다.
빅데이터와 비즈니스 분석: 개념의 차이
오늘날 비즈니스 분석은 특정 기간 동안 달성된 결과를 설명하는 프로세스입니다. 현재 빅 데이터 처리 속도로 인해 분석이 예측 가능해집니다. 앞으로는 그의 추천을 믿을 수 있습니다. 빅데이터 기술을 사용하면 비즈니스 분석에 사용되는 도구 및 도구에 비해 더 많은 유형의 데이터를 분석할 수 있습니다. 이를 통해 데이터가 구조화된 웨어하우스에 집중할 수 있을 뿐만 아니라 훨씬 더 광범위한 리소스를 사용할 수 있습니다.
비즈니스 분석과 빅데이터는 여러 면에서 유사하지만 다음과 같은 차이점이 있습니다.
비즈니스 분석 프로세스는 빅데이터 작업과 그다지 유사하지 않습니다. 일반적으로 비즈니스 분석은 특정 값을 추가하여 결과를 얻는 경향이 있습니다. 예를 들어 모든 지불 송장의 합계로 계산되는 연간 판매량이 있습니다. 빅데이터 작업 과정에서 단계별로 모델을 구축하여 계산이 이루어집니다.
연구주기를 완성하려면 시각적 의미(상호작용형 지식 기반 쿼리)를 해석하는 것이 필요합니다. 적응형 기계 학습 알고리즘도 개발할 수 있습니다.
전문가의 의견
분석가의 의견에만 맹목적으로 의존할 수는 없습니다.
뱌체슬라프 나자로프,
모스크바 아르코스 러시아 대표사무소 사무총장
약 1년 전, 전문가의 의견을 바탕으로 우리는 완전히 새로운 태블릿과 게임 콘솔을 시장에 출시했습니다. 컴팩트함과 충분한 기술력은 컴퓨터 게임 팬들 사이에서 인정을 받았습니다. 이 그룹은 "좁음"에도 불구하고 구매력이 상당히 높았습니다. 처음에는 신제품이 언론을 통해 많은 호평을 받았고, 파트너사로부터 좋은 평가를 받았습니다. 그러나 태블릿 판매량이 상당히 낮다는 것이 곧 분명해졌습니다. 이 솔루션은 대중적인 인기를 얻지 못했습니다.
오류. 우리의 결점은 대상 청중의 관심사가 완전히 연구되지 않았다는 것입니다. 태블릿에서 플레이하는 것을 선호하는 사용자는 주로 간단한 게임을 하기 때문에 슈퍼 그래픽이 필요하지 않습니다. 진지한 게이머들은 이미 고급 플랫폼의 컴퓨터에서 플레이하는 데 익숙합니다. 우리 제품에 대한 대규모 광고는 없었고 마케팅 캠페인도 약했으며 궁극적으로 태블릿은 지정된 그룹에서 구매자를 찾지 못했습니다.
결과. 제품 생산량은 원래 계획된 물량에 비해 거의 40%까지 줄여야 했습니다. 물론 큰 손실도 없었고 계획된 이익도 없었습니다. 그러나 이로 인해 우리는 몇 가지 전략적 목표를 조정해야 했습니다. 우리가 돌이킬 수 없이 잃어버린 가장 귀중한 것은 시간입니다.
조언. 앞으로 생각해야합니다. 제품 라인은 2~3단계 앞서 계산되어야 합니다. 무슨 뜻이에요? 오늘 특정 모델 범위를 출시할 때 내일의 운명을 이해하고 적어도 1년 반 후에 무슨 일이 일어날지에 대한 대략적인 그림을 갖는 것이 바람직합니다. 물론 완전한 세부 사항은 불가능하지만 기본 계획은 여전히 수립되어야 합니다.
그리고 분석가를 전적으로 신뢰해서는 안 됩니다. 전문가의 평가는 자신의 통계 데이터는 물론 시장의 운영 상황과도 비교되어야 합니다. 제품이 완전히 개발되지 않은 경우 시장에 출시해서는 안됩니다. 왜냐하면 구매자에게는 첫인상이 가장 중요하고 그를 설득하는 것이 쉬운 일이 아니기 때문입니다.
실패할 경우 매우 중요한 팁은 빠른 결정을 내리는 것입니다. 절대 보고만 기다릴 수는 없습니다. 지체 없이 문제를 해결하는 것은 방치된 문제를 해결하는 것보다 항상 훨씬 쉽고 저렴합니다.
빅데이터 시스템은 어떤 문제를 야기하는가?
빅 데이터 시스템에는 세 가지 주요 문제 그룹이 있으며, 외국 문헌에서는 볼륨(Volume), 속도(Velocity) 및 다양성(Variety)의 3V로 결합됩니다.
- 용량.
- 처리 속도.
- 구조가 부족합니다.
많은 양의 정보를 저장하는 문제는 특정 조건을 구성해야 할 필요성, 즉 공간과 기회의 생성과 관련이 있습니다. 속도는 오래된 처리 방법을 사용할 때 속도 저하 및 제동과 관련이 없지만 상호 작용과 관련이 있습니다. 정보 처리 프로세스가 빠를수록 결과의 생산성이 높아집니다.
- 구조화되지 않은 문제는 소스, 형식 및 품질의 분리에서 비롯됩니다. 빅데이터를 성공적으로 통합하고 처리하려면 준비 작업과 분석 도구 또는 시스템 작업이 모두 필요합니다.
- 데이터의 '크기'에 대한 제한도 큰 영향을 미칩니다. 가치를 판단하는 것은 꽤 어려운 일이고, 이를 바탕으로 어떤 금융적 투자가 필요할지, 어떤 기술이 필요할지 계산하는 것도 문제가 된다. 그러나 오늘날 테라바이트와 같은 특정 수량의 경우 새로운 처리 방법이 성공적으로 사용되고 있으며 지속적으로 개선되고 있습니다.
- 빅 데이터 작업에 대해 일반적으로 인정되는 원칙이 없다는 점은 앞서 언급한 흐름의 이질성으로 인해 복잡해지는 또 다른 문제입니다. 이 문제를 해결하기 위해 새로운 빅데이터 분석 방법이 탄생하고 있습니다. 뉴욕, 워싱턴, 캘리포니아 대학 대표들의 진술을 바탕으로 별도의 학문과 빅 데이터 과학의 창설이 멀지 않았습니다. 기업들이 빅데이터 관련 프로젝트를 서두르지 않는 주된 이유도 여기에 있다. 또 다른 요인은 높은 비용이다.
- 분석을 위한 데이터 선택과 조치 알고리즘에도 어려움이 발생합니다. 현재까지 어떤 데이터가 귀중한 정보를 전달하고 빅데이터 분석이 필요한지, 어떤 데이터가 무시될 수 있는지에 대한 이해가 없습니다. 이 상황에서 한 가지 더 분명해집니다. 심층 분석에 대처하고 문제 해결에 대한 보고서를 작성하여 이익을 가져올 수 있는 업계 전문가가 시장에 충분하지 않다는 것입니다.
- 질문에는 도덕적인 측면도 있습니다. 사용자가 모르는 사이에 데이터를 수집하는 것은 심각한 개인 정보 침해와 다른가요? 데이터 수집이 삶의 질을 향상시킨다는 점은 주목할 가치가 있습니다. 예를 들어 Google 및 Yandex 시스템의 지속적인 데이터 수집은 기업이 소비자 요구에 따라 서비스를 개선하는 데 도움이 됩니다. 이러한 서비스 시스템은 모든 사용자 클릭, 사용자의 위치 및 방문한 사이트, 모든 메시지 및 구매 내역을 기록하며, 이를 통해 사용자 행동을 기반으로 광고를 표시할 수 있습니다. 사용자는 데이터 수집에 동의하지 않았습니다. 그러한 선택이 제공되지 않았습니다. 이는 다음 문제로 이어집니다. 정보가 얼마나 안전하게 저장되어 있습니까? 예를 들어 잠재 구매자에 대한 정보, 구매 내역 및 다양한 사이트로의 전환은 많은 비즈니스 문제를 해결하는 데 도움이 될 수 있지만 구매자가 사용하는 플랫폼이 안전한지 여부는 매우 논란의 여지가 있는 문제입니다. 많은 사람들은 오늘날 단일 데이터 저장 시설, 심지어 군용 서버조차도 해커 공격으로부터 충분히 보호되지 않는다는 사실에 호소합니다.
- 영업비밀: 공개 시 보호 및 처벌
빅데이터의 단계별 활용
스테이지 1. 전략적 프로젝트에서 회사의 기술 구현.
기술 전문가의 임무에는 개발 개념의 예비 개발, 즉 가장 필요한 영역의 개발 경로 분석이 포함됩니다.
구성과 작업을 결정하기 위해 고객과 대화를 나누고 그 결과 필요한 리소스가 분석됩니다. 동시에 조직은 모든 작업을 완전히 아웃소싱하거나 이 조직과 다른 조직의 전문가로 구성된 하이브리드 팀을 만들기로 결정합니다.
통계에 따르면 많은 회사가 정확히 이 계획을 사용합니다. 내부에는 전문가 팀이 있고 작업 품질을 모니터링하고 움직임을 형성하고 외부에서는 모든 방향의 발전에 대한 가설을 직접 테스트합니다.
2단계: 데이터 과학자 찾기.
관리자는 근로자의 직원을 집단적으로 조립합니다. 그는 또한 프로젝트 개발을 담당하고 있습니다. HR 직원은 내부 팀을 구성하는 데 직접적인 역할을 합니다.
우선, 그러한 팀에는 데이터 분석 엔지니어라고도 알려진 데이터 분석 엔지니어가 필요합니다. 데이터 과학자, 가설을 세우고 다양한 정보를 분석하는 작업을 담당합니다. 그가 식별한 상관관계는 미래에 새로운 제품과 서비스를 확립하는 데 사용될 것입니다.
특히 초기 단계에서는 중요합니다. HR 부서의 임무. 직원들은 프로젝트 개발을 목표로 하는 작업을 정확히 누가 수행할 것인지, 어디서 얻을 것인지, 어떻게 동기를 부여할 것인지를 결정합니다. 데이터 분석 엔지니어를 찾는 것이 그리 쉽지 않기 때문에 이것은 "조각 제품"입니다.
모든 진지한 회사에는 이 프로필의 전문가가 있어야 합니다. 그렇지 않으면 프로젝트의 초점이 상실됩니다. 분석 엔지니어 통합: 개발자, 분석가 및 비즈니스 분석가. 또한, 자신의 활동 결과를 보여줄 수 있는 의사소통 능력과 자신의 생각을 구체적으로 설명할 수 있는 풍부한 지식과 기술이 있어야 합니다.
- 인생의 큰 변화를 시작하는 24가지 생각
검색 예시
1. 모스크바에 택시회사 '빅데이터'가 설립됐다. 경로를 따라 승객들은 전문 분석 분야의 작업에 응답했습니다. 승객이 대부분의 질문에 정확하게 대답하면 회사는 그에게 일자리를 제안했습니다. 이러한 유형의 인력 선발 기술의 가장 큰 단점은 대다수가 이러한 유형의 프로젝트에 참여하기를 꺼린다는 것입니다. 인터뷰에 동의한 사람은 소수에 불과했습니다.
2. 일종의 상금을 수여하는 비즈니스 분석 특별 대회를 개최합니다. 러시아의 한 대형 은행이 이 방법을 사용했습니다. 그 결과 해커톤 대회에는 1,000명 이상이 참가했다. 경쟁에서 가장 높은 성공을 거둔 사람들에게는 일자리가 제공되었습니다. 불행하게도 대부분의 우승자들은 그들의 동기가 상일 뿐이었기 때문에 그 자리를 받고 싶은 욕구를 표현하지 않았습니다. 그러나 여전히 몇몇 사람들이 팀에서 일하기로 동의했습니다.
3. 비즈니스 분석을 이해하고 올바른 행동 알고리즘을 구축하여 질서를 회복할 수 있는 데이터 전문가를 찾아보세요. 전문 분석가에게 필요한 기술에는 프로그래밍, Python, R, Statistica, Rapidminer에 대한 지식 및 비즈니스 분석가에게 그다지 중요하지 않은 기타 지식이 포함됩니다.
3단계. 개발을 위한 팀 만들기.
잘 조율된 팀이 필요합니다. 회사 혁신과 같은 고급 분석을 고려할 때 관리자는 비즈니스 인텔리전스를 생성하고 개발해야 합니다.
연구 엔지니어선택한 벡터의 성공적인 개발을 위한 가설을 구축하고 테스트하는 데 참여합니다.
머리에선택한 사업 부문의 개발을 조직하고, 새로운 제품을 만들고, 이를 고객과 조정하는 것이 필요합니다. 또한 그의 책임에는 비즈니스 사례 계산도 포함됩니다.
개발 관리자모든 사람과 긴밀히 협력해야 합니다. 분석 엔지니어와 사업 개발 관리자는 프로젝트의 다양한 영역을 담당하는 직원들과의 미팅을 통해 빅데이터 분석의 필요성과 기회를 파악합니다. 상황을 분석한 후 관리자는 사례를 작성하고 이를 통해 회사는 방향, 서비스 또는 제품의 추가 개발에 대한 결정을 내립니다.
- 개발 관리자: 요구 사항 및 직무 설명
b 작업의 3가지 원칙ig디아타
빅데이터 작업의 주요 방법을 강조할 수 있습니다.
- 수평적 확장성.엄청난 양의 데이터가 있어야 하기 때문에 많은 양의 정보를 처리하는 시스템은 확장이 가능합니다. 예를 들어, 데이터의 양이 여러 번 증가했다면 클러스터의 하드웨어 양도 그에 따라 같은 양만큼 증가한 것입니다.
- 결함 허용.수평 확장성의 원칙에 따라 클러스터에 많은 수의 머신이 있다는 결론을 내릴 수 있습니다. 예를 들어 Yahoo의 Hadoop 클러스터에는 42,000개 이상의 데이터가 있습니다. 빅 데이터를 사용하는 모든 방법은 가능한 오작동을 고려하고 결과 없이 문제에 대처할 수 있는 방법을 찾아야 합니다.
- 데이터 지역성.대규모 시스템에 저장된 데이터는 상당히 많은 수의 시스템에 분산됩니다. 따라서 데이터가 1번 서버에 저장되고 2번 서버에서 처리되는 상황에서는 처리 비용보다 전송 비용이 더 많이 들 가능성을 배제할 수 없습니다. 그렇기 때문에 설계하는 동안 데이터가 하나의 컴퓨터에 저장되고 처리되도록 하는 데 많은 주의를 기울입니다.
빅데이터를 다루는 모든 방법은 어떤 식으로든 이 세 가지 원칙을 준수합니다.
빅데이터 시스템을 활용하는 방법
다양한 비즈니스 영역에 대한 효과적인 빅 데이터 솔루션은 현재 존재하는 소프트웨어와 하드웨어의 다양한 조합을 통해 달성됩니다.
중요한 존엄성큰데이터- 이 분야에서 이미 사용된 도구와 함께 새로운 도구를 사용할 수 있는 능력. 이는 학제간 프로젝트가 진행되는 상황에서 특히 중요한 역할을 합니다. 예를 들어 다중 채널 판매 및 고객 지원이 있습니다.
빅데이터로 작업하려면 특정 순서가 중요합니다.
- 첫째, 데이터가 수집됩니다.
- 그러면 정보가 구조화됩니다. 이를 위해 대시보드가 사용됩니다( 대시보드 -구조화 도구;
- 다음 단계에서는 의사 결정을 위한 권장 사항이 형성되는 기반으로 통찰력과 맥락이 생성됩니다. 데이터 수집 비용이 높기 때문에 주요 작업은 얻은 정보의 사용 목적을 결정하는 것입니다.
예.광고대행사는 통신회사로부터 수집된 위치정보를 이용할 수 있습니다. 이 접근 방식은 타겟 광고를 제공합니다. 서비스 및 상품의 제공 및 판매와 관련된 다른 영역에도 동일한 정보가 적용됩니다.
이렇게 얻은 정보는 특정 지역에 매장을 오픈할지 여부를 결정하는 데 중요한 요소가 될 수 있습니다.
런던의 옥외 광고판을 사용하는 경우를 생각해 보면 오늘날 그러한 경험은 각 광고판 근처에 특수 측정 장치를 배치해야만 가능하다는 것은 의심의 여지가 없습니다. 동시에 이동통신사는 가입자에 대한 기본 정보(위치, 결혼 상태 등)를 항상 알고 있습니다.
빅데이터가 활용될 수 있는 또 다른 잠재적인 분야는 다양한 행사의 방문객 수에 대한 정보를 수집하는 것입니다.
예.축구 경기 주최자는 경기에 참석한 정확한 인원 수를 미리 알 수 없습니다. 그러나 이동통신사로부터 정보를 사용하면 그러한 정보를 받게 됩니다. 즉, 잠재 방문자가 경기 전 특정 기간(한 달, 일주일, 하루) 동안 위치하는 곳입니다. 주최측은 대상 청중의 선호도에 따라 이벤트 장소를 계획할 기회를 갖게 되는 것으로 나타났습니다.
빅데이터는 또한 처리된 데이터를 사용하여 부도덕한 카드 소지자를 식별할 수 있는 은행 부문에 비교할 수 없는 이점을 제공합니다.
예.카드 소지자가 분실 또는 도난 신고를 하면 은행에서는 결제에 사용된 카드와 소지자의 휴대폰 위치를 추적하여 정보의 진실성을 확인할 수 있습니다. 따라서 은행 담당자는 결제 카드와 소지자의 휴대폰이 동일한 영역에 있는지 확인할 수 있습니다. 이는 소유자가 카드를 사용한다는 의미입니다.
이러한 정보의 이점 덕분에 정보의 활용은 기업에 많은 새로운 기회를 제공하며 빅데이터 시장은 계속해서 발전하고 있습니다.
빅데이터를 구현하는데 가장 큰 어려움은 사례 계산의 복잡성이다. 이 과정은 많은 수의 미지의 존재로 인해 복잡해집니다.
미래에 대해 예측하는 것은 매우 어려운 반면, 과거에 대한 데이터는 항상 접근 가능한 것은 아닙니다. 이런 상황에서 가장 중요한 것은 초기 조치 계획:
- 빅데이터 처리 기술이 적용될 구체적인 문제를 결정하는 것은 개념을 결정하고 추가 조치를 위한 벡터를 설정하는 데 도움이 될 것입니다. 특히 이 문제에 대한 정보 수집에 중점을 두었으므로 더 명확한 그림을 얻기 위해 사용 가능한 모든 도구와 방법을 사용하는 것도 가치가 있습니다. 또한 이러한 접근 방식은 향후 의사 결정 과정을 크게 촉진할 것입니다.
- 특정 기술이나 경험이 없는 팀이 빅데이터 프로젝트를 수행할 가능성은 극히 낮습니다. 이러한 복잡한 연구에 사용되어야 하는 지식은 대개 오랜 노동을 통해 획득되기 때문에 이 분야에서는 이전 경험이 매우 중요합니다. 이러한 연구를 통해 얻은 정보를 활용하는 문화의 영향력은 과대평가하기 어렵다. 받은 자료를 남용하는 등 다양한 기회를 제공합니다. 정보를 좋은 목적으로 사용하려면 올바른 데이터 처리의 기본 규칙을 준수해야 합니다.
- 통찰력은 기술의 핵심가치입니다. 시장에는 여전히 사업 운영법, 정보의 중요성 및 정보 적용 범위를 이해하는 강력한 전문가가 크게 부족합니다. 데이터 분석이 목표를 달성하고 비즈니스를 발전시키는 핵심 방법이라는 사실을 무시할 수 없습니다. 특정 행동 및 인식 모델을 개발하기 위해 노력해야 합니다. 이럴 때 빅데이터는 비즈니스 문제 해결에 유익하고 긍정적인 역할을 할 것이다.
빅데이터 구현 성공사례
아래 나열된 사례 중 일부는 데이터 수집에서 더 성공적이었고, 다른 사례는 빅데이터 분석 및 연구 중에 얻은 데이터를 적용하는 방법에서 더 성공적이었습니다.
- « Tinkoff 신용 시스템» 대규모 병렬 컴퓨팅을 위해 EMC2 Greenplum 플랫폼을 사용했습니다. 은행 내 카드 사용자 흐름이 지속적으로 증가함에 따라 데이터 처리 속도를 더욱 빠르게 할 필요가 있었습니다. 빅데이터를 활용하고 구조화되지 않은 정보와 다양한 소스에서 얻은 기업 정보를 활용하기로 결정했습니다. 연방 데이터 웨어하우스의 분석 계층이 러시아 연방세청 웹사이트에 도입되고 있다는 사실이 전문가들의 관심을 끌었습니다. 이후 이를 기반으로 후속 처리 및 통계 데이터 획득을 위해 조세 시스템 데이터에 대한 액세스를 제공하는 공간을 구성할 계획입니다.
- 러시아 스타트업은 별도로 고려해 볼 가치가 있다 신케라,빅데이터 온라인 분석에 참여하고 Simplate 플랫폼을 개발했습니다. 결론은 많은 양의 데이터가 처리되고 소비자, 구매, 연령, 기분 및 정신 상태에 대한 데이터가 분석된다는 것입니다. 한 화장품 체인점에서는 계산대에 고객 감정을 인식할 수 있는 센서를 설치했습니다. 기분을 판단한 후 구매자 정보와 구매 시점을 분석합니다. 그 후 구매자는 할인 및 프로모션에 대한 타겟 정보를 받습니다. 이 솔루션은 소비자 충성도를 높이고 판매자의 수입을 늘릴 수 있었습니다.
- 기업에서 빅데이터 기술을 활용하는 사례 연구에 대해서도 이야기해야 합니다. 던킨 도넛,이전 예와 유사하게 온라인 분석을 사용하여 수익을 늘렸습니다. 따라서 소매점에서는 특별 상품을 진열해 놓았고, 그 내용은 매분 바뀌었습니다. 텍스트의 대체 기준은 시간과 재고가 있는 제품이었습니다. 현금 영수증을 통해 회사는 어떤 품목이 가장 수요가 많은지에 대한 정보를 받았습니다. 이 방법을 통해 우리는 수입과 재고 회전율을 높일 수 있었습니다.
따라서 빅데이터 처리는 비즈니스 문제 해결에 긍정적인 영향을 미친다. 물론 중요한 요소는 전략의 선택과 빅데이터 분야의 최신 개발 활용입니다.
회사에 대한 정보
아르코스.활동 분야: 전자 장비 생산 및 판매. 지역: 9개국(스페인, 중국, 러시아, 미국, 프랑스 등)에 영업 사무소가 열려 있습니다. 지점 직원 수: 5명(러시아 대표 사무소)
데이터 증가의 지속적인 가속화는 현대 현실의 필수 요소입니다. 소셜 네트워크, 모바일 장치, 측정 장치의 데이터, 비즈니스 정보는 엄청난 양의 데이터를 생성할 수 있는 소스 유형 중 일부일 뿐입니다.
요즘은 빅데이터라는 용어가 꽤 흔해졌습니다. 많은 양의 데이터를 처리하는 기술이 사회의 가장 다양한 측면을 얼마나 빠르고 깊이 변화시키고 있는지 아직 모든 사람이 인식하고 있는 것은 아닙니다. 기밀성, 무결성, 가용성 등과 같은 가장 중요한 측면이 최우선시되어야 하는 정보 보안 분야를 포함하여 다양한 영역에서 변화가 일어나고 있으며 새로운 문제와 과제가 발생하고 있습니다.
불행하게도 많은 현대 기업은 수집하고 저장하는 막대한 양의 데이터를 안전하게 저장하기 위한 적절한 인프라를 구축하지 않고 빅 데이터 기술에 의존하고 있습니다. 한편, 이를 비롯한 여러 가지 문제를 해결하기 위해 설계된 블록체인 기술은 현재 빠르게 발전하고 있습니다.
빅데이터란 무엇인가?
실제로 용어의 정의는 간단합니다. "빅 데이터"는 매우 큰 볼륨의 데이터 관리 및 분석을 의미합니다. 좀 더 넓게 보면, 이는 그 양이 많기 때문에 전통적인 방법으로는 처리할 수 없는 정보입니다.
빅데이터라는 용어 자체가 비교적 최근에 등장했습니다. Google Trends에 따르면 이 용어의 인기는 2011년 말에 활발하게 증가했습니다.
2010년에는 빅데이터 처리와 직접적으로 관련된 최초의 제품과 솔루션이 등장하기 시작했습니다. 2011년에는 IBM, Oracle, Microsoft, Hewlett-Packard를 포함한 대부분의 대형 IT 기업이 비즈니스 전략에 빅 데이터라는 용어를 적극적으로 사용하고 있습니다. 점차적으로 정보 기술 시장 분석가들은 이 개념에 대한 활발한 연구를 시작하고 있습니다.
현재 이 용어는 큰 인기를 얻었으며 다양한 분야에서 활발히 사용되고 있습니다. 그러나 빅 데이터가 근본적으로 새로운 현상이라고 확신할 수는 없습니다. 반대로 빅 데이터 소스는 수년 동안 존재해 왔습니다. 마케팅에서 여기에는 고객 구매, 신용 기록, 라이프스타일 등에 대한 데이터베이스가 포함됩니다. 수년에 걸쳐 분석가들은 이 데이터를 사용하여 기업이 미래의 고객 요구 사항을 예측하고, 위험을 평가하고, 소비자 선호도를 형성하는 데 도움을 주었습니다.
현재 상황은 두 가지 측면에서 변경되었습니다.
— 다양한 데이터 세트를 분석하고 비교하기 위한 보다 정교한 도구와 방법이 등장했습니다.
— 디지털 기술로의 광범위한 전환과 새로운 데이터 수집 및 측정 방법으로 인해 분석 도구는 많은 새로운 데이터 소스로 보완되었습니다.
연구자들은 빅데이터 기술이 제조, 의료, 무역, 정부행정 등 다양한 분야와 산업에서 가장 활발하게 활용될 것으로 예측하고 있다.
빅데이터는 특정한 데이터 배열이 아니라 이를 처리하는 일련의 방법입니다. 빅 데이터의 특징은 그 양뿐만 아니라 노동 집약적인 데이터 처리 및 분석 프로세스를 특징짓는 다른 범주에도 있습니다.
처리를 위한 초기 데이터는 다음과 같습니다.
— 인터넷 사용자 행동 로그
— 사물 인터넷;
- 소셜 미디어;
- 기상 데이터
— 주요 도서관의 디지털화된 도서;
— 차량의 GPS 신호;
— 은행 고객의 거래에 관한 정보
- 모바일 네트워크 가입자의 위치에 관한 데이터
— 대규모 소매 체인 등에서의 구매에 대한 정보
시간이 지남에 따라 데이터의 양과 소스의 수가 지속적으로 증가하고 있으며 이러한 배경에서 새로운 정보 처리 방법이 등장하고 기존 방법이 개선되고 있습니다.
빅데이터의 기본 원칙:
— 수평적 확장성 – 데이터 배열은 거대할 수 있으며 이는 볼륨이 증가함에 따라 빅 데이터 처리 시스템이 동적으로 확장되어야 함을 의미합니다.
— 내결함성 - 일부 장비 요소에 오류가 발생하더라도 전체 시스템은 계속 작동해야 합니다.
— 데이터 지역성. 대규모 분산 시스템에서 데이터는 일반적으로 상당한 수의 시스템에 분산됩니다. 그러나 가능할 때마다 리소스를 절약하기 위해 데이터는 저장된 서버와 동일한 서버에서 처리되는 경우가 많습니다.
세 가지 원칙을 모두 안정적으로 운영하고 이에 따른 빅데이터 저장 및 처리의 효율성을 높이려면 블록체인과 같은 새로운 획기적인 기술이 필요합니다.
왜 빅데이터가 필요한가?
빅데이터의 범위는 지속적으로 확장되고 있습니다.
— 빅데이터는 의학에 활용될 수 있습니다. 따라서 환자의 병력을 분석한 데이터뿐만 아니라 다른 의사의 경험, 환자 거주 지역의 환경 상황에 대한 정보, 다른 많은 요인들.
— 빅데이터 기술을 사용하여 무인 차량의 이동을 구성할 수 있습니다.
— 대용량 데이터를 처리하여 사진, 동영상 속 얼굴을 인식할 수 있습니다.
— 빅 데이터 기술은 소매업체에서 사용할 수 있습니다. 무역 회사는 소셜 네트워크의 데이터 세트를 적극적으로 사용하여 특정 소비자 부문을 최대한 타겟팅할 수 있는 광고 캠페인을 효과적으로 맞춤화할 수 있습니다.
— 이 기술은 사회의 정치적 선호도 분석을 포함하여 선거 캠페인을 조직하는 데 적극적으로 사용됩니다.
— 빅 데이터 기술의 사용은 불일치를 감지하고 심층적인 데이터 분석을 위한 도구를 포함하는 소득 보장(RA) 클래스 솔루션과 관련이 있으며, 이를 통해 소득 감소로 이어질 수 있는 정보의 손실 또는 왜곡을 적시에 식별할 수 있습니다. 재무 결과.
— 통신 제공업체는 지리적 위치를 포함한 빅 데이터를 집계할 수 있습니다. 결과적으로 이 정보는 소매업체와 은행뿐만 아니라 타겟 광고 및 지역 광고를 표시하는 데 사용할 수 있는 광고 대행사의 상업적인 이익이 될 수 있습니다.
— 빅데이터는 강력한 타겟 흐름의 사람들의 존재에 대한 데이터를 기반으로 특정 위치에 소매점 개설을 결정하는 데 중요한 역할을 할 수 있습니다.
따라서 빅데이터 기술의 가장 확실한 실제 적용은 마케팅 분야에 있습니다. 인터넷의 발달과 각종 통신기기의 확산으로 인해 행동데이터(통화수, 쇼핑 습관, 구매 등)가 실시간으로 제공되고 있습니다.
빅데이터 기술은 금융, 사회학 연구 및 기타 여러 분야에서도 효과적으로 사용될 수 있습니다. 전문가들은 빅 데이터를 사용할 수 있는 이러한 모든 기회는 눈에 보이는 빙산의 일부일 뿐이라고 주장합니다. 왜냐하면 이러한 기술은 정보 및 방첩, 군사 업무, 그리고 일반적으로 정보 전쟁이라고 불리는 모든 분야에서 훨씬 더 많은 양으로 사용되기 때문입니다.
일반적으로 빅 데이터 작업의 순서는 데이터 수집, 보고서 및 대시보드를 사용하여 수신된 정보 구조화, 조치 권장 사항 작성으로 구성됩니다.
빅데이터 기술을 마케팅에 활용할 수 있는 가능성을 간략하게 살펴보겠습니다. 아시다시피 마케팅 담당자에게 정보는 예측 및 전략 개발을 위한 주요 도구입니다. 빅데이터 분석은 오랫동안 소비자의 대상 고객, 관심사, 수요 및 활동을 결정하는 데 성공적으로 사용되어 왔습니다. 특히, 빅데이터 분석을 통해 제품이나 서비스에 관심이 있는 소비자에게만 광고(RTB 경매 모델 기반 - 실시간 입찰 기반)를 표시하는 것이 가능해졌습니다.
마케팅에 빅데이터를 사용하면 사업가들은 다음과 같은 이점을 얻을 수 있습니다.
— 소비자에 대해 더 잘 알고, 인터넷에서 유사한 청중을 끌어들이십시오.
- 고객 만족도 정도를 평가합니다.
— 제안된 서비스가 기대와 요구 사항을 충족하는지 이해합니다.
— 고객 신뢰를 높이는 새로운 방법을 찾고 구현합니다.
— 수요가 있는 프로젝트 생성 등
예를 들어 Google.trends 서비스는 특정 제품에 대한 계절적 수요 활동, 클릭 변동 및 지역에 대한 예측을 마케팅 담당자에게 표시할 수 있습니다. 이 정보를 귀하의 웹사이트에서 해당 플러그인이 수집한 통계 데이터와 비교하면 월, 지역 및 기타 매개변수를 나타내는 광고 예산 분배 계획을 세울 수 있습니다.
많은 연구자들에 따르면 트럼프 선거 캠페인의 성공은 빅데이터의 세분화와 활용에 달려 있다고 합니다. 미래의 미국 대통령 팀은 청중을 올바르게 나누고 자신의 욕구를 이해하며 유권자가 보고 듣고 싶어하는 메시지를 정확하게 보여줄 수 있었습니다. 따라서 Data-Centric Alliance의 Irina Belysheva에 따르면 트럼프의 승리는 빅 데이터, 심리 및 행동 분석, 개인화 광고를 기반으로 한 인터넷 마케팅에 대한 비표준 접근 방식 덕분에 대부분 가능했습니다.
트럼프의 정치 전략가와 마케터들은 특별히 개발된 수학적 모델을 사용하여 미국 전체 유권자의 데이터를 심층 분석하고 체계화하여 지리적 특성뿐만 아니라 유권자의 의도, 관심 사항에 따라 초정밀 타겟팅을 수행했으며, 이를 달성하기 위해 마케팅 담당자는 거의 모든 개별 유권자를 위한 메시지를 사용하여 시민의 필요, 기분, 정치적 견해, 심리적 특성, 심지어 피부색까지 기반으로 각 시민 그룹과의 개인화된 커뮤니케이션을 구성했습니다.
힐러리 클린턴의 경우, 그녀는 캠페인에서 사회학적 데이터와 표준 마케팅을 기반으로 한 "오래 검증된" 방법을 사용하여 유권자를 공식적으로 동질적인 그룹(남성, 여성, 아프리카계 미국인, 라틴 아메리카인, 빈곤층, 부자 등)으로만 나누었습니다. .
결과적으로 새로운 기술과 분석 방법의 잠재력을 높이 평가한 사람이 승자가 되었습니다. 힐러리 클린턴의 선거 비용이 상대 후보의 두 배에 달했다는 점은 주목할 만합니다.
데이터: 퓨 리서치
빅데이터 활용의 주요 문제점
높은 비용 외에도 다양한 분야에서 빅데이터 구현을 방해하는 주요 요인 중 하나는 처리할 데이터를 선택하는 문제입니다. 고려되지 않습니다.
빅데이터의 또 다른 문제는 윤리적이다. 즉, 논리적인 질문이 제기됩니다. 이러한 데이터 수집(특히 사용자가 모르는 사이에)이 개인정보 침해로 간주될 수 있습니까?
Google 및 Yandex 검색 엔진에 저장된 정보를 통해 IT 대기업이 지속적으로 서비스를 개선하고 사용자 친화적으로 만들고 새로운 대화형 애플리케이션을 만들 수 있다는 것은 비밀이 아닙니다. 이를 위해 검색 엔진은 인터넷에서의 사용자 활동, IP 주소, 지리적 위치 데이터, 관심사 및 온라인 구매, 개인 데이터, 이메일 메시지 등에 대한 사용자 데이터를 수집합니다. 이를 통해 검색 엔진은 사용자의 행동에 따라 문맥 광고를 표시할 수 있습니다. 인터넷. 이 경우에는 원칙적으로 이용자의 동의를 구하지 않으며, 자신에 관한 어떤 정보를 제공할지 선택할 수 있는 기회를 부여하지 않습니다. 즉, 기본적으로 모든 것이 빅데이터로 수집되어 사이트의 데이터 서버에 저장됩니다.
이는 데이터 저장 및 사용의 보안과 관련하여 다음으로 중요한 문제로 이어집니다. 예를 들어, 소비자가 자동으로 데이터를 전송하는 특정 분석 플랫폼은 안전한가요? 또한 많은 비즈니스 담당자들은 대용량 데이터를 효과적으로 처리하고 도움을 받아 특정 비즈니스 문제를 해결할 수 있는 우수한 분석가 및 마케팅 담당자가 부족하다는 점을 지적합니다.
빅데이터 구현에 따른 어려움에도 불구하고 회사는 이 분야에 대한 투자를 늘릴 계획이다. Gartner 연구에 따르면 빅 데이터에 투자하는 업계의 선두주자는 미디어, 소매, 통신, 은행 및 서비스 회사입니다.
블록체인과 빅데이터 기술의 상호작용 전망
빅 데이터와의 통합은 시너지 효과를 가지며 다음을 포함하여 비즈니스에 광범위한 새로운 기회를 열어줍니다.
— 특정 공급업체, 제품 및 제품 구성 요소에 대한 상세한 분석 프로필을 구축할 수 있는 기반으로 소비자 선호도에 대한 자세한 정보에 접근할 수 있습니다.
— 다양한 범주의 사용자별로 특정 상품 그룹의 거래 및 소비 통계에 대한 세부 데이터를 통합합니다.
— 공급 및 소비망에 대한 자세한 분석 데이터를 수신하고 운송 중 제품 손실을 제어합니다(예: 특정 유형의 상품의 건조 및 증발로 인한 중량 손실).
— 제품 위조에 대응하고, 자금세탁 및 사기 방지 등의 효율성을 높입니다.
상품 사용 및 소비에 대한 자세한 데이터에 접근하면 주요 비즈니스 프로세스를 최적화하고, 규제 위험을 줄이고, 새로운 수익 창출 기회를 밝히고, 현재 소비자 선호도에 가장 잘 맞는 제품을 만드는 데 있어 빅데이터 기술의 잠재력이 크게 드러날 것입니다.
알려진 바와 같이, 대형 금융 기관의 대표자들은 이미 블록체인 기술에 대해 상당한 관심을 보이고 있습니다. 분" .
빅데이터 기술을 활용한 블록체인 분석의 잠재력은 엄청납니다. 분산 원장 기술은 정보의 무결성을 보장할 뿐만 아니라 전체 거래 내역의 안정적이고 투명한 저장을 보장합니다. 빅 데이터는 효과적인 분석, 예측, 경제 모델링을 위한 새로운 도구를 제공하고 그에 따라 더 많은 정보를 바탕으로 경영 결정을 내릴 수 있는 새로운 기회를 열어줍니다.
블록체인과 빅데이터를 결합하면 의료 분야에서 성공적으로 사용될 수 있습니다. 알려진 바와 같이, 환자의 건강에 대한 불완전하고 불완전한 데이터는 잘못된 진단과 잘못된 처방의 위험을 크게 증가시킵니다. 의료 기관 고객의 건강에 관한 중요한 데이터는 최대한 보호되어야 하고, 불변성을 가져야 하며, 검증 가능해야 하며 어떠한 조작도 받아서는 안 됩니다.
블록체인의 정보는 위의 모든 요구 사항을 충족하며 새로운 빅 데이터 기술을 사용하여 심층 분석을 위한 고품질의 신뢰할 수 있는 소스 데이터 역할을 할 수 있습니다. 또한 블록체인의 도움으로 의료 기관은 의료 정보가 필요한 보험 회사, 사법 당국, 고용주, 과학 기관 및 기타 조직과 신뢰할 수 있는 데이터를 교환할 수 있습니다.
빅데이터와 정보보안
넓은 의미에서 정보 보안은 자연적 또는 인공적 성격의 우발적 또는 의도적 부정적인 영향으로부터 정보 및 지원 인프라를 보호하는 것입니다.
정보보안 분야에서 빅데이터는 다음과 같은 과제에 직면해 있습니다.
— 데이터 보호 및 무결성 보장 문제
— 외부 간섭 및 기밀 정보 유출 위험;
— 기밀 정보의 부적절한 저장;
— 예를 들어 누군가의 악의적인 행동으로 인해 정보가 손실될 위험
— 제3자에 의한 개인 데이터 오용 위험 등
블록체인이 해결하기 위해 고안된 주요 빅데이터 문제 중 하나는 정보 보안 영역에 있습니다. 모든 기본 원칙을 준수함으로써 분산 레지스트리 기술은 데이터의 무결성과 신뢰성을 보장할 수 있으며, 단일 장애 지점이 없기 때문에 블록체인은 정보 시스템의 운영을 안정적으로 만듭니다. 분산 원장 기술은 데이터 신뢰 문제를 해결하는 데 도움이 될 뿐만 아니라 보편적인 데이터 공유를 가능하게 합니다.
정보는 귀중한 자산입니다. 즉, 정보 보안의 기본 측면을 보장하는 것이 최우선되어야 함을 의미합니다. 경쟁에서 살아남기 위해 기업은 시대에 뒤처지지 않아야 합니다. 이는 블록체인 기술과 빅데이터 도구가 담고 있는 잠재적인 기회와 이점을 무시할 수 없다는 것을 의미합니다.
무슨 일이야? 빅 데이터(문자 그대로 - 빅 데이터)? 먼저 Oxford Dictionary를 살펴보겠습니다.
데이터- 컴퓨터가 작동하고 자기적, 광학적 또는 기계적 매체에 기록되는 전기 신호의 형태로 저장 및 전송될 수 있는 수량, 기호 또는 기호입니다.
용어 빅 데이터시간이 지남에 따라 기하급수적으로 증가하는 대규모 데이터 세트를 설명하는 데 사용됩니다. 이러한 양의 데이터를 처리하려면 없이는 할 수 없습니다.
빅데이터가 제공하는 이점:
- 다양한 소스에서 데이터를 수집합니다.
- 실시간 분석을 통해 비즈니스 프로세스를 개선합니다.
- 엄청난 양의 데이터를 저장합니다.
- 통찰력. 빅데이터는 정형 데이터와 반정형 데이터를 통해 숨겨진 정보에 대한 통찰력을 높여줍니다.
- 빅데이터는 올바른 위험 분석을 통해 위험을 줄이고 현명한 결정을 내리는 데 도움이 됩니다.
빅데이터 예시
뉴욕 증권 거래소매일 생성 1테라바이트지난 세션의 거래 데이터.
소셜 미디어: 통계에 따르면 Facebook 데이터베이스는 매일 업로드됩니다. 500테라바이트새로운 데이터는 주로 소셜 네트워크 서버에 사진과 동영상을 업로드하는 것, 메시징, 게시물 아래 댓글 등으로 인해 생성됩니다.
제트 엔진생성하다 10테라바이트비행 중 30분마다 데이터가 전송됩니다. 매일 수천 건의 항공편이 이루어지기 때문에 데이터의 양은 페타바이트에 이릅니다.
빅데이터 분류
빅 데이터 형식:
- 구조화됨
- 구조화되지 않은
- 반 구조화
구조화된 형태
고정된 형식으로 저장, 액세스 및 처리할 수 있는 데이터를 구조화된 데이터라고 합니다. 시간이 지남에 따라 컴퓨터 과학은 이러한 유형의 데이터(형식이 미리 알려진 경우)를 처리하는 기술을 개선하는 데 큰 진전을 이루었고 그로부터 이점을 얻는 방법을 배웠습니다. 그러나 오늘날에는 볼륨이 수 제타바이트 범위로 측정되는 크기로 증가하는 것과 관련된 문제가 이미 있습니다.
1제타바이트는 10억 테라바이트와 같습니다.
이러한 수치를 보면 빅데이터라는 용어의 진실성과 이러한 데이터를 처리하고 저장하는 데 관련된 어려움을 쉽게 알 수 있습니다.
관계형 데이터베이스에 저장된 데이터는 구조화되어 있으며 예를 들어 회사 직원 테이블과 유사합니다.
구조화되지 않은 형태
구조를 알 수 없는 데이터는 구조화되지 않은 데이터로 분류됩니다. 이 모양은 큰 크기 외에도 유용한 정보를 처리하고 추출하는 데 많은 어려움이 있다는 특징이 있습니다. 비정형 데이터의 전형적인 예는 간단한 텍스트 파일, 이미지, 비디오의 조합을 포함하는 이기종 소스입니다. 오늘날 조직은 대량의 원시 데이터 또는 구조화되지 않은 데이터에 액세스할 수 있지만 그로부터 가치를 추출하는 방법을 모릅니다.
반구조화된 형태
이 범주에는 위에 설명된 두 가지가 모두 포함되어 있으므로 반구조화된 데이터는 어떤 형태를 가지지만 실제로 관계형 데이터베이스의 테이블로 정의되지는 않습니다. 이 범주의 예로는 XML 파일로 표시되는 개인 데이터가 있습니다.
빅데이터의 특징
시간 경과에 따른 빅데이터 증가:
파란색은 관계형 데이터베이스에 저장되는 구조화된 데이터(Enterprise 데이터)를 나타냅니다. 다른 색상은 다양한 소스(IP 텔레포니, 장치 및 센서, 소셜 네트워크 및 웹 애플리케이션)의 구조화되지 않은 데이터를 나타냅니다.
Gartner에 따르면 빅데이터는 양, 생성 속도, 다양성, 변동성이 다양합니다. 이러한 특징을 좀 더 자세히 살펴보겠습니다.
- 용량. 빅데이터라는 용어 자체는 큰 규모와 연관되어 있습니다. 데이터 크기는 추출할 잠재적 가치를 결정하는 가장 중요한 지표입니다. 매일 600만 명의 사람들이 디지털 미디어를 사용하여 약 250경 바이트의 데이터를 생성합니다. 따라서 볼륨은 고려해야 할 첫 번째 특성입니다.
- 다양성- 다음 측면. 이는 구조적이거나 구조화되지 않은 이기종 소스와 데이터의 특성을 나타냅니다. 이전에는 스프레드시트와 데이터베이스가 대부분의 애플리케이션에서 고려되는 유일한 정보 소스였습니다. 오늘날에는 이메일, 사진, 비디오, PDF 파일, 오디오 형태의 데이터도 분석 애플리케이션에서 고려됩니다. 이러한 다양한 비정형 데이터는 저장, 마이닝 및 분석에 문제를 야기합니다. 27%의 기업은 올바른 데이터로 작업하고 있는지 확신하지 못합니다.
- 생성 속도. 요구 사항을 충족하기 위해 데이터가 얼마나 빨리 축적되고 처리되는지에 따라 잠재력이 결정됩니다. 속도는 비즈니스 프로세스, 애플리케이션 로그, 소셜 네트워킹 및 미디어 사이트, 센서, 모바일 장치 등 소스로부터의 정보 흐름 속도를 결정합니다. 데이터의 흐름은 시간이 지남에 따라 거대하고 지속적입니다.
- 가변성처리 및 관리를 복잡하게 만드는 특정 시점의 데이터 변동성을 설명합니다. 예를 들어, 대부분의 데이터는 본질적으로 구조화되어 있지 않습니다.
빅 데이터 분석: 빅 데이터의 이점은 무엇입니까?
상품 및 서비스 홍보: 검색 엔진과 Facebook, Twitter 같은 사이트의 데이터에 액세스하면 기업이 보다 정확하게 마케팅 전략을 개발할 수 있습니다.
고객을 위한 서비스 개선: 기존 고객 피드백 시스템은 빅데이터와 자연어 처리를 사용해 고객 피드백을 읽고 평가하는 새로운 시스템으로 대체되고 있습니다.
위험 계산새로운 제품이나 서비스의 출시와 관련이 있습니다.
운영 효율성: 빅데이터는 필요한 정보를 빠르게 추출하고, 정확한 결과를 빠르게 도출할 수 있도록 구조화되어 있습니다. 빅 데이터와 스토리지 기술의 이러한 결합은 조직이 거의 사용되지 않는 정보로 작업을 최적화하는 데 도움이 됩니다.
이 유명한 농담 아시죠? 빅데이터는 18세 이전의 섹스와 같다.
- 모두가 그것에 대해 생각합니다.
- 모두가 그것에 대해 이야기합니다.
- 모두가 자신의 친구가 그렇게 한다고 생각합니다.
- 거의 아무도 이것을 하지 않습니다.
- 누구든지 그런 일을 하는 사람은 그 일을 나쁘게 합니다.
- 모두들 다음에는 더 잘 될 거라 생각해요.
- 아무도 보안 조치를 취하지 않습니다.
- 누구든지 자신이 뭔가를 모른다는 사실을 부끄러워합니다.
- 누군가가 어떤 일에 성공하면 항상 그에 대해 많은 소음이 발생합니다.
그러나 솔직하게 말하면 어떤 과대 광고에도 항상 일반적인 호기심이 있을 것입니다. 어떤 종류의 소란이 있고 거기에 정말 중요한 것이 있습니까? 요컨대, 그렇습니다. 자세한 내용은 다음과 같습니다. 우리는 빅 데이터 기술의 가장 놀랍고 흥미로운 응용 프로그램을 선택했습니다. 명확한 예를 사용한 이 소규모 시장 연구는 우리에게 단순한 사실을 제시합니다. 미래는 오지 않으며 "n년을 더 기다리면 마법이 현실이 될 것"이라는 것입니다. 아니요, 이미 도착했지만 여전히 눈에 보이지 않으므로 특이점의 불타 오르는 것이 아직 노동 시장의 특정 지점을 그렇게 많이 태우지 않았습니다. 가다.
1 빅데이터 기술이 처음 발생한 곳에 어떻게 적용되는지
대형 IT 기업은 데이터 과학이 시작된 곳이므로 이 분야에 대한 내부 지식이 가장 흥미롭습니다. Map Reduce 패러다임의 탄생지인 Campaign Google의 유일한 목적은 프로그래머에게 기계 학습 기술을 교육하는 것입니다. 그리고 여기에 경쟁 우위가 있습니다. 직원들은 새로운 지식을 습득한 후 지속적으로 작업하는 Google 프로젝트에 새로운 방법을 도입하게 됩니다. 캠페인이 혁명을 일으킬 수 있는 영역의 목록이 얼마나 거대한지 상상해 보십시오. 한 가지 예: 신경망이 사용됩니다.
회사는 모든 제품에 머신러닝을 구현합니다. 장점은 일상 생활에서 사용되는 모든 디지털 장치를 포함하는 대규모 생태계가 존재한다는 것입니다. 이를 통해 Apple은 불가능한 수준에 도달할 수 있습니다. 캠페인에는 다른 캠페인보다 더 많은 사용자 데이터가 있습니다. 동시에 개인 정보 보호 정책은 매우 엄격합니다. 회사는 고객 데이터를 광고 목적으로 사용하지 않는다는 점을 항상 자랑해 왔습니다. 따라서 사용자 정보는 Apple 변호사나 영장을 발부받은 FBI도 읽을 수 없도록 암호화됩니다. 여기서는 AI 분야에서 Apple의 개발에 대한 대규모 개요를 확인할 수 있습니다.
2 4바퀴의 빅데이터
현대 자동차는 정보 저장소입니다. 운전자, 환경, 연결된 장치 및 자동차 자체에 대한 모든 데이터를 축적합니다. 머지않아 이와 같은 네트워크에 연결된 차량 한 대가 시간당 최대 25GB의 데이터를 생성하게 될 것입니다.
차량 텔레매틱스는 수년 동안 자동차 제조업체에서 사용해 왔지만 이제는 빅 데이터를 최대한 활용하는 보다 정교한 데이터 수집 방법에 대한 로비가 진행되고 있습니다. 이는 이제 기술이 잠김 방지 제동 및 견인력 제어 시스템을 자동으로 활성화하여 열악한 도로 상황을 운전자에게 경고할 수 있음을 의미합니다.
BMW를 포함한 다른 회사들은 테스트 중인 프로토타입, 차량 내 오류 메모리 시스템, 고객 불만에서 수집된 정보와 결합된 빅데이터 기술을 사용하여 생산 초기에 모델 약점을 식별하고 있습니다. 이제는 수개월이 걸리는 데이터를 수동으로 평가하는 대신 최신 알고리즘이 사용됩니다. 오류 및 문제 해결 비용이 줄어들어 BMW의 정보 분석 워크플로우가 가속화됩니다.
전문가의 추정에 따르면, 2019년까지 커넥티드 카의 시장 매출액은 1,300억 달러에 이를 것으로 예상됩니다. 이는 자동차 제조업체가 차량의 필수적인 부분인 기술을 통합하는 속도를 고려하면 놀라운 일이 아닙니다.
빅데이터를 활용하면 자동차를 더욱 안전하고 기능적으로 만드는 데 도움이 됩니다. 이에 토요타는 정보통신모듈(DCM)을 통합했다. 이 빅 데이터 도구는 DCM에서 수집한 데이터를 처리하고 분석하여 그로부터 가치를 더 추출합니다.
3 빅데이터를 의학에 활용
의료 분야에서 빅데이터 기술을 구현하면 의사는 질병을 더 철저하게 연구하고 특정 사례에 대한 효과적인 치료 과정을 선택할 수 있습니다. 정보 분석 덕분에 의료 종사자가 재발을 예측하고 예방 조치를 취하는 것이 더 쉬워졌습니다. 그 결과 더욱 정확한 진단과 개선된 치료 방법이 가능해졌습니다.
새로운 기술을 통해 우리는 환자의 문제를 다른 관점에서 볼 수 있게 되었고, 그 결과 이전에 알려지지 않았던 문제의 원인을 발견하게 되었습니다. 예를 들어, 일부 인종은 다른 인종 그룹에 비해 유전적으로 심장병에 걸리기 쉽습니다. 이제 환자가 특정 질병을 호소하면 의사는 같은 문제를 호소하는 같은 인종 구성원에 대한 데이터를 고려합니다. 데이터를 수집하고 분석하면 음식 선호도와 생활 방식부터 DNA의 유전적 구조와 세포, 조직, 기관의 대사산물에 이르기까지 환자에 대해 훨씬 더 많은 정보를 얻을 수 있습니다. 따라서 캔자스시티에 있는 아동 유전체 의학 센터에서는 환자를 대상으로 암을 유발하는 유전자 코드의 돌연변이를 분석합니다. 각 환자의 DNA를 고려한 개별적인 접근 방식은 치료 효과를 질적으로 다른 수준으로 높일 것입니다.
빅데이터가 어떻게 활용되는지 이해하는 것은 의료 분야에서 가장 먼저 일어나는 변화이자 매우 중요한 변화입니다. 환자가 치료를 받을 때 병원이나 기타 의료 시설에서는 환자에 대한 많은 관련 정보를 얻을 수 있습니다. 수집된 정보는 어느 정도 정확도로 질병 재발을 예측하는 데 사용됩니다. 예를 들어, 환자가 뇌졸중을 앓은 경우 의사는 뇌혈관 사고 시간에 대한 정보를 연구하고 이전 사례 사이의 중간 기간(있는 경우)을 분석하며 환자의 삶에서 스트레스가 많은 상황과 과도한 신체 활동에 특별한 주의를 기울입니다. 병원에서는 이 데이터를 바탕으로 향후 뇌졸중 발생 가능성을 예방하기 위한 명확한 행동 계획을 환자에게 제공합니다.
웨어러블 장치는 특정 질병의 명백한 증상이 없더라도 건강 문제를 식별하는 데 도움이 되는 역할도 합니다. 의사는 오랜 검사 과정을 통해 환자의 상태를 평가하는 대신 피트니스 트래커나 스마트 워치에서 수집한 정보를 바탕으로 결론을 내릴 수 있습니다.
최신 사례 중 하나는 입니다. 그 남자가 약을 놓쳐서 발생한 새로운 발작에 대해 검사를 받는 동안 의사들은 그 남자가 훨씬 더 심각한 건강 문제를 가지고 있다는 것을 발견했습니다. 이 문제는 심방세동으로 밝혀졌습니다. 진단은 부서 직원이 환자의 휴대폰, 즉 피트니스 트래커와 관련된 애플리케이션에 접근할 수 있다는 사실 덕분에 이루어졌습니다. 검사 당시 남성에게서 심장 이상이 발견되지 않았기 때문에 응용 프로그램의 데이터가 진단을 결정하는 핵심 요소로 밝혀졌습니다.
이는 보여주는 몇 안 되는 사례 중 하나일 뿐입니다. 왜 빅데이터를 사용하는가?오늘날 의료 분야에서 매우 중요한 역할을 하고 있습니다.
4 데이터 분석은 이미 리테일의 핵심이 되었습니다
사용자 쿼리 및 타겟팅을 이해하는 것은 빅 데이터 도구 적용 분야 중 가장 크고 가장 널리 알려진 영역 중 하나입니다. 빅데이터는 고객 습관을 분석하여 향후 소비자 요구를 더 잘 이해하는 데 도움이 됩니다. 기업들은 가능한 가장 완벽한 고객 상황을 파악하기 위해 소셜 네트워크 및 브라우저 검색 기록의 정보로 기존 데이터 세트를 확장하려고 합니다. 대규모 조직에서는 글로벌 목표로 자체 예측 모델을 만들기로 선택하는 경우도 있습니다.
예를 들어 Target 매장 체인은 심층적인 데이터 분석과 자체 예측 시스템을 사용하여 높은 정확도로 결정을 관리합니다. 각 고객에게는 ID가 할당되며, ID는 신용카드, 이름 또는 이메일과 연결됩니다. 식별자는 개인이 구매한 모든 항목에 대한 정보가 저장되는 일종의 장바구니 역할을 합니다. 네트워크 전문가들은 임산부가 임신 2기 이전에 무향 제품을 적극적으로 구매하고 첫 20주 동안 칼슘, 아연, 마그네슘 보충제에 의존한다는 사실을 발견했습니다. Target은 수신된 데이터를 기반으로 고객에게 유아용품 쿠폰을 보냅니다. 어린이를위한 상품 할인은 다른 상품에 대한 쿠폰으로 "희석"되므로 유아용 침대 또는 기저귀 구매 제안이 너무 방해가되지 않습니다.
심지어 정부 부처에서도 빅데이터 기술을 사용하여 선거 캠페인을 최적화하는 방법을 찾았습니다. 어떤 사람들은 2012년 미국 대선에서 버락 오바마의 승리가 엄청난 양의 데이터를 올바른 방식으로 처리한 그의 분석팀의 뛰어난 작업 덕분이라고 믿습니다.
5 빅데이터는 법과 질서를 보호합니다
지난 몇 년 동안 법 집행 기관은 빅 데이터를 언제, 어떻게 사용할지 알아낼 수 있었습니다. 국가안전보위부가 테러 예방을 위해 빅데이터 기술을 활용한다는 것은 잘 알려진 사실이다. 다른 부서에서는 소규모 범죄를 예방하기 위해 고급 방법을 사용하고 있습니다.
로스앤젤레스 경찰국에서는 . 그녀는 일반적으로 사전 예방적 경찰 활동이라고 불리는 일을 수행합니다. 알고리즘은 일정 기간 동안의 범죄 보고서를 사용하여 범죄가 발생할 가능성이 가장 높은 영역을 식별합니다. 시스템은 이러한 지역을 도시 지도에 작은 빨간색 사각형으로 표시하고 이 데이터는 즉시 순찰차로 전송됩니다.
시카고 경찰 빅데이터 기술을 활용하다약간 다른 방식으로. 윈디 시티(Windy City)의 법 집행관들도 같은 일을 하고 있지만, 이는 무장 공격의 피해자나 가담자가 될 수 있는 사람들로 구성된 "위험 집단"의 윤곽을 잡는 것을 목표로 하고 있습니다. The New York Times에 따르면 이 알고리즘은 개인의 범죄 기록(체포 및 총격 사건 참여, 범죄 집단 구성원)을 기반으로 개인에게 취약성 등급을 할당합니다. 시스템 개발자는 시스템이 개인의 범죄 이력을 조사하는 동안 개인의 인종, 성별, 민족, 위치와 같은 2차적 요인은 고려하지 않는다고 말합니다.
6 빅데이터 기술이 도시 발전에 어떻게 도움이 되는지
Veniam CEO Joao Barros가 포르투 버스의 Wi-Fi 라우터 추적 지도를 보여주고 있습니다.
데이터 분석은 도시와 국가 생활의 여러 측면을 개선하는 데에도 사용됩니다. 예를 들어, 빅 데이터 기술을 언제 어떻게 사용하는지 정확히 알면 트래픽 흐름을 최적화할 수 있습니다. 이를 위해 온라인에서 자동차의 움직임을 고려하고 소셜 미디어와 기상 데이터를 분석합니다. 오늘날 많은 도시에서는 데이터 분석을 사용하여 교통 인프라와 다른 유형의 공공 서비스를 하나의 전체로 결합하기 위해 노력하고 있습니다. 버스가 늦은 열차를 기다리고, 신호등이 교통혼잡을 예측해 교통체증을 최소화하는 '스마트' 도시 개념이다.
롱비치시는 빅데이터 기술을 바탕으로 불법 급수를 막기 위해 스마트 수도 계량기를 운영하고 있다. 이전에는 개인 가구의 물 소비량을 줄이기 위해 사용되었습니다(최대 결과는 80% 감소). 담수를 절약하는 것은 언제나 시급한 문제입니다. 특히 주가 사상 최악의 가뭄을 겪고 있는 경우에는 더욱 그렇습니다.
로스앤젤레스 교통부 대표자들이 빅데이터를 사용하는 사람들의 명단에 합류했습니다. 교통 카메라 센서에서 수신한 데이터를 기반으로 당국은 신호등 작동을 모니터링하여 교통 규제를 허용합니다. 전산화된 시스템은 도시 전체에 걸쳐 약 4,500,000개의 신호등을 제어합니다. 공식 데이터에 따르면 새로운 알고리즘은 혼잡을 16% 줄이는 데 도움이 되었습니다.
7 마케팅 및 영업 발전의 원동력
마케팅에서 빅데이터 도구를 사용하면 판매 주기의 특정 단계에서 어떤 아이디어가 홍보에 가장 효과적인지 식별할 수 있습니다. 데이터 분석을 통해 투자를 통해 어떻게 고객 관계 관리를 개선할 수 있는지, 전환율을 높이기 위해 어떤 전략을 채택해야 하는지, 고객 라이프사이클을 최적화하는 방법이 결정됩니다. 클라우드 비즈니스에서는 빅데이터 알고리즘을 사용하여 고객 확보 비용을 최소화하고 고객 수명주기를 늘리는 방법을 찾아냅니다.
클라이언트의 시스템 내부 수준에 따른 가격 책정 전략의 차별화는 아마도 마케팅 분야에서 빅데이터가 활용되는 주요한 것일 것이다. McKinsey는 평균 기업 수익의 약 75%가 핵심 제품에서 발생하며, 그 중 30%는 가격이 잘못 책정된 것으로 나타났습니다. 가격이 1% 인상되면 영업이익은 8.7% 증가한다.
Forrester 연구 팀은 데이터 분석을 통해 마케팅 담당자가 고객 관계를 더욱 성공적으로 만드는 방법에 집중할 수 있다는 사실을 발견했습니다. 전문가는 고객 개발 방향을 조사함으로써 충성도 수준을 평가할 수 있을 뿐만 아니라 특정 회사의 맥락에서 수명 주기를 연장할 수 있습니다.
지리분석을 활용한 판매 전략의 최적화와 신규 시장 진출 단계는 바이오의약품 산업에 반영됩니다. 맥킨지에 따르면, 의약품 제조회사는 평균 이익의 20~30%를 행정과 판매에 지출한다. 기업이 활발해지면 빅데이터를 활용하다가장 수익성이 높고 가장 빠르게 성장하는 시장을 식별하기 위해 비용이 즉시 절감됩니다.
데이터 분석은 기업이 비즈니스의 주요 측면에 대한 완전한 그림을 얻을 수 있는 수단입니다. 수익 증대, 비용 절감, 운전 자본 절감은 현대 기업이 분석 도구를 사용하여 해결하려고 하는 세 가지 과제입니다.
마지막으로, 마케팅 책임자의 58%는 빅데이터 기술의 구현이 검색 엔진 최적화(SEO), 이메일 및 모바일 마케팅에서 볼 수 있다고 주장하며, 여기서 데이터 분석은 마케팅 프로그램 형성에 가장 중요한 역할을 합니다. 그리고 빅 데이터가 앞으로 수년 동안 모든 마케팅 전략에서 중요한 역할을 할 것이라고 확신하는 응답자는 4% 더 적습니다.
8 글로벌 데이터 분석
덜 궁금하지도 않은데... 궁극적으로 머신러닝이 미묘한 균형을 유지할 수 있는 유일한 힘이 될 가능성이 있습니다. 지구 온난화에 대한 인간의 영향에 대한 주제는 여전히 많은 논란을 불러일으키고 있으므로, 대량의 데이터 분석을 바탕으로 한 신뢰할 수 있는 예측 모델만이 정확한 답변을 제공할 수 있습니다. 궁극적으로 배출량을 줄이면 우리 모두에게 도움이 될 것입니다. 즉, 에너지 소비를 줄일 수 있습니다.
이제 빅 데이터는 몇 년 안에 적용될 수 있는 추상적인 개념이 아닙니다. 이는 의학, 공공질서, 마케팅, 판매 등 인간 활동의 거의 모든 영역에서 유용할 수 있는 완벽하게 작동하는 기술 세트입니다. 빅데이터가 우리 일상생활에 적극적으로 통합되는 단계는 이제 막 시작되었습니다. 몇 년 후에 빅데이터의 역할이 어떻게 될지 누가 알겠습니까?