읽記 (데이터 과학, IT 분야)/빅데이터 시스템 구축 가이드

[빅데이터] 1. 빅데이터 시대

Light Pillar 2019. 11. 18. 23:50

빅데이터 관련 칼럼이나 서적의 첫 장은 항상 이런 내용으로 시작한다.

이 책도 마찬가지다.

'빅데이터란 무엇인가?'로 시작하는 빅데이터에 대한 개론과 거대 담론을 소개하고 있다.

 


1. 빅데이터란 무엇인가?

: 빅데이터 개념 정의, 3V(Volume, Variety, Velocity), 3V+1V에 대한 적당한 소개...

 

기관 빅데이터 정의
Gartner (2012) 향상된 시사점(Insight)과 더 나은 의사결정을 위해 사용되는 비용 효율이 높고, 혁신적이며, 대용량, 고속 및 다양성의 특성을 가진 정보 자산
McKinsey (2011) 일반적인 데이터베이스 SW가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터
IDC (2011) 다양한 종류의  대규모 데이터에서 낮은 비용으로 가치를 추출하고, 데이터의 초고속 수집과 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처

인사이트(Insight)는 빅데이터를 분석하여 이전에는 얻을 수 없었던 지식, 통찰, 식견과 시사점 등을 얻는 것을 말한다.

(출처; 빅데이터 동향 및 정책 시사점, 정보통신방송정책, 2013년 6월)

 

"빅데이터란 대규모, 고속의 다양한 데이터를 분석하여 인사이트와 가치를 주는 새로운 기술이다."

 

빅데이터의 특징(3V) + 정확성(Veracity)

  • 규모(Volume) : 정보의 범위 확대, 대량의 데이터
  • 다양성(Variety) : 새로운 종류의 데이터와 분석, 비전통적 형태의 미디어, 소셜 미디어 데이터
  • 속도(Velocity) : 실시간 정보, 신기술에서 유입되는 데이터
  • 정확성(Veracity) : 본질적으로 불확실한 데이터 유형의 신뢰성과 예측 가능성 관리

 

2. 빅데이터를 통해 얻을 수 있는 가치는 무엇인가?

: 비즈니스 부문에서의 빅데이터 가치, 공공서비스 부문에서의 빅데이터 가치. 빅데이터의 가치는 각각의 분야에서 어떻게 활용하느냐에 따라 달렸다.

 

비즈니스 부문의 빅데이터 가치

  • 비즈니스 효율성 측면의 빅데이터 가치 : 수익 개선과 고객 확보, 비용절감 등
  • 마케팅 효과 측면의 빅데이터 가치 : 광고 플랫폼(사이트 접속, 클릭률 등)을 통한 다양한 가치 실현
  • 신규 비즈니스 창출 측면의 빅데이터 가치 : 기존 데이터를 분석하여 기업이나 공공기관에 새로운 서비스를 제공

공공서비스 부문의 빅데이터 가치

  • 사회안전 : 범죄 발생 최소화, 자연재해 조기 감지 및 대응, 건강한 인터넷 문화 조성 등
  • 국민복지 : 민원 피드백 시스템, 맞춤형 복지 서비스, 고용정책 수립 등
  • 국가경제 : 탈세 방지 및 국가 재정 확충, 경제 정책 수립 등
  • 국가 인프라 : 주민참여형 교통사고 감소 체계 구축, 재난 관리 대응 체계 마련 등
  • 산업 지원 : 창업 실패 예방 지원, 장애 예측 통한 생산 효율 고도화, 수급 전망 농수산물 생산 관리 등
  • 과학기술 : 기후 위험 요소 선제 대응 체계 구축, 재난 대응, 국민 건강 증진 등
"빅데이터는 분석된 가치와 인사이트를 통해 세상을 더 건강하게 만들기에 데이터 축적과 분석은 매우 중요한 의미가 있다."

 

 

3. 빅데이터에 어떻게 접근해야 하는가?

: 빅데이터로의 가장 효과적인 접근방법은 요구사항 파악을 통한 인프라와 데이터 자원 및 분석 최적화이다.

 

빅데이터 접근법

  • 양방향 중심 고객 분석 : 고객의 데이터로부터 고객의 요구사항 파악
  • 빅데이터 인프라 : 정보 통합, 확장 가능한 스토리지 인프라, 보안 및 관리
  • 빅데이터 도입 초기 : 내부 데이터와 신규 데이터의 적절한 활용
  • 빅데이터 분석 역량 : 정형 데이터 분석에서 반정형, 비정형 데이터 분석으로 데이터 분석 역량 고급화
  • 빅데이터 도입 로드맵 : 교육 -> 탐색 -> 참여 -> 실행
"때로는 빅데이터보다 정형 분석을 위한 데이터 마이닝이나 데이터 웨어하우스가 우선일 수도 있다. 제일 중요한 것은 환경 분석을 통해 무엇이 왜 필요한지를 아는 것이다."

 


 

익히 들어, 다 알고 있을 만한 내용들을 소개하는 장이다. 어느 책이나 다 그렇듯 'Hello World'부터 시작이니까.

그래도 눈여겨 볼만한 몇몇 구절들은 존재한다.

 

 

[빅데이터] 0. 목차