데이터 세상에서 살아남記

빅데이터 시스템을 구축하기 위한 여러 요소 기술에 대하여 소개되어 있다. 여기서는 여러 요소 기술 중 수집기술, 저장기술, 처리기술에 대하여 소개하고 있다. 빅데이터 수집기술의 종류와 간단한 특징을 소개하고, 빅데이터 저장기술의 유형별 종류와 특징, 빅데이터 처리기술의 종류와 특징도 소개한다. 1. 빅데이터 솔루션 체계 빅데이터 기술의 규정 요소(6V) 구분 내용 크기(Volume) 대량의 데이터(페타바이트 수준) 다양성(Variety) 정형 데이터 + 반정형 데이터(XML 등) + 비정형 데이터(동영상, 음악 등) 속도(Velocity) 실시간으로 생성되는 데이터(로그, 대화 내용 등) 진실성(Veracity) 데이터가 가지고 있는 사실성 혹은 의사결정 연관성 시각화(Visualization) 정보 이..

앞장에서 살펴본 내용이 이어 빅데이터 시스템 플랫폼의 구성 내용과 특징을 살펴보고, 빅데이터 시스템의 검증은 어떻게, 어떤 포인트에서 수행하여야 하는지, 또 검증을 위한 테스트 환경은 어떻게 구성되어야 하는지 살펴본다. 어쩌면, 가장 중요한 내용인지도 모르겠다. 빅데이터 시스템을 구축하고 목적에 기여하는 결과를 도출해 내기 위해서는 일을 추진하는 조직이 어떻게 구성되어야 하는지에 대한 내용이 소개된다. 2019/11/22 - [공부하記/빅데이터 시스템 구축 가이드] - [빅데이터] 3. 빅데이터 시스템 아키텍처(1) 3. 빅데이터 시스템 플랫폼 플랫폼(Platform) 소프트웨어 응용 프로그램들을 돌리는 데 쓰이는 하드웨어와 소프트웨어를 말함 구분 내용 데이터 통합 3V(Varierty, Velocity..

빅데이터 시스템을 기능적인 측면에서의 구성방식을 살펴보는 장이다. 빅데이터 시스템을 구축하고자 할 때 고려해야할 사항들을 제시해 주고 있다. 어떤 목적으로, 어떤 데이터를, 어떻게 확보하고 저장할 것인지, 빅데이터 플랫폼의 종류는 어떠한 것들이 있는지, 어떤 특징이 있는지, 구축할 빅데이터 시스템에 대한 검증은 어떻게 해야 하는지, 검증을 위한 테스트 환경은 어떻게 구축하여야 하는지 등에 대한 내용을 소개하고 있다. 여기서는 빅데이터 자체의 확보와 관리, 시스템 구축을 통해 얻고자 하는 것에 대한 목적성을 살펴보고, 어떻게 어떤 방법으로 저장하여 관리할 것인지에 대한 내용까지 살펴보았다. 1. 빅데이터 거버넌스 거버넌스(Governance)란? 일반적으로 ‘과거의 일방적인 정부 주도적 경향에서 벗어나 정..

실패하지 않는 데이터 분석의 요건 분석 대상의 데이터를 가지고 있으며 분석 기반이 확립되어 있다. 데이터 분석의 목적과 현재의 경영 과제를 이해하고 있다. 실행팀이 첨단 기술을 획득하려는 의욕으로 가득하며, IT뿐만 아니라 업계 전문 지식이나 적용해야 할 수리 통계, 기계 학습을 올바르게 인식하고 있다. 경영층이 리더십을 갖고 프로젝트를 지원하고 있다.시작한 일은 반드시 완수한다는 열정과 기획 발상력이 풍부한 인재를 모아 팀 개인이 아닌 조직의 능력을 최대화시키고 있다. 데이터 분석의 토대를 구성하는 6요소 목적(기획 구상)의 입안 데이터 분석을 통해 해결해야 할 과제의 인식과 우선순위 결정 구조화 데이터, 센서 정보나 로그 데이터 등을 취득할 IT 기반 분석 대상이 되는 데이터 데이터를 분석하기 위한 ..

R에서 사용되는 데이터의 유형과 데이터 구조를 살펴보자. 데이터 유형 'mode()' 함수를 이용해 데이터의 유형을 확인할 수 있다. RStudio에서는 Values 창에서도 확인이 가능하다. 수치형(numeric) : 숫자로 이루어진 데이터 유형, 정수형(integer)과 실수형(double)으로 구분 논리형(logic) : 참(TRUE) 또는 거짓(FALSE)의 논리값이나 논리 연산자로 계산된 논리값 문자형(character) : 문자나 문자열 복소수형(complex) : 실수와 허수로 구성된 복소수 다음의 함수들은 반환값으로 데이터의 유형을 확인해 준다. 함수의 데이터형과 같은 데이터면 TRUE값을 반환한다. is.numeric(x) 수치형 여부 is.integer(x) 정수형 여부 is.doubl..

실제 빅데이터 구축에 필요한 사항이라며, 빅데이터의 특성에 따라 살펴보아야 할 사항을 이야기한다. 어떻게 구축할 것인가? / 어떤 데이터를 수집할 것인가? / 구축할 때 핵심 사항은 무엇인가? 어떤 데이터를 어떻게 구축해서 어떻게 사용할 것인가? 빅데이터라는 화두가 처음 회자되었을 때부터, 관심을 가진 많은 사람들이 고민해 왔던 내용일 듯하다. 물론 나도 마찬가지였다. 1. 어떻게 데이터를 구축해야 하는가? 구축 방법론 수요 인식 및 목표 설정 : 부서 간 통합된 문제 제기와 협의가 필요 데이터 역량 검토 : 조직의 데이터 활용과 관리 능력. 지속적인 데이터 유입 여부와 적절한 통제 관리 도입 검토 및 사업 계획 : 기술적인 부문과 비용적인 부문으로 나뉜다. 데이터 수집 비용도 고려 빅데이터 도입 : 협..

R을 이용하면서 사용하게 될 변수와 구조체 데이터의 가장 기본이 되는 벡터에 대해서 간략하게 알아보고자 한다. 벡터를 포함한 구조체 데이터(오브젝트)는 별도의 장에서 상세하게 다루기로 하자. 변수의 생성 및 삭제 R에서의 변수 생성은 대입 연산자( # 변수 생성 > x y ls() > x 변수의 데이터 유형이 수치형인 경우는 변수에 대한 기본적인 연산도 가능하다. > # 기본 사칙연산 > x + y > x - y > x * y > x / y 'ls.str()' 함수는 생성된 변수의 목록 뿐만 아니라 각 변수의 유형 및 값 등을 모두 보여준다. > ls.str() # 변수명 : 변수유형 값 변수의 삭제는 'rm()' 함수를 이용한다. 특정 변수를 삭제하고자 한다면 'rm()'함수에 인자 값으로 변수명을 전..

빅데이터 관련 칼럼이나 서적의 첫 장은 항상 이런 내용으로 시작한다. 이 책도 마찬가지다. '빅데이터란 무엇인가?'로 시작하는 빅데이터에 대한 개론과 거대 담론을 소개하고 있다. 1. 빅데이터란 무엇인가? : 빅데이터 개념 정의, 3V(Volume, Variety, Velocity), 3V+1V에 대한 적당한 소개... 기관 빅데이터 정의 Gartner (2012) 향상된 시사점(Insight)과 더 나은 의사결정을 위해 사용되는 비용 효율이 높고, 혁신적이며, 대용량, 고속 및 다양성의 특성을 가진 정보 자산 McKinsey (2011) 일반적인 데이터베이스 SW가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터 IDC (2011) 다양한 종류의 대규모 데이터에서 낮은 비용으로 가치를 추출..

Part 1 빅데이터의 개념 1장 빅데이터 시대 빅데이터란 무엇인가? 빅데이터를 통해 얻을 수 있는 가치는 무엇인가? 빅데이터에 어떻게 접근해야 하는가? Part 2 빅데이터 구축 방법 2장 빅데이터 구축 방법 어떻게 빅데이터를 구축해야 하는가? 어떠한 데이터를 가지고 시작해야 하나? 빅데이터 구축의 전제조건 빅데이터 구축의 핵심 요소 빅데이터 구축 프로세스 3장 빅데이터 시스템 아키텍처 빅데이터 거버넌스 빅데이터 시스템 아키텍처 수립 전략 빅데이터 시스템 플랫폼 빅데이터 시스템 검증 방법 빅데이터 시스템 구축을 위한 조직 구성 Part 3 빅데이터 기술 및 보안 4장 빅데이터 시스템 구축을 위한 요소 기술 빅데이터 솔루션 체계 빅데이터 수집 기술 빅데이터 저장 기술 빅데이터 처리 기술 빅데이터 분석 기..

Windows에 R, RStudio 설치는 앞서 살펴본 바와 같다. 2019/11/14 - [해보記/R, RStudio] - R 설치부터 R에서 스크립트 실행까지 2019/11/17 - [해보記/R, RStudio] - RStudio 설치하기 및 기본 사용법 - 내친김에 이번엔 CentOS 7에 R과 RStudio를 설치해보려 한다. 0. 준비하기 먼저 EPEL(Extra Packages of Enterprise Linux) repo를 추가하여야 한다. 그래야 리눅스 콘솔에서 'yum' 명령어로 R과 RStudio를 설치할 수 있다. (이미 원격 데스크톱 연결을 위해 XRDP와 VNC 설치에 앞서 추가해 주었기에, 명령어만 확인하기로 하자.) # Root 권한 획득 $su - 암호 : # Reposito..