데이터 세상에서 살아남記

reference : https://github.com/sebanc/brunch/blob/master/install-with-windows.md (brunch 프로젝트의 원문이며, 가장 리프레시가 빠릅니다. 이 문서가 오래되었다면 해당 링크를 참조하시는 편이 도움이 될 겁니다. discord 등으로 문의도 가능!) referencce 2 : https://sourceforge.net/p/grub2win/discussion/general/thread/a834534834/ (grub2win으로 부팅이 자동으로 막히는 서피스 고와 같은 특정 제품의 경우 윈도우의 부트로더 수정이 필요합니다. 해당 링크는 이를 위한 원문입니다.) Reference 3: https://www.lainyzine.com/ko/arti..

3. 빅데이터의 핵심 분석 기술, 데이터 마이닝 데이터 마이닝이란? 데이터 마이닝은 대량의 데이터에서 알려지지 않은 정보와 패턴을 찾는 지식발견 프로세스다. 기계학습과 데이터 마이닝이 겹치고 있다. 차이점은 기계학습은 훈련 데이터를 통해 배운 지식을 기반으로 예측하는 반면에, 데이터 마이닝은 데이터베이스 내의 숨은 지식 발견을 목적으로 한다는 것이다. 데이터 마이닝광 관계된 여러 분야 구 분 내 용 KDD Knowledge Discovery in Database 숨겨진 지식을 탐구하는 과정을 얘기하며, 데이터 마이닝은 이것의 한 분야이다. 패턴 인식 데이터베이스에서 특정 패턴을 찾는 기법 통계학 수량적 비교를 통해 집단현상을 관찰, 처리하는 학문 뉴로컴퓨팅 Neurocomputing 신경망 등과 관련된 ..

빅데이터를 통해 가치를 창출하는 분석 기술을 소개하고 있다. 빅데이터 분석은 전통적인 데이터 분석을 기반으로, 기존 정형 데이터 중심의 분석 기술보다 비정형 데이터 기반 기술이 더 쓰이고 대량의 데이터를 처리한다는 차이점이 있다. 웹 3.0을 이야기 하는 시대에 아직 웹 2.0 이라니... ㅡㅡ; 1. 어떤 데이터 분석 기술을 활용하는가? 빅데이터 분석에는 곽 전통적 분석 기술과 웹 2.0, 클라우드 기술 등 모든 기술이 융합된 분석이 쓰인다. 시맨틱 웹(Semantic Web) 컴퓨터가 사람을 대신하여 정보를 읽고 이해하고 가공하여 새로운 정보를 만들어 낼 수 있는, 이해하기 쉬운 의미로 된 차세대 지능형 웹. 웹 2.0 모든 사람이 제공되는 데이터를 활용하여 다양한 신규 서비스를 생산해 낼 수 있는 ..

다량의 파일을 공유할 때 직면하는 문제 데이터 저장 방법 선택하기 - 파일을 확장 가능하고 경제적인 방식으로 공유할 수 있으면서 물리적으로 저장하는 방식 선택 : IAAS (Infrastructure as a service, 서비스로서의 인프라) - 분산 스토리지 솔루션 적합한 데이터 포맷 선택하기 - 사용자에게 제공하는 데이터의 포맷 결정 : CSV - 다양한 호환성 확보 또는 플랫 데이터로 표현하기 쉬운 경우 : XML(eXtensibe Markup Language) - 다양한 포맷으로 변환해야 하는 구조화된 문서 : JSON(JavaScript Object Notation) - 애플리케이션 개발자와 비관계형 데이터베이스 관리자에 유용 #CSV 예제 first_name,last_name,book,da..

"비즈니스의 모든 기술 분야에서 통용되는 첫 번째 규칙은 효율적인 작업에 자동화를 적용하면 효율성이 배가된다는 것이다. 두 번째 규칙은 비효율적인 작업에 자동화를 적용하면 비효율성이 배가된다는 것이다." - 빌 게이츠(Bill Gates) 무한대로 확장 가능한 솔루션을 구축하라. 현재 솔루션의 한계를 인지하고, 언제 확장 한계에 도달하는지 이해하고 병목을 해결할 계획을 세우는 것이 중요하다. 인터넷을 통해 데이터를 공유할 수 있는 시스템을 구축하라. 시스템은 반드시 대상 고객에게 데이터를 공유할 수 있게 설계해야 한다. 보유한 데이터로 이윤을 창출하는 조직의 구성원은 해당 데이터에 대해 질문할 수 있어야 한다. 과거에는 많은 조직에서 모든 데이터를 단 하나의 관리 가능한 공간에 넣으려고 데이터 웨어하우스..

1부 빅데이터 시대의 방향 1장. 데이터를 성공적으로 다루는 네 가지 법칙 2부 대용량 데이터의 수집 및 공유 2장. 대용량의 미가공 데이터를 호스팅하고 공유하기 3장. 대중이 생성한 데이터를 수집하기 위한 NoSQL 기반의 웹 애플리케이션 구축하기 4장. 데이터 사일로를 다루는 전략 3부 데이터에 관해 질문하기 5장. 하둡, 하이브, 샤크를 이용해 대용량 데이터 집합에 대해 질문하기 6장. 구글 빅쿼리를 이용한 데이터 대시보드 구축하기 7장. 대용량 데이터 탐색을 위한 데이터 시각화 전략 4부 데이터 파이프라인 구축하기 8장. 하나로 합치기 : 맵리듀스 데이터 파이프라인 9장. 피그와 캐스케이딩을 이용한 데이터 변환 워크플로우 구축하기 5부 대용량 데이터를 위한 기계 학습 10장. 머하웃을 이용한 대용..

사람이 감출 수 없는 세가지.. 그 중에 하나...

난 남들에게 싫다는 소리를 별로 못한다. 그 때문에 피해를 가끔 보기도 하지만, 다른 사람에게 싫다는 소리를 하는 것은 내게는 참 어려운 일이다. 특히나 금전에 관계된 경우는 더욱 그렇다. 돈을 빌려달라는 얘기를 거절하는 것도, 빌려준 돈을 받으려 할 때도.. 고쳐야지, 하지만.. 여전히 내게는 어려운 이야기 이고, 떄론 후회하게 만든다.. 그런, 저런 이야기들 쉽게하는 방법은 없나요??

'가방 좀 들어드릴까요?' '아 괜찮습니다.' '그래도, 들어 드릴께요..' '그럼.. 감사합니다...' 얼마전 귀가길의 버스에서 보았던 정경이다.. 예전에는 내가 중학교, 고등학교를 다니던 시절엔 늘상 있었던 일이고, 대단히 자연스러운 일이었는데.. 오랜만에 보게된 모습이어서 인지, 조금은 낯설게 느껴진다. 하긴, 요즘은 학생들의 가방 패션이 많이 바뀌어서 - 예전에는 지금처럼 배낭을 매고 다니는건 극히 드문일이 었으니깐... - 들어 주겠다는 사람도, 가방을 맏기려는 사람도 선뜻 내키지 않는 일이 되었을 수도 있겠다. 하지만, 단순히 가방의 패션이 바뀌어서만은 아닐것이다. 내 자신도 왠지 어색하고, 낯설게 느껴지는 풍경이 지금의 사회상을 반영하고 있..

앞서 살펴본 상관분석의 통계학적 기초에 이어, 상관계수와 공분산에 대한 R 에서의 실행을 살펴보려 한다. 2019/12/31 - [공부하記/통계학] - 통계학 기초 - 상관분석 예제로 사용하는 데이터는 보스톤시의 한 공원에서 10일동안 공원에서 해당 일에 근무중인 방범대원의 수(x)와 보고된 좀도둑의 건수(y)이다. 두 데이터간의 상관계수와 공분산을 살펴보자. # 데이터 > x y plot(x, y) # 표본상관계수 > cor(x, y) # 표본공분산 > cov(x, y) # 표본공분산 = 표본상관계수 * x의 표준편차 * y의 표준편차 > cor(x, y) * sd(x) * sd(y) 표본상관계수가 -0.9690786로 음의 상관관계가 강하게 나타남을 알 수 있다.