빅데이터 분석 방법 및 활용 사례

 

지난 번에는 데이터 분석에 관한

기법들에 대해 간단이 알아보았는데

 

이번에는 '빅데이터'를 다루는 기법 

분석 방법에 대해 좀 더 들어가보고자 한다.

 

사실 기존 데이터 분석과 다른 큰 차이는 없지만

좀 더 거대한 데이터를 다루고 

그 안에서 좀 더 세분화된 목적으로써 사용하기 위한

분석 방법이라고 보면 될 거 같다.

 

 

 

연관 규칙

 

연관규칙이란 어떠한 변인들 간에 

주목할 만한 상관관계가 있는지를 찾아내는 방법으로

Market Basket Analysis가 연관 규칙에 대표적 예시이다.

 

커피를 구매하는 사람이 탄산음료를  더 많이 사는가?

이러한 것 처럼 하나의 변인이 다른 변인에

영향을 주고 주목할만한 점이 있는지 찾는 방법이다.

 

source -http://rfriend.tistory.com

 

 

 

군집 분석

 

군집 분석이라 말그대로 군집을 나누어 분석을 진행하는 기법으로

한 사용자(객체)는 어떤 특성을 가진 집단에 속하는가에 대한 것을

찾아내는 방법이다.

 

 

source - https://m.blog.naver.com/PostView.nhn?blogId=gkenq&logNo=10188552802&proxyReferer=https%3A%2F%2Fwww.google.com%2F

 

 

 

 

Machine Learning

 

Machine Learning은 아마 많이 들어봤을 것이다

Machine Learning이란 말 그대로

기계를 데이터를 통해 학습시켜

다양한 예측 및 유의미한 가치를 창출을 하기 위한 

요새 대세인 데이터 분석 기법이다.

 

Supervised Learning

Machine Learning에는 크게 

두가지로 나뉘는데 그 가운데 하나는

Supervised Learning으로

입력-출력의 데이터 들로부터 모델을 만들어

새로운 입력에 대한 출력을 결정할 수 있도록

패턴을 추출하는 방법이다.

 

즉 정답이 주어진 데이터들에 대해

학습을 시키고 새로운 데이터들에 대해

예측을 하기 위한 방법이다.

 

ex) 예측 분석 - 개, 고양이 맞추는 문제(범주형)

회귀 분석 - 내일 삼성전자 주식의 가격은 얼마일까?(수치)

 

Unsupervised Learning

 

반면 Unsupervised Learinig은

출력에 대한 정보가 없는 데이터로 부터 

패턴을 추출하는 과정이다.

 

즉 정답이 주어지지 않고

주어진 데이터들로만의

규칙 및 패턴을 찾아내는 방법이다.

 

 

머신 러닝 프로세스

 

머신 러닝을 적용하는 과정은 

크게 4가지로 진행이 되는데

 

 

1.  데이터 수집 및 선택

 

2. 데이터 전처리

(특징 선택 단계)

- 충분한 사전 지식 필요.

 

3. 모형 학습

- 다양한 머신러닝 알고리즘 중

적절한 모델을 선택하고 학습시키는 단계.

 

4. 모델 검증

이렇게 진행이 된다.

 

 

 

인공 신경망

 

요새 정말 핫한 딥러닝의 뿌리인

Artificial Neural Networks는 

컴퓨터가 스스로 학습할 수 있도록 하는 알고리즘과

기술을 개발하느 머신러닝의 한 종류로

인간의 뇌의 사고방식과 동일하게 컴퓨터가

학습하여 결과물을 산출한다.

 

그외 분석법들

 

이 외에 분석 방법으로 

 

텍스트 마이닝

- 텍스트 데이터로부터 유의미한 정보의 추출 및 분석

 

 

오피니언 마이닝/ 감성분석

- 긍정, 부정, 중립에 따른 점수화

ex) 새로운 환불 정책에 대한 고객의 평가는 어떠한가?

 

소셜 네트워크 분석

- 특정인과 다른 사람간의 관계를 파악할 때 사용, 또는 영향력 있는 사람을 찾는 분석.

 

 

유전자 알고리즘

- 다윈의 자연진화설에 근거를 둔 대표적인 인공지능 최적화 기법.