nathan_H

Artificial Neural Networks Artificial Neural Networks은 인간의 뇌를 본따 입력층 은닉층 출력층 이렇게 구성되어 있는 모델이다. 또한 Peceptron와는 다르게 다층으로 구성되어 있는 모델이다. 그래서 ANN을 MultiLayer Perceptron이라고 불리기도 한다. ANN와 Peceptron 그렇다면 ANN과 Peceptron 모두 인간의 뇌를 모티브로 해서 만든 모델인데 어떠한 차이점이 있는지 알아보자. 차이점 1) Layer 앞서 이야기 했듯이 perceptron과 ANN의 가장 큰 차이는 Layer 개수이다. Perceptorn은 입력층, 중간층, 출력층으로 구성되어 있는 반면 ANN은 똑같이 입력층, 출력층이 있으나 1개 이상의 hiddne laye..

보통 딥러닝을 처음 배울때 Perceptron을 건너뛰고 ANN을 바로 들어가는 경우가 많다. 하지만 Perceptron을 제대로 알고 이해한 상태에서 ANN을 들어가는 것이 순서와 개념상 적합하다. Perceptron Perceptron은 인공 신경망 모형의 하나이고 1957년 Rosenblatt라는 사람에 의해 처음 고안된 알고리즘이다. 그리고 Perceptron은 인간의 뇌에 있는 Neuron을 본따 표현한 모델이다. 위 그림처럼 Perceptron은 입력층, 중간층, 출력층으로 구성되어 있거 층간에 Net input function과 Activation function이 실행이 되며 출력값이 도출이 된다. Net input function 입력값 x의 n+1개의 feature들이 n+1개의 wei..

Supervised Learning에는 크게 Regression과 classification으로 종류가 나뉜다. *다시 보는 Supervised Learning - 각 데이터에 정답(label)이 주어져 있고 레이블이 있는 데이터들의 집합은 training set이라고도 한다. 즉 레이블이 나눠진 데이터를 모델화 하여 세로운 데이터에 대해 정확한 출력을 예측하는 것을 말한다. Regression 회귀분석은 간단하게 말해 연속적인 숫자, 즉 예측값이 float 형태인 문제들을 해결하는데 사용된다. 예시 1) 지하철 역과의 거리. 학군의 수 마트 수 등등 여러 feature들로 어떤 지역의 땅값을 예측하는 문제. 예시 2) 출처 - https://www.androidhuman.com/ml/2018/03/04..

본 글은 순천향대학교 정영섭 교수님 강의 내용과 ratsgo's blog 내용을 토대로 작성 하였습니다. 출처 - https://ratsgo.github.io/machine%20learning/2017/07/03/regression/ Linear Regression 선형회귀는 수치형 설명변수 x와 연속형 숫자로 이뤄진 종속 변수 y간의 관계를 선형으로 가정하고 이를 가장 잘 표현할 수 있는 회귀계수를 데이터로 부터 추정하는 모델이다. 행렬 X와 종속변수 벡터 Y가 주어졌을 때 다중선형회귀 모델은 다음과 같이 정의된다 linear regression의 계수들은 실제값과 모델 예측값의 차이 오차제곱합을 최소로 하는 값들이다. 이를 만족하는 최적의 계수들은 회귀계수에 대해 미분한 식을 0으로 놓고 풀면 아래와..

참고 블로그 및 수업 - https://darkpgmr.tistory.com/62 - 순천향대학교 정영섭 교수님 ML 수업 bayes rule 베이지언 확률은 사후확률(posterior probability)을 사전확률(prior probability)과 likelihood를 이용해서 계산할 수 있도록 해 주는 확률 변환식이다. likelihood: p(e|H), 어떤 모델에서 해당 데이터(관측값)이 나올 확률 사전확률(prior probability): p(H), 관측자가 관측을 하기 전에 시스템 또는 모델에 대해 가지고 있는 선험적 확률. 예를 들어, 남여의 구성비를 나타내는 p(남자), p(여자) 등이 사전확률에 해당한다. 사후확률(posterior probability): p(H|e), 사건이 발..

참고 블로그 및 자료 - https://ratsgo.github.io/machine%20learning/2017/03/26/tree/ 의사결정나무(Decision Tree) · ratsgo's blog 이번 포스팅에선 한번에 하나씩의 설명변수를 사용하여 예측 가능한 규칙들의 집합을 생성하는 알고리즘인 의사결정나무(Decision Tree)에 대해 다뤄보도록 하겠습니다. 이번 글은 고려대 강필성 교수님 강의와 김성범 교수님 강의를 참고했음을 먼저 밝힙니다. 그럼 시작하겠습니다. 모델 소개 의사결정나무는 데이터를 분석하여 이들 사이에 존재하는 패턴을 예측 가능한 규칙들의 조합으로 나타내며, 그 모양이 ‘나무’와 같다고 해서 의사결정나무라 불립니다. 질문을 ratsgo.github.io 순천향대학교 정영섭 교..

https://ratsgo.github.io/statistics/2017/09/23/MLE/ 블로그와 조현제 님의 자료를 정리했음을 먼저 밝힙니다. MLE Maximum Likelihood Estimation > 모델 파라메터를 observation 에만 의존하여 estimation 예시 모델: Probability density function f 모델의파라메터: θ Observation: X = (x1, x2, …, xn) n: 데이터개수 Likelihood 목표: θ값을estimation 방법: Likelihood 를 최대화 Estimation 수식 각데이터가서로 independent and identical distributed (id)하다는가정하에, Log는 단조증가 함수 인데다가 곱..

참고 블로그 - https://darkpgmr.tistory.com/106 - https://ratsgo.github.io/from%20frequency%20to%20semantics/2017/04/06/pcasvdlsa/ 기저 벡터 공간 V에 대하여 임의의 벡터 집합 S가 서로 '1차 독립' 이면서 V를 '생성'하면 S를 V의 기저라고 한다. 1차 독립(선형 독립) 서로가 선형의 곱으로 표현 x 2-dimensional 좌표계(x, y 축) V1 = (1, 0) V2 = (0, 1) V1과 V2는 서로 1차 독립이면서 좌표계의 모든 벡터를 1차 결합을 통해 표현 가능. 3D좌표계의 기저는? -> x, y, z축 고유값, 고유벡터 고유벡터 -> 선형 변화 A에 의한 변환 결과가 자기 자신의 상수배가 되는..