KNN Algorithms ( 최근접 이웃 알고리즘)

 

KNN알고리즘이란

 

Instance-Based-Learning(Memory-based learning)로

학습 데이터로부터 임의의 모델 파라메터를 학습하는 것이 아닌,

학습데이터와 테스트 데이터를 직접 '비교' 하는 알고리즘이다.

(Non - Parametric)

그리고 결국 학습 데이터의 Lable을 이용하요

사용하는 분류하는 문제이기 때문에 지도학습에 속한다.

 

source - https://kkokkilkon.tistory.com/14

 

동작 원리.

 

예시를 통해 동작원리를 알아보자.

 

soruce - https://kkokkilkon.tistory.com/14

soruce - https://kkokkilkon.tistory.com/14

 

 

k = 1일 경우는 제일 가까운 C만 고려, 

-> 동그라미로 분류.

K = 2 일경우 C,D,E 까지 고려 (다수결 원칙)

-> 세모로 분류

K= 5 일때 ,C, D, E, B, A 까지 고려.

 

동그라미로 분류.

 

 

Euclidean Distance 

 

KNN도 k를 정하기 전에 선행되되어야 하는 작업이 있는데,

바로 표준화 이다.

 

K-NN에서 가깝다는 개념은 Euclidean Distance 로 정의하는데,

Euclidean Distance를 계산할 때는 단위가 매우 중요하다.

 

source - https://kkokkilkon.tistory.com/14

source - source - https://kkokkilkon.tistory.com/14