5월 13일 TIL (cost function)

1. 경사 하강법

minimum cost를 찾아가는 방법!

W랑 b를 계속 바꾸어 가면서, cost값이 가장 최소화가 되는 방향을 찾는법!

 

학습률과 손실함수의 순간기울기(gradient)를이용하여 가중치(weight)를 업데이트하는 방법.

미분의 기울기를 이용하여 도표의 오차들을 비교하고 오차를 최소화하는 방향으로 이동시키는 방법.

 

다시 돌아가서 컴퓨터의 최종 목표 : 비용함수값이 최소가 되는 w와 b를 찾는 것 = 실제값과 예측값의 오차를 최소화하는 것

w값은 기울기라고 했다. 그렇기에 각 지점에서 미분을 통하여 기울기의 값을 알아내는데

그 값이 최소인 점을 찾아가는 것이다.

그림에 찍힌 x점부터 다음x점까지의 거리를 learning rate 라고한다!

(leargning rate가 만약 크다면, 한칸씩 가는 거리가 너무커서 minumum값을 못찾고 발산하는 에러가 생길 수 있음!)

 

 

그래프의 가장 최하 지점을 global minimum(cost값 최하)이라고하는데!!

이 값일떄 가장 최적의 값을 얻을 수 있다.

 

2. momentum(관성)

하지만... cost값이 이렇게 일정하여 global mininum까지 찾아가기 쉽다면 좋겠지만...

굴곡이 생기는 부분이 있다..(local minumum 이라고 부름) 

local minimum

= cost값이 어느정도 내려갔는데, 다시 올라가는 부분에 빠져서 global minimum까지 가지 못하는 경우

 

여기서 나오는 momentom은 일정 압력을 주어서 다시 내려오지 않고, 더 올라가서 언덕을 넘게하는것이다!.

이렇게 하게 되면, local minimum을 나와서 global mininum까지 접근이 가능하다

 

 

5월 12일에 진행했던 요가보이의 팀원 염기호님의 발표 컨퍼런스로 이해하고 작성한 자료입니다 ㅎㅎ