[머신러닝] Loss Function과 Cost Function

공부하면서 Loss Function과 Cost Function의 개념이 굉장히 헷갈렸던 것이 기억난다.

사실 비슷한 개념이다.

까먹지 않으려고 여기에 간단히 정리해둔다.

 

Loss Function😶

Decision Boundary(분류문제에 해당)가 얼마나 정답과 동떨어져 있는지 그 정도를 재는 함수다.

(Quantifies how bad the decision boundary is.)

 

Cost Function😶

모든 training example에 대한 평균 Loss Function이다.

수식으로 나타내면 아래와 같을 것이다.

$$J(w,w_{0}) = {1\over N}\sum_{i=1}^{N}L(\hat{y}^{(i)},y^{(i)})$$