경사하강법에서 기울기가 0인 지점이 최솟값인 이유
경사하강법에서 최솟값인 지점을 찾기 위해 미분계수가 0인 지점을 찾는다고 하는데 극값이 아닌 미분계수가 0인 지점을 찾을 수도 있는 것 아닌가요?
안녕하세요. 조일현 전문가입니다.
미분계수가 0인 지점이 반드시 최솟값이 아닐 수 있습니다.
기울기가 0인 지점을 찾아가는 과정으로 볼 수 있겠지만 항상 최솟값으로 나타는 보장이 없기 때문입니다.
안녕하세요. 서종현 전문가입니다.
경사하강법에서 미분계수(기울기)가 0인 지점은 말씀하신 대로 극값(최솟값, 최댓값, 안장점)이 될 수 있습니다. 경사하강법은 함수의 최솟값을 찾기 위해 현재 위치에서기울기가 가장 가파른 반대 방향으로 이동합니다. 즉, 함수의 값이 감소하는 방향으로만 움직이죠
최솟값 : 주변보다 함수값이 가장 낮기 때문에 어떤 방향으로 움직여도 함수값이 다시 증가하게 됩니다. 따라서 최솟점에서 기울기는0이 됩니다.
최댓값 : 경사하강법은 항상 함수값이 줄어든느 방향으로 움직이므로, 최댓점으로는 이동하지 않습니다. 만약 최댓점에서 시작하면, 어떤 방향이든 내려가는 쪽으로 이동하게 됩니다.
안장점 : 어떤 방향에서는 함수값이 증가하고, 다른 방향에서는 감소하는 지점입니다. 여기에서도미분계수는 0이 됩니다. 하지만 경사하강법은 주로 최솟값 방향으로 움직이려는 경향이 잇고, 특히 다차원에서는 안장점을 벗어나 최솟값을 향해 나아갈 가능성이 높습니다.
요약하자면, 경사하강법은 기울기가 0인 지점을 찾아가지만, 그 과정 자체가 함수값을 낮추는 방향으로 진행되기 때문에 일반적으로는 지역 최솟값을 발견하게 됩니다. 완벽하게 최댓값이나 안자점에 멈추는 경우는 매우 드뭅니다.