Gradientinis nusileidimas

Artėjimas prie optimalaus taško gradientinio nusileidimo metodu. Mėlynos linijos yra lygio linijos.

Gradientinis nusileidimas – optimizavimo metodas, besiremiantis tuo, kad skaliarinio lauko gradientas visada rodo greičiausio lauko augimo kryptį, o antigradientas – greičiausio mažėjimo kryptį.

Naudojant gradientinio nusileidimo metodą kartojamas žingsnis, nusakomas formule

${𝐱}_{n+1}={𝐱}_n-{\gamma }_n\mathrm{\nabla }F({𝐱}_n),n\ge 0.$

Čia $x_n$ – ankstesnė parametro, pagal kurį optimizuojama, reikšmė, $x_{n+1}$ – nauja šio parametro reikšmė, $F()$ – tikslo funkcija, o ${\gamma }_n$ – žingsnio dydis, kuris gali būti arba pastovus, arba keičiamas kiekviename žingsnyje.

Taikymas

Gradientinio nusileidimo algoritmas yra plačiai naudojamas apmokyti mašininio mokymosi modelius ir neuroninius tinklus.