ഗ്രേഡിയന്റ് ഡിസെന്റ്

അവകലജം കാണാൻ സാധിക്കുന്ന ഫലനങ്ങളെ (Differentiable Function) ഒപ്റ്റിമൈസ് ചെയ്യാൻ ഉപയോഗിക്കുന്ന ഒരു രീതിയാണ് ഗ്രേഡിയന്റ് ഡിസെന്റ് (Gradient descent). ഗ്രേഡിയന്റ് ഡിസെന്റ് ഉപയോഗിച്ച് കുറഞ്ഞ പ്രാദേശിക വിലയാണ് (Local Minima) കണ്ട് പിടിക്കാൻ സാധിക്കുക.

വിവരണം

ഗ്രേഡിയന്റ് ഡിസെന്റ് പ്രവർത്തിക്കുന്നത് ഇപ്രകാരമാണ്. $F(\mathbf {x} )$ ആണ് മിനിമൈസ് ചെയ്യേണ്ട ഫലനം എന്ന് കരുതുക. ആദ്യം ആകസ്മികമായി (Randomly) $\mathbf {a}$ എന്ന ഒരു ബിന്ദു തെരഞ്ഞെടുക്കുന്നു. അതായത് $\mathbf {x}$ന് $\mathbf {a}$എന്ന വില നൽകുന്നു. $\mathbf {a}$ എന്ന ബിന്ദുവിൽ ആ ഫലനത്തിന്റെ അവകലജം സാധ്യമാണെന്നും (Differentiable at point a) കരുതുക. $F(\mathbf {x} )$ ന്റെ കുറഞ്ഞ വില കണ്ട് പിടിക്കാൻ അവകലജത്തിന്റെ എതിർ ദിശയിൽ സഞ്ചരിക്കുക. അതായത് $F$ന്റെ $\mathbf {a}$യിലെ അവകലജം $\nabla F(\mathbf {a} )$ ആണെങ്കിൽ $-\nabla F(\mathbf {a} )$ ദിശയിൽ സഞ്ചരിക്കുക. അതായത്,

$\mathbf {a} _{n+1}=\mathbf {a} _{n}-\gamma \nabla F(\mathbf {a} _{n})$

$\nabla F(\mathbf {a} )$ നെ ഗ്രേഡിയന്റ് എന്ന് വിളിക്കുന്നു. $\gamma$ പൂജ്യത്തിലും ഉയർന്ന ഒരു വിലയായിരിക്കും. $-\nabla F(\mathbf {a} )$ദിശയിൽ എന്ത് നിരക്കിൽ സഞ്ചരിക്കണം എന്ന് തീരുമാനിക്കുന്നത് ഈ വിലയാണ്.

പുറം കണ്ണികൾ

• Using gradient descent in C++, Boost, Ublas for linear regression
• Series of Khan Academy videos discusses gradient ascent
• Online book teaching gradient descent in deep neural network context
• "Gradient Descent, How Neural Networks Learn". 3Blue1Brown. October 16, 2017 – via YouTube.