[[നായർ പട്ടാളം|തിരുവിതാംകൂർ]] സൈന്യവുമായി]] ബന്ധപ്പെട്ട ഒരു കഥയാണ് ഈ ക്ഷേത്രത്തിന് പറയാനുള്ളത്. തിരുവനന്തപുരത്തിനുമുമ്പ് തിരുവിതാംകൂറിന്റെ തലസ്ഥാനമായിരുന്ന [[പത്മനാഭപുരം|പത്മനാഭപുരത്തുവച്ചാണ്]] തിരുവിതാംകൂർ കരസേന രൂപം കൊണ്ടത്. അതിലെ ഒരു അംഗത്തിന്, അടുത്തുള്ള പുഴയിൽ നിന്ന് ഒരു ഗണപതിവിഗ്രഹം കിട്ടി. അദ്ദേഹവും മറ്റ് സൈനികരും ചേർന്ന് ആ വിഗ്രഹം ആരാധിച്ചുപോന്നു. കാലക്രമത്തിൽ ഗണപതി അവരുടെ പരദേവതയായി മാറി. തിരുവിതാംകൂറിന്റെ തലസ്ഥാനം [[തിരുവനന്തപുരം|തിരുവനന്തപുരത്തേയ്ക്ക്]] മാറ്റിയപ്പോൾ കരസേന ആസ്ഥാനവും തിരുവനന്തപുരത്തായി. തുടർന്ന്, ഗണപതിയ്ക്ക് ഒരു ക്ഷേത്രം പണിയണമെന്ന് ആഗ്രഹിയ്ക്കുകയും, അതനുസരിച്ച് പഴവങ്ങാടിയിൽ ക്ഷേത്രം പണിയുകയുമായിരുന്നു. 2019 ൽ ക്ഷേത്രം വീണ്ടും പുതുക്കിപ്പണിതു.
