Musisz użyć funkcji anonimowej coś w tym stylu:
rules:
{
"captcha": {
required: function() {
if (grecaptcha.getResponse() === '') {
return true;
} else {
return false;
}
}
}
},
poza tym tego:
$(".btn").on("click", function(){
});
nie potrzebujesz jqueryvalidate obsłuży formularz bez wykrywania zdarzenia kliknięcia na ten przycisk ... bo co walidujesz podajesz w tym miejscu:
$("#forms").validate