Pola typu number owszem, nie pozwolą Ci suwakami zejść poniżej zera, ale możesz nadal z łapki wpisać wartość ujemną. Możesz to rozwiązać na parę sposobów, na przykład owinąć te inputy w <form> i zrobić walidację html5, albo (lub dodatkowo) w JS po kliknięciu start zwalidować pola przed puszczeniem odliczania. Jeśli jakaś walidacja nie przejdzie to po prostu nie aktywujesz licznika i pokazujesz info o błędzie.