Problem z liczbami jest spowodowany tym, że nie konwertujesz ich na… liczby ;) To, co pobierzesz z formularza, to string - a przy porównywaniu stringów brany jest pod uwagę 1. znak, nie całość. A 5 jest większe od 1, mimo że cała liczba 54 jest mniejsza od 144. Może warto zastosować odpowiednią funkcję tutaj:
var x = document.getElementById("pole1").value;
var y = document.getElementById("pole2").value;
Zastanawiam się także nad tym po co Ci zmienne xtext i ytext - równie dobrze do warunków pod nimi można było dać po prostu porównywanie zmiennych x i y - byłoby to nawet czytelniejsze. No i co jak wpiszę w jakiekolwiek pole 0?