Masz źle ułożony algorytm. Rozumiem, że chcesz otrzymywać dwie liczby:
- x będące pierwiastkiem a^2 + b^2
- c będące liczbą całkowitą pirerwiastka a^2 + b^2 (zaokrąglony x)
a później ze sobą porównać. Taki algorytm ma sens, jednak po pierwsze
c=sqrt(c);
x=sqrt(c);
Zmienna x w tym wypadku stanie się pierwiastkiem c, które już jest pierwiastkiem.
Drugi błąd z pewnością jest w iteracji. Instrukcja if...else... zawsze będzie przechodzić do warunku else, ponieważ nigdy nie znajdzie trójki pitagorasowej w której jednym ze składników (a lub b - w twoim przypadku a) będzie 1. Przemyśl i jeszcze raz rozrysuj sobie na kartce swój algorytm.