Nie mogę ukryć swojego zdziwienia, że wystarczy zamienić:
sumadwochbokowkwadrat=pow(x[j],2)+pow(y[j],2);
pitagoras[j]=pow(sumadwochbokowkwadrat,0.5);
na:
pitagoras[j]=pow(x[j],2)+pow(y[j],2);
Liczenie pierwiastka nie jest konieczne, bo można porównać sumy kwadratów. Wcześniej po pierwiastkowaniu zapisywałeś wynik do inta przez co prawdopodobnie traciłeś poprawny wynik.