Właściwie ciężko o dobry wynik, kiedy występuje błąd kompilacji CS0266. :)
Jeżeli koniecznie chcesz mieć wynik jako liczbę całkowitą, po prostu skonwertuj zwróconą wartość przez Math.Sqrt:
int c = Convert.ToInt32(Math.Sqrt(Math.Pow(a, 2) + Math.Pow(b, 2)));
Idąc za dokumentacją, Math.Sqrt zwraca typ double i nie ma przeciążeń, więc trzeba się dostosować do tego typu (lub skonwertować na inny).