Liczby a i b mogą mieć wartość do 10^9. Zobacz co się stanie dla testu w którym a = 10^9. Wtedy w linii 16 wykonasz do 3 mnożeń. Dostaniesz wartość (10^9)^4, czyli to wyjdzie poza limit zmiennej typu int. Żeby temu zaradzić musisz modulować na bieżąco podczas mnożenia, czyli robisz coś takiego:
wynik = (wynik*(a%10))%10;
I jeszcze w linii 14 dobrze by było gdybyś dał:
wynik = a%10