Po pierwsze- lepiej, żeby funkcja zwracała tym double, niż int, bo nie zawsze wynik dzielenia będzie liczbą całkowitą.
Po drugie- przeanalizuj swój swój kod: w pierwszej linii twojej funkcji, sprawdzasz czy b jest równe zero- jeśli tak to wyświetlasz komunikat. Następnie zwracasz a/b, czyli i tak dzielisz przez zero. Powinieneś dorzucić elsa odpowiednio, ktoś na dole już to zrobił. Tyle, że tutaj i tak musiałbyś zwrócić roboczo jakiś wynik (nie pamiętam, czy można zwrócić nulla w funkcji mającej zwrócić double), co jest nieeleganckie. Dlatego najlepiej, gdybyś użył bloku try...catch, ale może na początku daj sobie z tym siana (chociaż nie jest to trudne).