Rozwiązanie mocno zależy od tego, czego nauczyciel oczekuje, ale...
ale gorzej już takimi znakami jak +,-,*.
To właśnie nie jest problem - zadanie mówi, żeby je zignorować, bo nie są częścią zapisu liczby (poza -/+ na początku). Więc "123+4" i "123XX" dadzą ten sam wynik - 123.
Moja ("na sucho") propozycja: użyć zwykłej Javowej metody parsującej inta, tylko wywoływać ją po kolei na coraz krótszych kawałkach stringa, aż się uda. To znaczy "123XX" (nieudane), "123X" (nieudane), "123" (udane parsowanie, daje 123). Może nie super wydajne, ale brzmi prosto w realizacji.