W zależności od tego, jak wygląda Twój regex, to np. możesz użyć . z flagą s → https://regex101.com/r/O8S2wb/1
Aczkolwiek nie sądzę, żeby takie podejście do parsowania było najlepsze. Większość parserów stosuje inny sposób tokenizacji – bierze input po jednym znaku i odkłada sparsowany token na kupkę. Możesz sobie zobaczyć, jak to mniej więcej działa w przykładowym kompilatorze.