Tak najprościej to możesz po prostu przypisać do tych buttonów idki i analizować na tej podstawie który został kliknięty, a listener zapiąć na ich wrapperze.
html:
<div id="buttons">
<button id="prev">Prev</button>
<button id="next">Next</button>
</div>
js:
const buttons = document.getElementById('buttons');
buttons.addEventListener('click', ({target}) => console.log(target.id));
i teraz po prostu analizujesz sobie który przycisk kliknięto i robisz odpowiednią logikę.