Możesz spróbować zwiększyć buforowanie pulseaudio. Znajdź w pliku /etc/pulse/daemon.conf linie
; default-fragments = 4
; default-fragment-size-msec = 25
odkomentuj je (usuwając średniki) i zwiększ wartość default-fragments do np. 6 lub 8. Oczywiście po zmianie wartości zrestartuj pulseaudio.