Zależy jak event jest nałożony na element, czy na bazie selektora klasy, czy onClicka jakiegoś, bo jeśli jest on wywoływany z innego elementu np. to w momencie usunięcia, będzie to wywoływanie metody na obiekcie którego nie ma i wtedy będzie błąd.
Zależy to od implementacji
Więc tak jak tutaj podsumowanie- referencja musi być zwolniona.
In modern browsers, if a DOM Element is removed, its listeners are also removed from memory in javascript.
Note that this will happen ONLY if the element is reference-free. Or in other words, it doesn't have any reference and can be garbage collected. Only then its event listeners will be removed from memory.