Dość dziwny podział IMO. Nie lepiej byłoby zrobić jedną klasę ToDoList? Wówczas wszystko miałbyś w jednym miejscu i całość byłaby o wiele prostsza do zakodzenia.
Dodatkowo ja bym tutaj widział inną okazję na podział: klasa, która byłaby odpowiedzialna za operacje na tablicy zadań, oraz klasa, która odpowiadałaby za jej wyświetlanie na stronie.
Natomiast bez zmiany obecnego podziału najprościej byłoby dorzucać index tablicy do elementu HTML jako atrybut i pobierać go przy kliku, a następnie na jego podstawie usuwać zadanie z klasy Add. Natomiast dostęp do klasy Add możesz zrobić przy pomocy przekazania tej klasy jako argumentu do konstruktora Remove. Niemniej to już pokazuje, że coś jest nie tak z tym podziałem, bo trzeba się dość mocno napocić, żeby złączyć te klasy jakoś sensownie.