Najprostszym rozwiązaniem w Twoim przypadku będzie jeśli dla tej części okna po prawej stworzysz jakiś globalny JPanel. W momencie kliknięcia, któregoś z przycisków menu, musisz najpierw skasować zawartość tego JPanel'a, a następnie dodać nowe elementy:
if {zrodlo == jakisPrzycisk)
{
panelZFormularzem.removeAll();
panelZFormularzem.add(nowyElement1);
panelZFormularzem.add(nowyElement2);
}