To może zależeć od konkretnego Frameworka. W zależności czy używasz Swing czy JavaFX, rozwiązania mogą być różne, ale podejrzewam, że wcale tak nie jest. W przypadku Swinga:
http://stackoverflow.com/questions/2408689/unselecting-radiobuttons-in-java-swing
From the API doc of class ButtonGroup:
Initially, all buttons in the group are unselected. Once any button is selected, one button is always selected in the group.There is no way to turn a button programmatically to "off", in order to clear the button group. To give the appearance of "none selected", add an invisible radio button to the group and then programmatically select that button to turn off all the displayed radio buttons.
Tzn. domyślnie nie jest nic wybrane. Jeśli pierwszy raz coś wybierzesz to już nie można tego cofnąć i na stałe musi byc wybrany 1 RadioButton w ButtonGroup'ie. Jest jedno obejście, można po prostu do ButtonGroup'y dodać dodatkowy przycisk, który nie będzie widoczny dla użytkownika i go wybrać. Wtedy użytkownik będzie miał wrażenie, że nic nie jest wybrane. Tak mozesz zrobic w każdym frameworku :)