Potrzebujesz połączyć się przez SSH, poradników na ten temat szukaj.
Opisując w skrócie: musisz mieć klienta SSH u siebie na komputerze, aby połączyć się z serwerem. Jeśli pracujesz na Linuxie to pewnie go już masz, wystarczy odpalić terminal i wpisać ssh użytkownik@adres ip twojego serwera. Użytkownika powinieneś podać swojego, takiego jaki już jest na VPSie - jeśli żadnego nie tworzyłeś i nie było o to pytania podczas konfiguracji (też mam serwer w Arubie, ale już nie pamiętam dokładnie jak wyglądała pierwsza konfiguracja) to będzie to root. Adres IP widoczny jest przy serwerze w panelu administracyjnym. Po zatwierdzeniu klawiszem Enter zostaniesz poproszony o wpisanie hasła roota - tego, które ustalałeś podczas konfiguracji przy zakupie. Na Windowsie musisz samemu zaopatrzyć się w klienta SSH. Dość znany jest Putty. Pobierasz, uruchamiasz i wpisujesz dane w odpowiednie pola programu i tyle.