Zdaje mi się, że jeśli zadajesz takie pytanie to nie powinieneś używać dystrybucji Kali.
Dual-boot polega na zainstalowaniu (na stałe, na HDD) dwóch systemów i możliwości wyboru uruchomienia jednego z nich podczas uruchamiania systemu komputerowego. Zainstalowanie na pamięci przenośnej pozwala Ci na podłączenie owej pamięci i bootowanie z niej - nie jest ono "na stałe", po wyjęciu pendrive'a nie będziesz mógł z niego bootować systemu (co chyba oczywiste).
Co powinienem teraz zrobić?
Zresetowac komputer i co dalej?
W BIOS/UEFI-setup ustawić bootowanie z USB.
Jak później wrócę do windowsa?
Wyłączysz Linuksa i ustawisz bootowanie z HDD.