Czytałem o możliwości ustawienia .htaccess pod tym kątem.
Raczej średnio, tego typu ustawienia są wyżej, na poziomie virtual hostów albo samego serwera.
I czy konieczne jest posiadanie SSL?
Tak. Mimo że standard dopuszcza działanie HTTP/2 bez SSL-a, to wszystkie przeglądarki go wymagają.