Do wykonania takiej paginacji będziesz potrzebował JavaScriptu. Jest on niezbędny do obsługi kliknięcia na numer elementy i wyświetlanie jego zawartości. Rozwiązanie Twojego problemu wymaga napisania całego poradnika więc wykracza to po za obowiązki tego forum, ale nie martw się. Takich poradników jest sporo.
Tak jak napisał Ivan, poszukaj hasła "paginacja na stronie" i dodaj hasła takie jak "HTML, CSS, JS" :)