Ho ho ho... Twój temat jest w kategorii HTML i CSS. Mówię od razu, że w HTML i CSS tego nie zrobisz.
Wiedza PHP się przyda i myślę, że AJAX będzie pomocny aby konwersacja była dynamiczna. Zakładam, że nie znasz PHP. Polecam więc skorzystać z "gotowców".
np.
http://edodatki.pl/widget/chat