Bardzo prosto:
A* to jest to samo co Dijkstry, ale z dodatkową heurystyką ("jak daleko ten punkt jest od celu?") pomagającą w priorytetyzowaniu węzłów do sprawdzenia.
Innymi słowy:
Dijkstry to szczególny przypadek A*, gdzie heurystyka zawsze zwraca 0 (lub jest niedostępna - ale na to samo wychodzi).