No właśnie o to chodzi, że karta graficzna to komputer z osobnym procesorem, pamięcią itp. wyspecjalizowany do określonych obliczeń potrzebnych do renderowania grafiki[1]. Czyli to nie procesor główny liczy to, o czym piszesz, a właśnie procesor z karty graficznej. karta dostaje określone dane i na ich podstawie renderuje grafikę i potem ją wyświetla.
[1] Są też takie programy, które używają karty graficznej do innych obliczeń, np. do szyfrowania.