Generowanie grafiki trójwymiarowej polega najzwyczajniej w świecie na wykorzystywaniu wyspecjalizowanych algorytmów matematycznych, które z danych na wejściu (wierzchołki, krawędzie, tekstury, oświetlenie, kamera, shadery itp.) tworzą na wyjściu gotowy obraz.
Napisanie biblioteki to jedno, połączenie się z kartą graficzną to drugie. Całym podzespołem zajmuje się oczywiście sterownik i za jego pomocą programista może odnieść się do sprzętu: czy to przez graficzne API (OpenGL, DirectX), czy też przez specjalny tryb do wykonywania spersonalizowanych obliczeń za pomocą układów karty (m.in. OpenCL).
Teoretycznie więc mógłbyś napisać kod renderera i uruchomić go z wykorzystaniem OCL, aby wykorzystać potencjał układów graficznych, ale nie wiem, czy dla ciebie jest to realna opcja.