Bardzo ciekawy problem poruszasz.
Zasadniczo jeśli modyfikujesz jakieś elementy biblioteki, customizujesz ją to powinieneś załączyć kod biblioteki. Jeśli tego nie robisz co jest zalecane w 99% przypadków to plik bibliotek powinny być dociągane osobno, tym samym nie przechowywane w repozytorium. Repozytorium kodu jak nazwa wskazuje powinno zawierać tylko kod, wszystkie pliki konfiguracyjne jak i wykonywalne nie powinny wchodzić w skład repozytorium. Poczytaj o czymś takim jak gitignore.
Na twoim miejscu wrzucił bym kod swojej gry oraz szczegółową instrukcję jak powinno się pobrać repo, następnie jak dołączyć do niego potrzebne biblioteki. Zachęcam cię do przeglądnięcia repozytoriów projektów open source.
Niestety programiści C++ nie mają tak dobrze jak programiści innych języków takich jak python czy java gdzie menadżer pakietów to standard. Polecam zainteresować się czymś takim jak:
https://conan.io/