Ja polecam spróbować. Sam uczyłem się programować (od podstaw) na prostej bibliotece graficznej w C i na mnie, wzrokowca, podziałało to świetnie. Co do matematyki: Nie trzeba być za pan brat z królową na wysokim poziomie. Do tworzenia prostych gier wystarczy wiedza na poziomie podstawowym z liceum, jednak jak zawsze - im więcej wiesz, tym lepiej dla ciebie. Moim zdaniem fizyka jest rzeczą, która sprawi Ci większe problemy. Przeniesienie wzorów z kartki i ogólnej koncepcji na kod jest niejednokrotnie problematyczne. Polecam pogłowić się nad zderzeniem piłek w 2D. Nie jest to mega trudne zadanie, ale myślę, że całkiem dobrze zobrazuje w czym tkwi trudność.
Co do narzekania na matematykę w szkole: 80% rzeczy, których się uczyłem w podstawówce, gimnazjum, liceum ma praktyczne zastosowanie. Co do 2 pierwszych szkół, to nie można narzekać, że karmią nas szczątkami, bo poziom musi być odpowiednio dobrany, aby każdy miał szansę sprostać materiałowi. W liceum możesz sobie wybrać matematykę na poziome rozszerzonym i tam myślę jest całkiem ciekawa matematyka, która wystarczy zdecydowanej większości. Jeśli jednak jesteś ambitniejszy i nie wystarczy Ci prosta symulacja odbić krążków 2D, polecam wybrać się na studia.