Ale na etapie uruchamiania pliku binarnego nie powinno być takiego błędu, prawda?
Jak najbardziej mogą - gdyby nie było, to by DLLki nie istniały, nie? ;) Większość programów zależy od załadowanych dynamicznie bibliotek zamiast mieć "wszystko" w jednym pliku .exe. Na przykład jak wejdziesz do folderu instalacji Steama, to tam będzie z 30+ bibliotek .dll i bez nich też nie będzie działał.
W każdym razie, tak - domyślnie zbudowane programy z MinGW polegają na kilku bibliotekach DLL. Gdy odpalałeś program z (zakładam) CodeBlocksa, to on to odpalał w środowisku gdzie program mógł korzystać z bibliotek zainstalowanych razem z tym g++em. Najprościej będzie jak je przekopiujesz z folderu instalacji C::B do folderu z .exe i tyle.