Nie wiem czy na windowsie i macu ci zadziała, ale na linuxie robię tak:
1. Pobieram to: https://github.com/SFML/SFML/blob/master/cmake/Modules/FindSFML.cmake
2. Wrzucam do folderu z projektem, gdzie znajduję się CMakeLists.txt
3. Na koniec CMakeLists.txt dodaję
set(CMAKE_MODULE_PATH "${CMAKE_CURRENT_LIST_DIR}/")
find_package(SFML REQUIRED system window graphics network audio)
if (SFML_FOUND)
include_directories(${SFML_INCLUDE_DIR})
target_link_libraries(NAZWA_TWOJEGO_PROJEKTU ${SFML_LIBRARIES})
endif()