Przede wszystkim VS potrzebuje tych rzeczy, które zapisuje. Inaczej by ich nie zapisywał. A zapisuje m.in nagłówki debugowania (`.pdb` - dzięki nim możesz w ogóle debugować bo zawierają informacje np. o nazwach funkcji i o tym w których liniach są ich deklaracje - bez nich widziałbyś tylko adresy w pamięci). Reszta to malutkie pliki konfiguracyjne.
Ile dokładnie waży folder Debug w jednym z twoich projektów? Ja sprawdziłem i na aplikacji okienkowej hello world folder waży 52kB a w dużym projekcie (gra w SFML) waży 40MB.