Nie wiem czy tak się da, ale żeby na przykład ts3 miał przydzielone połowę ramu do wykorzystania a 2 połowę reszta
Można; narzędziem do tego jest cgroups. (można je też obsługiwać pośrednio przez systemd). Tworzysz grupę(grupy), ograniczasz jej maksymalne zużycie pamięci, po czym uruchamiasz w tej grupie programy które chcesz.
Natomiast nie nazwałbym tego tematem dla początkujących ;)
(disclaimer: nie miałem okazji robić tego w praktyce)
Innym rozwiązaniem jest odpalenie skryptów w kontenerze o ograniczonej ilości pamięci, jak w odpowiedzi Mariusza; ale to też ma swoje trudności.
Jeszcze lepiej by było jeżeli skrypty wykorzystywałyby tylko to co jest nieużywane przez ts w danej chwili
Tego raczej tak łatwo się nie da ;) No bo... albo skrypt zaalokuje ram który potrzebuje, albo umrze.