To nie jest taka prosta rzecz, formaty MP3 i MP4 są skomplikowane i zbudowane w oparciu o algorytmy kompresji danych, przez co odczytywanie tych formatów na własną rękę jest nie opłacalne, lepiej jest użyć gotowej biblioteki https://en.wikipedia.org/wiki/List_of_open-source_codecs - lista bibliotek do obsługi audio/video
Dla przykładu - tu jest kod źródłowy biblioteki ffmpeg http://git.videolan.org/?p=ffmpeg.git;a=tree
Do tego jeszcze dokumentacja - https://ffmpeg.org/documentation.html
I możesz robić co chcesz z wybranym plikiem audio/video, powodzenia!
Problem pojawia się, gdy chcesz tego użyć na dużą skalę - tworzenie movie makera to nie projekt na kilka wolnych chwil... Takie programy są trudne w napisaniu i muszą oferować dużo opcji żeby były użyteczne (to ma być edytor, a nie odtwarzacz filmów ).
Jak to zrobić? Nie mam pojęcia, ale znalazłem taką fajną listę programów open source do edycji video - https://en.wikipedia.org/wiki/List_of_video_editing_software. Powinny się przydać!