Cześć!
Chyba oznacza to, że Twój plik jest używany przez program w trakcie gdy chcesz go usunąć, upewnij się że wszystkie strumienie do pliku zostały zamknięte, zanim użyjesz File.Delete. Jeżeli używasz tego pliku tylko w tym jednym miejscu to użyj opcji "CacheOption = BitmapCacheOption.OnLoad;", która załaduje plik do pamięci w danym momencie i zamknie strumień, być może to jest przyczyną, że usuwasz plik, który jest jeszcze ładowany. Zobacz kod, który u mnie działa:
BitmapImage tmp = new BitmapImage();
tmp.BeginInit();
tmp.CacheOption = BitmapCacheOption.OnLoad;
tmp.UriSource = new Uri("TEST.JPG", UriKind.RelativeOrAbsolute);
tmp.EndInit();
imageObraz.Source = tmp;
System.IO.File.Delete("TEST.JPG");