Usunięcie frazy w dużym pliku XML

Question

Dzień dobry,

muszę napisać program, który usuwa konkretną frazę w dużym pliku XML (około 3.5GB), która to fraza występuje w nim wiele razy.

Napisałem taki kod:

string directoryPath;

    OpenFileDialog ofd = new OpenFileDialog();

    private void button1_Click(object sender, EventArgs e)
    {
        ofd.Filter = "XML|*.xml";
        if (ofd.ShowDialog() == DialogResult.OK)
        {
            directoryPath = Path.GetDirectoryName(ofd.FileName);
            textBox2.Text = directoryPath;
            textBox1.Text = ofd.SafeFileName;
        }
    }

    private void Replace()
    {
        StreamReader readerFile = new StreamReader(ofd.FileName, System.Text.Encoding.UTF8);

        while (!readerFile.EndOfStream)
        {
            string stringReplaced;
            string replaceResult = textBox2.Text + "\\" + "replace_results";
            Directory.CreateDirectory(replaceResult);
            StreamWriter writerFile = new StreamWriter(replaceResult + "\\" + textBox1.Text, true);
            StringBuilder sb = new StringBuilder();
            char[] buff = new char[10 * 1024 * 1024];
            int xx = readerFile.ReadBlock(buff, 0, buff.Length);
            sb.Append(buff);
            stringReplaced = sb.ToString();
            stringReplaced = stringReplaced.Replace("fraza do usunięcia", string.Empty);
            writerFile.WriteLine(stringReplaced);
            writerFile.Close();
            writerFile.Dispose();
            stringReplaced = null;
            sb = null;
        }


        readerFile.Close();
        readerFile.Dispose();
    }

    private void button2_Click(object sender, EventArgs e)
    {
        if (!backgroundWorker1.IsBusy)
        {
            backgroundWorker1.RunWorkerAsync();
            toolStripStatusLabel1.Text = "Replacing in progress...";
        }
    }

    private void backgroundWorker1_DoWork(object sender, DoWorkEventArgs e)
    {
        try
        {
            Replace();
            toolStripStatusLabel1.Text = "Replacing complete!";
        }
        catch
        {
            toolStripStatusLabel1.Text = "Error! Replacing aborted!";
        }
    }
}

Generalnie całość działa, ale nie tak jak bym chciał. Nowy plik jest większy od oryginalnego, a ponadto na końcu nowego pliku pojawiają się śmieci w postaci kropek, screenshot: https://images81.fotosik.pl/615/873833aa0e23b36f.jpg

Jak mogę zmienić mój kod, aby to wyeliminować? Tak aby nowy plik był jak stary, jedynie bez frazy którą chcę usunąć.

Answer 1

proponuje użyć awk ( pod windows znajdziesz gawk )

gawk -f x.awk plik.xml > wynik.xml

a w pliku x.awk  tylko tyle :

 

 {
   gsub("text do wyrzucenia","",$0);
   print $0;
}

można też z linii poleceń : gawk '{gsub("co wyrzucic","",$0);print $0;}' plik.xml > wynik.xml

z tym że u mnie nie chciał łykać znaku '

poszło w wersji  gawk "{gsub(\"co wyrzucic\,\"\",$0);print $0;}" plik.xml > wynik.xml

dlatego wolę używać  wywołania z plikiem instrukcji