Как удалить и посчитать слова из текстового файла?

Question

Я хочу найти термины Частота и Частота инвертирования документов (TF-IDF) для текстовых файлов в определенной коллекции файлов.

Так что в этом случае я просто хочу рассчитать общее количество слов в файле, количество вхождений конкретного слова в файл и удалить слова, как a, an, the, так далее.

Есть ли в vb.net парсер?
Заранее спасибо.

Answer 1

Самый простой способ, который я знаю, это что-то вроде:

Private Function CountWords(Filename as String) As Integer
    Return IO.File.ReadAllText(Filename).Split(" ").Count 
End Function

Если вы хотите удалить слова, вы можете:

Private Sub RemoveWords (Filename as String, DeleteWords as List(Of String))
    Dim AllWords() As String = IO.File.ReadAllText(Filename).Split(" ")
    Dim RemainingWords() As String = From Word As String In AllWords
                                     Where DeleteWords.IndexOf(Word) = -1

    'Do something with RemainingWords ex:
    'IO.File.WriteAllText(Filename, String.Join(vbNewLine, RemainingWords)
End Sub    

Это предполагает, что слова разделены пробелом

Answer 2

Самый простой способ сделать это - прочитать текстовый файл в одну строку, а затем использовать.NET Framework для поиска соответствия:

Dim text As String = File.ReadAllText("D:\Temp\MyFile.txt")
Dim index As Integer = text.IndexOf("hello")
If index >= 0 Then
   ' String is in file, starting at character "index"
End If

Или решение 2. Для этого вам нужны StreamReader и Regx.

//read file content in StreamReader
StreamReadertxt Reader = new StreamReader(fName);
szReadAll = txtReader.ReadToEnd();//Reads the whole text file to the end
txtReader.Close(); //Closes the text file after it is fully read.
txtReader = null;
//search word in file content
if (Regex.IsMatch(szReadAll, "SearchME", RegexOptions.IgnoreCase))//If the match is found in allRead
  MessageBox.Show("found");
else
  MessageBox.Show("not found");

Вот и все, я надеюсь, что это решит ваши вопросы. С уважением

Answer 3

Вы можете попробовать что-то вроде этого:

Dim text As String = IO.File.ReadAllText("C:\file.txt")
Dim wordsToSearch() As String = New String() {"Hello", "World", "foo"}
Dim words As New List(Of String)()
Dim findings As Dictionary(Of String, List(Of Integer))

'Dividing into words'
words.AddRange(text.Split(New String() {" ", Environment.NewLine()}, StringSplitOptions.RemoveEmptyEntries))
'Discarting all the words you dont want'
words.RemoveAll(New Predicate(Of String)(AddressOf WordsDeleter))

findings = SearchWords(words, wordsToSearch)

Console.WriteLine("Number of 'foo': " & findings("foo").Count)

И используемые функции:

Private Function WordsDeleter(ByVal obj As String) As Boolean
    Dim wordsToDelete As New List(Of String)(New String() {"a", "an", "then"})
    Return wordsToDelete.Contains(obj.ToLower)
End Function

Private Function SearchWords(ByVal allWords As List(Of String), ByVal wordsToSearch() As String) As Dictionary(Of String, List(Of Integer))
    Dim dResult As New Dictionary(Of String, List(Of Integer))()
    Dim i As Integer = 0

    For Each s As String In wordsToSearch
        dResult.Add(s, New List(Of Integer))

        While i >= 0 AndAlso i < allWords.Count
            i = allWords.IndexOf(s, i)
            If i >= 0 Then dResult(s).Add(i)
            i += 1
        End While
    Next

    Return dResult
End Function

Answer 4

Может быть, регулярные выражения помогут вам:

Using System.IO
Using System.Text.RegularExpressions

...

Dim anyWordPattern As String = "\b\w+\b"
Dim myWordPattern As String = "\bMyWord\b"
Dim replacePattern As String = "\b(?<sw>a|an|the)\b"
Dim content As String = File.ReadAllText(<file name>)
Dim coll = Regex.Matches(content, anyWordPattern)
Console.WriteLine("Total words: {0}", coll.Count)
coll = Regex.Matches(content, myWordPattern, RegexOptions.Multiline Or RegexOptions.IgnoreCase)
Console.WEriteLine("My word occurrences: {0}", coll.Count)
Dim replacedContent = Regex.Replace(content, replacePattern, String.Empty, RegexOptions.Multiline Or RegexOptions.IgnoreCase)
Console.WriteLine("Replaced content: {0}", replacedContent)

Объяснение используемых регулярных выражений:

• \ b - граница слова;
• \ w - любой символ слова;
• + - квантификатор, 1 или много;
• (?...) - именованная группа, называемая "sw" - стоп-слово
• a|an|the - альтернативы, "a" или "an" или "the"