Описание тега tokenize

Токенизация - это процесс разделения потока текста на дискретные элементы, называемые токенами, с использованием разделителя, присутствующего в потоке. Затем эти токены можно обрабатывать дальше, например, для поиска значения или присвоения массиву для цикла.

Пример (VBA):

Dim tokens As Variant
Dim sampleString As String
Dim i As Long

sampleString = "The quick brown fox jumps over the lazy dog."

' tokenize string based on space delimiter
tokens = Split(sampleString, " ")

' list tokens
For i = LBound(tokens) To UBound(tokens)
  MsgBox tokens(i)
Next i

Связанные теги:

• Трещина
• обработка текста
• текстовая сегментация

Ссылки:

• Как токенизировать строку в C++?
• Токенизация строки: примеры на разных языках - Rosetta Code
• Токенизация (лексический анализ) - Википедия
• Сегментация текста - Википедия