Описание тега lexical-analysis

В информатике лексический анализ - это процесс преобразования последовательности символов в последовательность токенов. Программа или функция, выполняющая лексический анализ, называется лексическим анализатором, лексером, токенизатором или сканером.

Лексический синтаксис обычно представляет собой обычный язык, атомы которого представляют собой отдельные символы, в то время как синтаксис фраз обычно представляет собой контекстно-свободный язык, атомы которого являются словами (токенами, производимыми лексером). Хотя это обычное разделение, в качестве альтернативы лексический анализатор может быть объединен с анализатором без сканирования.