Описание тега lexer
Программа, преобразующая последовательность символов в последовательность токенов.
Лексер - это программа, целью которой является преобразование последовательности символов в последовательность токенов. Его также часто называют сканером. Лексер часто существует как отдельная функция, которая вызывается парсером или другой функцией.