Ошибка "Недопустимая последовательность байтов" при использовании команд оболочки в терминале Mac Bash

Question

Ошибка "Недопустимая последовательность байтов" при попытке извлечь неанглийские символы из большого файла в оболочке MacOS. Это сценарий, который я пытаюсь использовать:

sed 's/[][a-z,0-9,A-Z,!@#\$%^&*(){}":/_-|. -][\;''=?]*//g' < $1 >Abhineet_extract1.txt;
sed 's/\(.\)/\1\
/g' <Abhineet_extract1.txt | sort | uniq |tr -d '\n' >&1;
rm Abhineet_extract1.txt;

и вот ошибка, которую я получаю:

uniq: stdin: Illegal byte sequence

"+?

Answer 1

Кажется, что язык UTF-8 вызывает Illegal byte sequence,

Вместо этого скажите:

LC_CTYPE=C your_command

man locale говорит:

   These environment variables affect each locale categories for all
   locale-aware programs:

   LC_CTYPE

           Character classification and case conversion.