Awk: Что не так с персонажами CJK? #Корейский язык

Question

Даны файлы.txt с разделенными пробелами словами, такими как:

But where is Esope the holly Bastard
But where is 생 지 옥 이 군
지 옥 이
지 옥
지
我 是 你 的 爸 爸 ！
爸 爸 ！ ！ ！
你 不 會 的 ！

И функция Awk:

cat /pathway/to/your/file.txt | tr ' ' '\n' | sort | uniq -c | awk '{print $2" "$1}'

Я получаю следующий вывод в моей консоли, который недопустим для корейских слов (действителен для английских и китайских слов, разделенных пробелом)

생 16
Bastard 1
But 2
Esope 1
holly 1
is 2
the 1
where 2
不 1
你 2
我 1
是 1
會 1
爸 4
的 2

Как получить это работает для корейских слов? Примечание: у меня на самом деле 300 000 строк и около 2 миллионов слов.

---

РЕДАКТИРОВАТЬ: Используется ответ:

$ awk '{a[$1]++}END{for(k in a)print a[k],k}' RS=" |\n" myfile.txt | sort > myfileout.txt

Answer 1

Один awk Сценарий может справиться с этим легко и будет гораздо более эффективным, чем ваш текущий конвейер:

$ awk '{a[$1]++}END{for(k in a)print k,a[k]}' RS=" |\n" file 
옥 3
Bastard 1
！ 5
爸 4
군 1
지 4
But 2
會 1
你 2
the 1
是 1
不 1
이 2
Esope 1
的 2
holly 1
where 2
생 1
我 1
is 2

Если вы хотите сохранить результаты в другом файле, вы можете использовать перенаправление как:

$ awk '{a[$1]++}END{for(k in a)print k,a[k]}' RS=" |\n" file > outfile