Входной файл для локальных MRJobs

Question

Я изучаю / тестирую mrjobs на своем ноутбуке, используя пример wordcount.

Я могу предоставить локальный файл в качестве ввода в командном режиме, но не знаю, как сделать то же самое из скрипта Python.

Очень ценю простой пример.

Спасибо анант

Answer 1

Не совсем понял, о чем вы спрашиваете, но я думаю, вы ищете что-то вроде этого

[root@localhost code]# cat mr_example.py 

from mrjob.job import MRJob

class MRWordFrequencyCount(MRJob):

    def mapper(self, _, line):
        yield "chars", len(line)
        yield "words", len(line.split())
        yield "lines", 1

    def reducer(self, key, values):
        yield key, sum(values)

if __name__ == '__main__':
    MRWordFrequencyCount.run()

[root@localhost code]# cat test_file 
aaaa
dd dx csadsad
2321 dasdtokcmk
mii xsa
xaaaa
casd

[root@localhost code]# python mr_example.py test_file
...
"chars" 50
"lines" 6
"words" 10