Проверка данных tenorflow приводит к сбою на 4-ядерном компьютере, когда я обрабатываю более 1,5 гигабайт CSV

Question

Я пытаюсь запустить функцию проверки данных тензорного потока на наборах данных (CSV) > 2 Gig. Он падает через некоторое время. Он работает очень хорошо, если набор данных составляет около 1 гига. Как обрабатывать большие наборы данных без использования облачного сервиса потоков данных.

Answer 1

Какая у вас оперативная память и какую функцию вы пытаетесь использовать при проверке данных Tensorflow?

Чтобы использовать все ядра вашего ПК для обработки, вы можете попробовать функцию, указанную ниже:

tfdv.generate_statistics_from_dataframe(dataframe,   stats_options=options.StatsOptions(), n_jobs= -1)

Если вы установите параметр, n_jobs = -1 он использует все 4 ядра ЦП вашего ПК.