imdbpy2sql.py застрять в FLUSHING MoviesCache

Question

Наконец-то я запустил imbdpy2sql в Windows 7 с Python 2.7 minGW и pymsql, и он прекрасно подключается к базе данных и создает все таблицы, но он застревает на Flushind MoviesCache и никогда не проходит мимо него. Это его вывод:

SAVING ImdbID values for ... DONE
DROPPING current database ... DONE
CREATING New tables ... DONE
SCANNING movies

и он перечисляет 10001, а затем 20001 и так далее до 90001, а затем он говорит * FLUSHING MoviesCache

но оно никогда не проходит мимо. Как долго я должен позволить этому сидеть там, как это? Я оставил это по крайней мере на час без прогресса, если не на два часа. Что я могу сделать, чтобы это заработало? Или это работает, и мне просто нужно дать ему сидеть часами?

Также, в случае, если это помогает, я запускаю его, открывая командную строку, cding to C:\Python27\Scripts\bin\ а затем с помощью этой команды:

imdbpy2sql.py -d C:\USers\Jordan\DEsktop\IMDB -u mysql://root:lookool@localhost/IMDB

Answer 1

Нет, это не нормально: сброс должен занимать не более нескольких десятков секунд.

Я постараюсь воспроизвести это; тем временем вы можете попробовать использовать систему импорта CSV: снова запустите imdbpy2sql.py с теми же параметрами, добавив "-c C:\Temp" (без кавычек - или что-то в этом роде: возможно, для каталога требуется две обратных косых черты) разделитель, в системе Windows).

Если у вас есть доступ к среде linux/unix, вы также можете поэкспериментировать с частичными наборами данных, используя скрипт redu.sh в каталоге docs/goodies/.

Answer 2

[MySQL]

В общем, если вы получаете смущающе большое количество строк "СЛИШКОМ МНОГО ДАННЫХ... РАЗДЕЛЕНИЕ", рассмотрите возможность увеличения max_allowed_packet (в конфигурации вашего сервера MySQL) по крайней мере до 8 М или 16 МБ. В противном случае вставка данных будет очень медленной, а некоторые данные могут быть потеряны.

Это написано в их документе:)