Ускорение выгрузки и импорта MySQL

Question

Существуют ли документированные методы для ускорения дампов и импорта mySQL?

Это будет включать настройки my.cnf, использование ram-дисков и т. Д.

Нужны только документированные методы, желательно с ориентирами, показывающими потенциальное ускорение.

Answer 1

http://www.maatkit.org/ имеет mk-rallel-dump и mk-rallel-restore

Если вы мечтали о многопоточном mysqldump, не желайте больше. Этот инструмент сбрасывает таблицы MySQL параллельно. Это намного умнее mysqldump, который может действовать как оболочка для mysqldump (с разумным поведением по умолчанию) или как оболочка для SELECT INTO OUTFILE. Он предназначен для высокопроизводительных приложений с очень большими размерами данных, где скорость имеет большое значение. Он использует преимущества нескольких процессоров и дисков, чтобы вывести ваши данные намного быстрее.

В mysqldump также есть различные возможные варианты, например, не создавать индексы во время импорта дампа, а вместо этого делать их массовыми по завершении.

Answer 2

1. Получить копию High Performance MySQL. Отличная книга.
2. Расширенные вставки в отвалы
3. Создайте дамп в формате --tab, чтобы вы могли использовать mysqlimport, который работает быстрее, чем mysql
4. Импорт с несколькими потоками, по одному для каждой таблицы.
5. Если возможно, используйте другой движок базы данных. импорт в сильно транзакционный движок, такой как innodb, очень медленный. Вставка в нетранзакционный механизм, такой как MyISAM, намного быстрее.
6. Посмотрите на скрипт сравнения таблиц в Maakit toolkit и посмотрите, можете ли вы обновить свои таблицы, вместо того, чтобы создавать дампы и импортировать их. Но вы, вероятно, говорите о резервном копировании / восстановлении.

Answer 3

Если вы импортируете в InnoDB, единственное, что вы можете сделать, это поместить

innodb_flush_log_at_trx_commit = 2

в вашем my.cnfвременно во время выполнения импорта. Вы можете положить его обратно 1 если вам нужна кислота.

Answer 4

Я думаю, ваш вопрос также зависит от того, где находится узкое место:

• Если ваша сеть является узким местом, вы также можете посмотреть на -C/--compress флаг для mysqldump,
• Если на вашем компьютере заканчивается память (т. Е. Начинается подкачка), вы должны купить больше памяти.

Кроме того, посмотрите на --quick флаг для mysqldump (а также --disable-keys если вы используете MyIsam).

Answer 5

Отключите проверку внешних ключей и включите авто-фиксацию.

Answer 6

Использование расширенных вставок в дампах должно ускорить импорт.

Answer 7

mysqlhotcopy может быть альтернативой для вас, если у вас есть только таблицы MyIsam.

Answer 8

Используя индексы, но не слишком много, активируйте кеш запросов, используя sphinx для большой базы данных, вот несколько хороших советов http://www.keedeo.com/media/1857/26-astuces-pour-accelerer-vos-requetes-mysql (На французском)

Answer 9

Другой альтернативой является http://www.mydumper.org/ - многопоточное резервное копирование / восстановление mysql, которое в 3-10 раз быстрее, чем mysqldump, и может обрабатывать как MyISAM и InnoDB, так и Drizzle http://vbtechsupport.com/1695/