Самый эффективный способ записи более 1000 записей в таблицу базы данных

Question

У нас есть продукт, который требует записи более 1000 записей в таблицу базы данных после утверждения сотрудником нашей компании. Традиционным способом записи этого количества записей может быть циклическая или массовая вставка MySQL непосредственно в таблицу.

Наряду с этим у меня также есть несколько таблиц, которые проверяются заданием CRON, и я обновляю другую таблицу с 2000 записями одновременно.

Я хотел бы знать, должен ли я продолжить массовую вставку MySQL (что влияет на производительность) или использовать инструмент обработки событий, такой как Kafka?

Хотелось бы узнать ваши отзывы.

Заранее спасибо.

Answer 1

Я чувствую трюк, который может ускорить это быстрее, чем LOAD DATAчто, пожалуй, самый быстрый...

"Одобрено..." - Значит ли это, что у вас где-то есть данные, и вы хотите "нажать кнопку", чтобы добавить их в конкретную таблицу? Если так,...

Предварительно загрузите их в другой стол. Затем подготовьте этот запрос:

INSERT INTO real_table
    SELECT * FROM pending_table;

Но... Правильно ли выстроены колонны? Могут ли быть двойные ключи? Если это так, вам нужно что-то обновить? Смотрите ИОДКУ. И т.п.

Я рекомендую вам проверить процесс до наступления дня. Это может быть неловко, если не получится.