dqs - производительность: сколько строк в проекте вы можете обработать?
Этот вопрос строго связан с производительностью DQS.
Таблица "клиентов", которую мне нужно очистить, содержит 40 000 000 строк… Я создал соответствующую политику, используя подмножество (никаких проблем там нет, я просто использовал топ 10 000).
Теперь, когда я хочу сделать проект по качеству данных... Я не могу взять всю таблицу в одном проекте... Он просто не отвечает... Мне удалось обработать только 400 000 за раз, и даже в такой ситуации это занимает почти 2 часа... И это не лучшее решение, потому что мне нужно сделать проект с видом от 1 до 400 000.
Любое решение для этого ребята?
Мне также интересно... где узкое место? это процессор или диск?
С уважением.