ManifoldCF и Postgresql сканируют 1,5 миллиона документов

Question

Мы использовали ManifoldCF с Postgresql (9.6) для сканирования наших сайтов. Скорость сканирования хорошая (примерно 20 000 документов / час) до 500 000 документов. после снижения производительности, и мы можем увидеть длительное замораживание (очень длительное) сканирования. Мы подозреваем, что postgresql перестроит индексы таблицы intrinsiclink. Можно ли это запретить? по настройкам postgresql?

Спасибо Дэн

Answer 1

Какую версию MCF вы используете? попробуйте последнюю версию: 2.13

В большинстве случаев база данных снижает производительность. Лучшая настройка PG даст лучшие результаты

Согласно руководству MCF: https://manifoldcf.apache.org/release/release-2.13/en_US/performance-tuning.html

Вы должны выключить автоочистку PG, посмотрите, поможет ли это.

Есть много других факторов, которые стоит попробовать.