192 дня на сборку плитки Европы

Question

Привет и спасибо за всю хорошую работу над OpenMapTiles.

Я пытаюсь строить плитки для Европы, Северной Америки, может быть, мира.

Я использую ./quickstart сценарий, и, как говорят, на изготовление плитки для Америки уходит 30 дней, а для Европы - 192 дня. Это работает на c5d.18xlarge Экземпляр EC2 (70 CPU, 180G RAM, SSD диски).

Я что-то пропустил?

В настоящее время я пытаюсь использовать базу данных за пределами Docker (на локальном хосте), чтобы узнать, могу ли я ускорить процесс... но как вы, ребята, делаете?

Answer 1

Я использую это
https://github.com/mapbox/mbutil/blob/5e1ac74fdf7b0f85cfbbc245481e1d6b4d0f440d/patch

Это один из моих сценариев, я объединяю все это с tmp и проверяю, есть ли еще текущая копия файла в этом файле

for i in *.mbtiles; do
    [ -f "$i" ] || break
    if [[ $i != *"final.mbtiles"* ]]; then
      if ! [[ `lsof -c /tilelive-copy/ $i` ]]; then
  exit=$(/usr/local/bin/merge_mbtiles.sh $i /tmp/final.mbtiles)
        echo $exit
        (( $rc )) && echo "merge failed $i" && exit 1
        echo "merge sucessfull"
      fi
    fi
done

Answer 2

Я хочу попробовать разделить несколько файлов тоже.

Но как мне объединить отрендеренные mbtiles-файлы? Можно ли будет показать вам сценарии? GIT?

Спасибо

С наилучшими пожеланиями

Stephan

Answer 3

Я также использую openmaptiles и скорость очень замедлилась после последних обновлений (все еще нужно выяснить, какие изменения вызвали это). Сценарий quickstart удобен для того, чтобы попытаться разобраться, в конце концов, я начал писать сценарии, чтобы разделить и парализовать работу. Прямо сейчас мы обрабатываем весь мир с увеличением 0-14(быстро) и большую часть Европы с 14-18 (это занимает недели)

Попробуйте следующее:
* настройка postgres (по умолчанию плохо для больших баз данных)
* попробуйте разделить области и парализовать работу.

Вы можете видеть, что процесс рендеринга с использованием tilelive-copy на самом деле не использует все ядра. Весь процесс не настолько эффективен при использовании ресурсов. После нескольких попыток я понял, что параллельный запуск нескольких рабочих быстрее (в конце концов), чем чрезмерная загрузка вашего сервера с большей скоростью ядра процессора.

смотрите также:
https://github.com/openmaptiles/openmaptiles/issues/462
https://github.com/mapbox/tilelive/issues/181