Сбой импорта osm2pgsql с сообщением "Не удалось прочитать из кэша узла: ошибка ввода / вывода"

Question

Я пытаюсь импортировать данные OSM для всей планеты на AWS EC2. Во время или, возможно, после обработки "Пути" я получаю следующее сообщение:

"Failed to read from node cache: Input/output error"

EC2 имеет следующие характеристики:

тип: i3.xlarge
память: 30,5 Гб
vCPU: 4
Postgresql: v9.5.6
PostGIS: 2.2

Помимо корневого тома я установил твердотельный накопитель емкостью 900 ГБ и HHD емкостью 2 ТБ (высокая пропускная способность). Каталог данных Postgresql находится на HHD. Я командовал osm2pgsql написать файл с плоскими узлами SSD.

Вот мой osm2pgsql команда:

osm2pgsql -c -d gis --number-processes 4 --slim -C 20000 --flat-nodes /data-cache/flat-node-cache/flat.nodes /data-postgres/planet-latest.osm.pbf

Я запускаю вышеупомянутую команду как пользователь renderaccount который является членом следующих групп renderaccount ubuntu postgres, flat-nodes файл, кажется, успешно создан в /data-cache/flat-node-cache/flat.nodes и имеет этот профиль:

ubuntu@ip-172-31-25-230:/data-cache/flat-node-cache$ ls -l
total 37281800
-rw------- 1 renderaccount renderaccount 38176555024 Apr 13 05:45 flat.nodes

Кто-нибудь сталкивался и или решил это? Я подозреваю, может быть, проблема с разрешениями? Теперь я замечаю, что с момента последнего сбоя osm2pgsql подключенный SSD является местом назначения flat-nodes Файл был преобразован в файловую систему "только для чтения", что может звучать, как если бы на подключенном томе были ошибки ввода-вывода (?).

Кроме того, osm2pgsql записывает в журнал, что я мог получить дополнительную информацию?

ОБНОВЛЕНИЕ: dmesg выход:

[ 6206.884412] blk_update_request: I/O error, dev nvme0n1, sector 66250752
[ 6206.890813] EXT4-fs warning (device nvme0n1): ext4_end_bio:329: I/O error -5 writing to inode 14024706 (offset 10871640064 size 8388608 starting block 8281600)
[ 6206.890817] Buffer I/O error on device nvme0n1, logical block 8281344

После изучения вышеприведенного вывода, возможно, это ошибка в Ubuntu 16.04. https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1668129?comments=all

Answer 1

Это была ошибка при записи Ubuntu 16.04 на том nvme0n1, Решено этим https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1668129/comments/29