Проверка конвейера базы данных Scrapy после вставки элементов
В проекте Scrapy я очищаю кучу "кейсов". Для каждого случая я скребу несколько предметов и вставляю в БД. После того, как каждый случай завершен, я хочу пометить этот случай как "зарегистрированный" в БД, указывая, что все пункты для этого случая завершены.
Итак, я сделал Checkin вещь {'checked_in': datetime.utcnow()} для каждого случая я составляю список вида
[Request(...), Request(...), Request(...), Checkin]
Однако возвращение этого списка в Scrapy заставляет его вставить Checkin в базу данных до того, как он закончит сбор всех объектов Request. Регистрация происходит до того, как какие-либо запросы будут вставлены.
Вместо этого я хочу написать его так, чтобы в каждом случае конвейер не вставлял объект регистрации до тех пор, пока все результаты запросов для этого случая не будут вставлены в базу данных.
Как я могу это сделать?