Я хочу сохранить вывод скрипта Python Pyspider в CSV или JSON

Question

Вот мой код, который я сделал:

import json
from pyspider.libs.base_handler import *

f = open("demo.txt","w")
class Handler(BaseHandler):
    crawl_config = {
    }

    @every(minutes=0,seconds = 0)
    def on_start(self):
        self.crawl('Any URL', callback=self.index_page)

    @config(priority=2)
    def detail_page(self, response):
        img = ""
        for each in response.doc("img[id='landingImage']").items():
            img = each
        f.write("\n"+response.doc('title').text() + "\t" + response.doc("span[id^='priceblock']").text())
        return {
            "url": response.url,
            "title": response.doc('title').text(),
            "img_url":img.attr['src'],
            "Price":response.doc("span[id^='priceblock']").text(),
            "Availability":response.doc("div[id='availability']").text()
        }

В приведенном выше коде у меня есть данные брака по ссылке, но я не могу получить вывод в формате json или csv

Answer 1

Вы можете загрузить данные из webui или добавить данные в файл путем переопределения on_result метод.