Как я могу сделать scrapy проверку поля и игнорировать поиск по ссылке

Question

import scrapy
from scrapy.selector import HtmlXPathSelector
from scrapy.http.request import Request


class SunBizSpider(scrapy.Spider):
name = 'sunbiz'
start_urls = ['http://search.sunbiz.org/Inquiry/CorporationSearch/SearchResults?inquiryType=EntityName&searchNameOrder=A&searchTerm=a']

def parse(self, response):
    leurl = 'http://search.sunbiz.org'
    next_plis = response.xpath("//div[@class='navigationBar'][1]//a[@title='Next List']/@href").extract()
    next_lis = (leurl+ ', '.join(next_plis))
    yield scrapy.Request(next_lis, callback=self.parse)
    for href in response.css('.large-width a::attr(href)'):
        full_url = response.urljoin(href.extract())
        yield scrapy.Request(full_url, callback=self.parse_biz)

def parse_biz(self, response):
    re1='((?:[0]?[1-9]|[1][012])[-:\\/.](?:(?:[0-2]?\\d{1})|(?:[3][01]{1}))[-:\\/.](?:(?:[1]{1}\\d{1}\\d{1}\\d{1})|(?:[2]{1}\\d{3})))(?![\\d])' #        MMDDYYYY 1
    date = response.xpath('//span').re_first(re1)
    yield {
        'Name': response.css('.corporationName span::text').extract()[1],
        'Date': date,
        'Link': response.url,
        }

Регулярное выражение, скорее всего, найдет слова inact и cross reff

Как вы можете видеть выше, я выделил такие слова, как inact, name hs а также cross rf какие элементы я хочу, чтобы сканер проверял и ничего не делал, если у него есть эти слова.

Answer 1

Вы могли бы использовать xpath селектор для проверки внутреннего текста, поэтому, если вы хотите получить все td с внутренним текстом Active, используйте что-то вроде:

response.xpath('//td[text()="Active"]')

То же самое для других строк, вы также можете использовать:

response.xpath('//td[contains(text(), "Activ")]')

если вы хотите только одну часть строки