[問題] Scrapy無法抓取資料

作者: TZULIU (消費券收購商)   2017-07-10 13:48:04
小弟最近在練習使用Scrapy,在網路上找了一個練習範本如下:
https://www.youtube.com/watch?v=w4PPlkJFzCo
前半段運作沒有任何問題,
但當開始使用 yield scrapy.Request 的時候卻發現spider沒有爬取到資料,
想請問各位高手原因為何?
程式碼如下:
import scrapy
from bs4 import BeautifulSoup
class Apple1Spider(scrapy.Spider):
name = 'apple'
allowed_domains = ['appledaily.com']
start_urls = ['http://www.appledaily.com.tw/realtimenews/section/new/']
def parse(self, response):
domain = "http://www.appledaily.com.tw"
res = BeautifulSoup(response.body)
for news in res.select('.rtddt'):
yield scrapy.Request(domain + news.select('a')[0]['href'],
callback=self.parse_detail)
def parse_detail(self, response):
res = BeautifulSoup(response.body)
print(res.select('#h1')[0].text)
我所使用的版本為Python3.6.1,
謝謝。
作者: coeric ( )   2017-07-10 18:01:00
scrapy不給裝 用requests撈 沒啥問題

Links booklink

Contact Us: admin [ a t ] ucptt.com