[問題] python爬蟲抓取資料問題
作者: blue14753 (blue14753) 2017-08-22 19:18:10
最近想寫一個爬蟲來抓取家教網的資料，
但目前遇到一個問題是，欲抓取的資料在
class = listContainer 的 ul 裡，原本想像是
會抓到 ul 裡的 li ，再去抓取 li 裡的 colRow
區塊，但不知為何用find_all或find都只能抓到第一筆的 li 。以下附圖以及程式碼，感
謝大大！
程式碼：http://codepad.org/N1U5MJnW
程式執行結果：
![]()
網頁原始碼：
![]()
但目前遇到一個問題是，欲抓取的資料在
class = listContainer 的 ul 裡，原本想像是
會抓到 ul 裡的 li ，再去抓取 li 裡的 colRow
區塊，但不知為何用find_all或find都只能抓到第一筆的 li 。以下附圖以及程式碼，感
謝大大！
程式碼：http://codepad.org/N1U5MJnW
程式執行結果：
網頁原始碼：
作者: dmjohnny ( ) 2017-08-22 21:49:00
搭配selenium吧
作者: wennie0433 2017-08-22 22:44:00
你應該可以直接抓findAll('div', {'class':'colRow'})然後得到結果後再去find('span', {'class':'col name'記得find_all回傳的是list要用for取值你把html.parser換成lxml就可以抓到全部了或是html5lib也可以