我目前正在練習用巴哈姆特的網頁抓資料
https://www.gamer.com.tw/
但是碰到的問題是我無法理解其網頁架構
舉例來說
我想要抓Android安裝榜
所以我開chrome並使用f12去對網頁資料
然後看到https://imgur.com/a/zCehUFB
知道class是"BA-ctag1now"
接著往上看到https://imgur.com/a/rR8Fy5j
知道class是"BA-ctag1"
然後往下看到https://imgur.com/a/nniibSr
知道class是"BA-cbox BA cbox5 BA mobilegamechart
然後往下看到https://imgur.com/a/itCK19J
知道class是"game"+遊戲名稱欄位是"p"
但如果我輸入https://pastebin.com/1fMz0ZCk
結果就會失敗
請問我該如何拆解巴哈姆特的網頁架構
還是我的程式本身也有哪裡錯了

有 id 幹嘛不用 id.... <div id="gamechart-hot">class 的功能是為了配合 css 和 js 進行瀏覽器渲染加工時的分類，所以可以預期幾乎不會是只出現一次

要寫爬蟲最好去了解一下 html

給s860134,多謝你的指點,目前已經試出以下結果https://pastebin.com/J2eHfP43只是也如art1所說，不懂html結構的話很難進行下去我現在才知道,要抓資料要同時懂程式跟網頁才行因為我不斷縮小https://pastebin.com/FBTjW4w9卻無法拆解出最後的部分,讓我可以拉出排行榜的遊戲名附帶一題,請問id或class的名稱你們都是怎麼打的我都只能一邊看網頁右邊的名稱一邊用手打字沒有直接COPY貼上到程式裡頭的方法嗎

print(soup.select('a.hotgame > p.game'))這是利用 css 選擇器來選到你要的元素，所以也要去了解一下這樣才能比較有效率的抓出想要的資料select 會回傳串列（list)，所以串列元素的text就是你要的

給art1,感謝你的協助https://pastebin.com/hE2DNT3S所以我猜你的程式意思是把a class="hotgame"到p class="game"之間的資料以序列形式抓出來只是我不明白若我想要只看最後排行榜的資料為何是這種結果https://pastebin.com/AK5byWc1https://pastebin.com/C1c97e8Z,我一直沒辦法只顯現實際榜單的遊戲排行而去掉前後的內容

你要注意印出來的資料最前面跟最後面有 [ 跟 ]這代表在[]裡面（也就是串列list）的元素是以逗號 , 隔開串列裡面的每一個元素其實都是 bs4 建構的一種物件，包含了各種資料和函式，你需要的只是串列元素的text屬性值，至於排行，初步看是按照串列裏面的順序，因為神魔存在索引值 0的位置存取text屬性值的程式碼像這樣soup.select('a.hotgame > p.game')[0].text實際上不會這樣存取，而是用 for..in...迴圈來讀取for item in soup.select('a.hotgame > p.game'):print(item.text)a.hotgame > p.game 是指只要有符合這個順序與類別名稱的html 元素都抓出來應該還要加上一個標籤名稱才對select 應該是專門用來透過 CSS 選擇器找資料的函式應該說找 html 元素才對

感謝art1,我嘗試的結果https://pastebin.com/6NjJc3ST我原本以為是直接去把<p class="game">後的答案抓出來但看來不是,而是遊戲名稱是屬於item要用for叫出來才對你說的"a.hotgame > p.game 是指只要有符合這個順序與類別名稱的html 元素都抓出來"是指串列裡原本有很多資料，但是透過a.hotgame > p.game分離出想要的部分請問是這樣嗎?另外,請問你有何推薦的網頁架構或是抓資料的資源這樣一來我日後要練習的話比較容易找到起點搞不懂自己錯在哪裡也搞不懂自己對在哪裡真的很頭痛

對，因為 soup 就是用來存 html 解析之後得到的資料我一開始寫爬蟲時對 html 跟 python 都不太了解，也是像你這樣一層一層找下去，但這種方式太痛苦了後來學了 html 之後，就比較知道要怎麼快速取出已解析的html元素在學的時候是連 CSS、JavaScript一起學，實際用 JavaScript透過 CSS 選擇器去操作各種 html 元素所以之後就了解到 bs4 已經幫我們把 html 元素都解出來了只要知道存在哪些對應的位置，並學會取出的語法就好如果不懂 CSS 選擇器的話，用找字串的方式去處理比較沒效率看別人寫爬蟲都是練習爬一些把資料整合呈現的網站，例如電影相關、拍賣相關、股票相關之類的

給art1,我還是第一次聽說CSS選擇器，請問這是軟體嗎請問你都推薦哪種?或是哪種網頁你比較推薦我去瞭解我以後要抓網頁的話,也是需要有一個好的起點,不然我這樣瞎猜也不是辦法，還是要對網頁架構有足夠瞭解

developer.mozilla.org/zh-TW/docs/Glossary/CSS_Selector前面自行加上https://

多謝，原來mozilla就有資料,我只知道FIREFOX而已

google比別人給要來的更好

右鍵 編輯html這樣就能複製了