請教一個和爬蟲相關的問題。
我想爬的是這個網頁 https://quickfs.net/company/A2M:AU
裡的兩個tables, (1) Key Statistics及 (2) 拉下式選單下面的表
。我是用copy xpath 的方式，我試了幾乎所有element的xpath, 但是沒有一個能夠讀到
數據。不知道是我爬的網頁有防爬的設計，還是我的xpath找錯了?
以下是我的R code
# URLs
url.main <- "https://quickfs.net/company"
url.ASX.A2M <- file.path(url.main,"A2M:AU")
# Copy xpath of tables
xpath.1 <- '//*[@id="ovr-table"]'
xpath.2 <- '//*[@id="ovr-table"]/tbody'
xpath.3 <- '//*[@id="ovr-table"]/tbody/tr[1]'
# Get html table into a data.frame
A2M <- url.ASX.A2M %>%
xml2::read_html() %>%
html_nodes(xpath=xpath.1) %>%
html_table()
A2M
# list()

先用瀏覽器叫出開發人員工具檢查一下元素

read_html()什麼都沒讀到喔。整個網頁幾乎全是動態生成試過rselenium了嗎

感謝指點selenium. 爬文發現要log in的網頁可用selenium. 但我還沒研究它的功能。