PTT
Submit
Submit
選擇語言
正體中文
简体中文
PTT
Python
[問題] Pyhton 爬蟲frame看不到 試過Selenium
作者:
ncueBenson
(nuceBenson29)
2017-10-29 20:34:31
大家好,第一次碰爬蟲
要到某學校幫學生抓取成績資料,但該學校的網站設計我透過
request,seleium都看不到frame的部份(輸入帳密,還有成績表格部份設計方式一樣)
會有隱私問題就不提供帳密(請見諒),僅以相同設計方式的登入頁面解說
學校網址登入網址
https://khweb.ischool.com.tw/?dn=wfjh.kh.edu.tw#wfjh.kh.edu.tw
以下是code
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://khweb.ischool.com.tw/?dn=wfjh.kh.edu.tw#wfjh.kh.edu.tw')
print(driver.page_source)
跑出來的結果沒有框架的原始碼,連frame什麼的都沒有
請問大神們 我是不是搞錯什麼?
或是提點我有什麼方向該去查的~
謝謝
作者:
neil987
(R5大小姐-EX人品崩壞)
2017-10-29 20:36:00
你有沒有帳密可以測試 有的話直接丟一次 看開發工具看他把哪些資料 送到啥網頁像這樣
https://i.imgur.com/THkotup.png
不是 不管他form怎處理 到最後一定有個網頁收資料上面那張圖就是我按登入之後 他送的資料跟目標網頁也就是說auth.ischool.com.tw/service/basicauth.php這個就是他收登入資料的網址 送的資料圖上有我沒有帳密沒辦法幫你測 反正登入這塊這步看起來是沒錯的
作者:
coeric
( )
2017-10-29 21:24:00
樓上的意思是 先去Response 看看到底是顯示在哪個頁面吧?
作者:
vi000246
(Vi)
2017-10-29 21:54:00
看起來是透過basicauth.php判斷帳密是否正確 再呼叫登入動作 你再研究看看網頁下一步會做什麼
作者: ncueBenson (nuceBenson29)
2017-10-29 21:58:00
好的我明天下班後試試 我習慣十點就寢~~謝謝三位大大
作者:
f496328mm
(為什麼會流淚)
2017-10-30 12:11:00
seleium基本上應該無敵吧!很難遇到看不到的
作者:
zerof
(貓橘毛發呆雕像)
2017-10-30 13:43:00
switch_to.frame
作者: ncueBenson (nuceBenson29)
2017-11-03 12:47:00
有透過frame登入了 可是driver抓到的資料好像是還沒登入的網頁
繼續閱讀
[問題] 空氣阻力code問題
hank546288
[問題] vs2017 django __init__ 讀app時有時無
ddchris
[問題] Flask Login 一直被當匿名用戶
HenryLiKing
Re: [問題] sqlite寫入問題
uranusjr
[問題] 學Scikit Learn或是Tensorflow?
liton
[問題] python 與vba的使用搭配疑惑
thomasflee
[問題] 新手發問 跨檔案操作UI問題
terryone
[問題] PEP8 空白行 Blank Line
m87dd05
[問題] 為什麼有些寫法會在前面或後面加底線
zcyee
[問題] sqlite寫入問題
rs6000
Links
booklink
Contact Us: admin [ a t ] ucptt.com