[問題] 請問該用甚麼方法做爬出來的資料分析

作者: CCMAKE (夏夜晚風)   2018-10-08 21:51:15
請問各位大大
小弟目前有一個log檔 是紀錄一些資料的量測結果
現已使用Python把內容所要的數據爬成一個資料結構
大概如下面的格式:
[{'A': '46', 'B': '35', 'C': '27', .......}, {'A': '25', 'B': '13', 'C': '4',
.......}, ...........]
其中A, B, C.....為各個測試項目
後面的value則是每一次量測的結果
我目前是有辦法把這個資料結構轉成CSV檔然後用excel開成表格
不過對於之後要做的資料分析方法有點疑惑
不知道該用甚麼方法比較好
目前我希望可以把每一筆的資料 跟一個固定的criteria去比較
例如 A項 有個標準值60, B項有個標準值50.....
然後我希望可以執行程式後就抓出有哪幾次的實驗結果是fail的(低於標準值)
如果我想完成這個工作
請問是直接在Python 裡面寫程式比較好(處理我爬完之後的這個list)?
或是利用轉出的csv, 到excel用他的公式比較好?
(不過這樣感覺很麻煩,爬完資料還要再去excel做一次分析)
如果我想在Python 裡面完成, 然後直接產生csv檔或是excel檔
裡面就有標示pass或是fail
有沒有甚麼比較推薦的方法或是套件呢?
另外可能還會做平均或是圖表之類的資料分析, 假使我現在是這樣的資料結構 (list中的
dictionary)
有甚麼比較好的方法可以達到各種的分析呢 (希望可以直接產生excel的結果檔案)
感謝各位的幫忙 :)
作者: f496328mm (為什麼會流淚)   2018-10-08 21:53:00
等一下,為什麼要把資料結構轉成 csv 用 excel 開表格你要用 excel 去做分析?你畫圖表、作分析,全部都可以在 python 中做
作者: CCMAKE (夏夜晚風)   2018-10-08 21:57:00
轉成csv只是我先試試看轉檔有沒有問題 XD主要還是希望用Python直接解決資料的分析 然後一次輸出f大有沒有比較推薦的資料分析方法來做我這個list的分析呢?
作者: TuCH (謬客)   2018-10-08 22:01:00
pandas
作者: f496328mm (為什麼會流淚)   2018-10-08 22:02:00
你知道 dataframe 嗎?去摸摸看 pandas,之後使用用一些條件式就能標示 pass or fail 了你先把 data 轉成 pandas.dataframe
作者: CCMAKE (夏夜晚風)   2018-10-08 22:14:00
感謝建議! 先來研究看看 :)
作者: iftrush (綾絹姊)   2018-10-09 15:08:00
更簡單的方法 把A弄成nparraynp.where(A>60, 'Pass', 'Fail')其他以此類推
作者: tommy5617 (地瓜YA!)   2018-10-10 13:59:00
pandas!

Links booklink

Contact Us: admin [ a t ] ucptt.com