PTT
Submit
Submit
選擇語言
正體中文
简体中文
PTT
Python
[問題] 如何透過Python連線到Cloudera Hive?
作者:
BlgAtlfans
(BLG_Eric)
2016-09-07 11:18:54
各位版上大神好:
小弟我最近在寫一個程式
是要透過Django/Python連線到Cloudera Hue的Hive
上傳資料(csv)到HDFS上並自動匯入成Table
目前的配置是一台Cloudrea官方釋出的Quickstart VM
VM作業系統是centos 6.5(Python 2.6)
但是我是用Python 3.5寫的程式
Master 和 Slave(一個) 的IP都是10.0.2.15
port 網站用8888 HiveServer2 用10000 Hive Metastore用9083
我已試過用Pyhive連線但是不管怎麼試都失敗
根據自己debug來看連線似乎有連到
但是cursor.execute()那邊會掛掉跑不出結果
也沒有錯誤訊息(log那邊是java看不懂)
程式如下:
from pyhive import presto
cursor = presto.connect('localhost',port=10000).cursor()
cursor.execute('SELECT * FROM nba;')
print cursor.fetchall()
#這裡有試過把localhost換成quickstart.cloudera(網站名稱)也是會卡住
我也用過pyhs2連過但是byte和str轉換的error太多讓我放棄
希望各位能給我一些意見或是更好的library用
因為網路上的資料太少了
感謝
作者:
kenshin528
(成立奧凶帝國!!)
2016-09-07 14:29:00
透過thrift server
http://goo.gl/16Ew8Z
但是我個人覺得用python 呼叫shell 呼叫hive指令最穩
作者:
daydream772
(皮老闆)
2016-09-08 15:00:00
可能是python版本問題,我用2.7可以正常運作
繼續閱讀
Re: [問題] 如何把str裡的byte轉成byte…
uranusjr
[問題]python 新手上路
Muhaosic
[問題] 如何把str裡的byte轉成byte…
Aungk
[問題] python匯入資料庫問題
DankeTe
[問題] 新手爬蟲輸出至excel迴圈問題
ukcm
[閒聊] python在台灣業界的地位
Sombra
[問題]求救 爬資料進資料庫時只會進一筆
cow1487
[問題] Django Rest Framework CSRF
sean72
[問題] 將表格輸入的資料顯示
s890269
[問題] 請問關於套件的使用說明
ToToRo
Links
booklink
Contact Us: admin [ a t ] ucptt.com