寫好Hive程序的五個提示,淘寶數(shù)據(jù)平臺團隊
本文檔由 若蓮 分享于2011-07-31 08:48
使用Hive可以高效而又快速地編寫復雜的MapReduce查詢邏輯。但是某些情況下,因為不熟悉數(shù)據(jù)特性,或沒有遵循Hive的優(yōu)化約定,Hive計算任務會變得非常低效,甚至無法得到結果。一個 好 的Hive程序仍然需要對Hive運行機制有深入的了解。有一些大家比較熟悉的優(yōu)化約定包括:Join中需要將大表寫在靠右的位置;盡量使用UDF而不是transfrom…諸如此類。下面討論5個性能和邏輯相關的問題,幫助你寫出更好的Hive程序。全排序Hive..
下載文檔
收藏