欧美日韩午夜精品不卡综合-欧美日韩系列-欧美日韩小视频-欧美日韩性-成人五月网-成人五级毛片免费播放

二維碼
企資網(wǎng)

掃一掃關(guān)注

當前位置: 首頁 » 企業(yè)資訊 » 行業(yè) » 正文

HIVE常用優(yōu)化方法

放大字體  縮小字體 發(fā)布日期:2021-09-03 11:36:49    作者:企資小編    瀏覽次數(shù):61
導(dǎo)讀

1、join連接時的優(yōu)化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產(chǎn)生一個mapreduce。2、join連接時的優(yōu)化_當多個表進行查詢時,從左到右表的大小順序應(yīng)該是從小到大。原因_hive在對每

1、join連接時的優(yōu)化_當三個或多個以上的表進行join操作時,如果每個on使用相同的字段連接時只會產(chǎn)生一個mapreduce。

2、join連接時的優(yōu)化_當多個表進行查詢時,從左到右表的大小順序應(yīng)該是從小到大。原因_hive在對每行記錄操作時會把其他表先緩存起來,直到掃描最后的表進行計算

3、在where字句中增加分區(qū)過濾器。

4、當可以使用left semi join語法時不要使用inner join,前者效率更高。原因_對于左表中指定的一條記錄,一旦在右表中找到立即停止掃描。

5、如果所有表中有一張表足夠小,則可置于內(nèi)存中,這樣在和其他表進行連接的時候就能完成匹配,省略掉reduce過程。
設(shè)置屬性即可實現(xiàn),

set hive.auto.covert.join_true;

用戶可以配置希望被優(yōu)化的小表的大小
set hive.mapjoin.smalltable.sia_2500000;

如果需要使用這兩個配置可置入$HOME/.hiverc文件中。

6、同一種數(shù)據(jù)的多種處理_從一個數(shù)據(jù)源產(chǎn)生的多個數(shù)據(jù)聚合,無需每次聚合都需要重新掃描一次。

例如_

insert overwrite table student select * from employee;

insert overwrite table person select * from employee;

可以優(yōu)化成_

from employee

insert overwrite table student select *

insert overwrite table person select *

7、limit調(diào)優(yōu)_limit語句通常是執(zhí)行整個語句后返回部分結(jié)果。

Set hive.limit.optimia.enable_true;

8、開啟并發(fā)執(zhí)行。某個job任務(wù)中可能包含眾多的階段、其中某些階段沒有依賴關(guān)系可以并發(fā)執(zhí)行,開啟并發(fā)執(zhí)行后job任務(wù)可以更快的完成。

設(shè)置屬性_

set hive.e>ecparallel_true;

9、hive提供的嚴格模式,禁止3種情況下的查詢模式。

a_當表為分區(qū)表時,where字句后沒有分區(qū)字段和限制時,不允許執(zhí)行。

b_當使用order by語句時,必須使用limit字段,因為order by只會產(chǎn)生一個reduce任務(wù)。

c_限制笛卡爾積的查詢。

10、合理的設(shè)置map和reduce數(shù)量。

11、jvm重用。可在hadoop的mapredtite.xml中設(shè)置jvm?重用的次數(shù)。

 
(文/企資小編)
免責(zé)聲明
本文僅代表作發(fā)布者:企資小編個人觀點,本站未對其內(nèi)容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內(nèi)容,一經(jīng)發(fā)現(xiàn),立即刪除,需自行承擔(dān)相應(yīng)責(zé)任。涉及到版權(quán)或其他問題,請及時聯(lián)系我們刪除處理郵件:[email protected]
 

Copyright ? 2016 - 2025 - 企資網(wǎng) 48903.COM All Rights Reserved 粵公網(wǎng)安備 44030702000589號

粵ICP備16078936號

微信

關(guān)注
微信

微信二維碼

WAP二維碼

客服

聯(lián)系
客服

聯(lián)系客服:

在線QQ: 303377504

客服電話: 020-82301567

E_mail郵箱: [email protected]

微信公眾號: weishitui

客服001 客服002 客服003

工作時間:

周一至周五: 09:00 - 18:00

反饋

用戶
反饋

主站蜘蛛池模板: 免费在线观看一级毛片 | 亚洲永久 | 成人午夜毛片 | 久久.com| 99精彩视频 | 99在线观看精品免费99 | 中文字幕一区中文亚洲 | 美女视频黄视大全视频免费网址 | 亚洲第一免费播放区 | 国产一级一片 | 久久国产午夜精品理论片34页 | 欧美影院网站视频观看 | 香港日本韩国三级网站 | 欧美f | 亚洲综合视频网 | 久久精品网站免费观看调教 | 欧美午夜不卡在线观看最新 | 久草草视频在线观看免费高清 | 国产三级一区二区 | 欧美一区二区三区免费 | 国产精品一区二区国产 | 日韩一及片| 国产精品亚洲专区一区 | 亚洲精品视频在线观看视频 | 色偷偷888欧美精品久久久 | 亚洲日本高清 | 国产在线精品观看 | 在线免费观看色 | 九草在线 | 一级做a爱片特黄在线观看 一级做a爱片特黄在线观看免费看 | 91香蕉视频免费 | 一区不卡在线观看 | 欧美性视频一区二区三区 | 免费人成综合在线视频 | 欧美成人性生活视频 | 日韩人成 | 日本阿v视频在线观看高清 日本波多野结衣视频 | 99精品视频一区在线观看miya | 日本三级香港三级网站 | 欧美视频一区二区专区 | 视频一区中文字幕 |