元數(shù)據(jù)作為大數(shù)據(jù)的源泉，有著非常重要的作用。可在Impala中卻隱藏著一個秘密？和元數(shù)據(jù)有著頗深的淵源，我們一起來追溯！

為布爾津等地區(qū)用戶提供了全套網(wǎng)頁設計制作服務，及布爾津網(wǎng)站建設行業(yè)解決方案。主營業(yè)務為成都做網(wǎng)站、成都網(wǎng)站設計、布爾津網(wǎng)站設計，以傳統(tǒng)方式定制建設網(wǎng)站，并提供域名空間備案等一條龍服務，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！

一、Impala體系結構

（1）每個slave節(jié)點運行一個Impala進程，和HDFS的DataNode進程同時協(xié)作

（2）兩個其他的進程運行在master節(jié)點，用來支持查詢執(zhí)行

1、State Store進程：為ImpalaDaemon提供查×××，并周期性地檢查Impala進程狀態(tài)

2、Catalog進程：把元數(shù)據(jù)的變更同步到所有ImpalaDaemons中

二、Impala如何執(zhí)行查詢

（1）Impala daemon查詢執(zhí)行過程

客戶端（Impala-shell或Hue）連接到Impala daemon，它是Coordinator。Coordinator從State Store請求其他的Impala daemons，并把查詢分發(fā)給其他的Impala daemons，最后返回結果給客戶端。

三、元數(shù)據(jù)緩存

根據(jù)Impala的查詢功能，我們可以知道在Impala里面存在元數(shù)據(jù)的緩存。元數(shù)據(jù)保存在Hive的Metastore里面，那么元數(shù)據(jù)緩存的作用是什么呢？就是在Impala啟動的時候，將元數(shù)據(jù)緩存到Impala daemon的節(jié)點。當Impala daemon發(fā)起元數(shù)據(jù)變更的時候，比如說創(chuàng)建表，刪除表，或者修改表的定義，這些都是可以緩存下來的。如果我們?nèi)ゲ樵儽硇畔⒌臅r候，可以從緩存里面找到，直接在節(jié)點中進行查詢,所以在每個Impala daemon里面有metadata cache節(jié)點用作緩存。

而當Impala進程改變了元數(shù)據(jù)，將會提示catalog服務，Catalog服務通知所有Impala daemons來更新緩存。

四、外部改變和元數(shù)據(jù)緩存

我們上面講的都是內(nèi)部的改變，然而很多時候還會有外部的改變，可外部的改變對于Impala來說是未知的，比如：

（1）Hive、Hcatalog或HueMetadata Manager改變了元數(shù)據(jù)

（2）數(shù)據(jù)直接添加到HDFS目錄

外部的改變將導致Impala元數(shù)據(jù)緩存變得不可用，我們必須手動的刷新或驗證Impala的元數(shù)據(jù)緩存。

當然，這種改變根據(jù)改變內(nèi)容和性質(zhì)的不同，有不同的方法去更新，比如：

 

有疑問，歡迎來吐槽，關注微信公眾號“大數(shù)據(jù)cn”， 每天同行嗨不停，還有更多資源等著你！

網(wǎng)頁名稱：Impala隱藏的驚天秘密
URL網(wǎng)址：http://www.yijiale78.com/article24/gddjje.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供關鍵詞優(yōu)化、企業(yè)建站、外貿(mào)建站、用戶體驗、ChatGPT、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)