99偷拍视频精品区一区二,口述久久久久久久久久久久,国产精品夫妇激情啪发布,成人永久免费网站在线观看,国产精品高清免费在线,青青草在线观看视频观看,久久久久久国产一区,天天婷婷久久18禁,日韩动漫av在线播放直播

大數據之HBase基礎-創新互聯

  1. HBase簡介
    1.1. 什么是HBase
    HBase是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統,利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集群。

HBase的目標是存儲并處理大型的數據,更具體來說是僅需使用普通的硬件配置,就能夠處理由成千上萬的行和列所組成的大型數據。

目前創新互聯已為成百上千家的企業提供了網站建設、域名、雅安服務器托管網站托管運營、企業網站設計、阿榮網站維護等服務,公司將堅持客戶導向、應用為本的策略,正道將秉承"和諧、參與、激情"的文化,與客戶和合作伙伴齊心協力一起成長,共同發展。

HBase是Google Bigtable的開源實現,但是也有很多不同之處。
比如:
Google Bigtable利用GFS作為其文件存儲系統,HBase利用Hadoop HDFS作為其文件存儲系統;
Google運行MAPREDUCE來處理Bigtable中的海量數據,HBase同樣利用Hadoop MapReduce來處理HBase中的海量數據;
Google Bigtable利用Chubby作為協同服務,HBase利用Zookeeper作為對應。
想了解大數據的學習路線,想學習大數據知識以及需要免費的學習資料可以加群:784789432.歡迎你的加入。每天下午三點開直播分享基礎知識,晚上20:00都會開直播給大家分享大數據項目實戰。

1.2. 與傳統數據庫的對比
1、傳統數據庫遇到的問題:

1)數據量很大的時候無法存儲

2)沒有很好的備份機制

3)數據達到一定數量開始緩慢,很大的話基本無法支撐

2、HBase優勢:

1)線性擴展,隨著數據量增多可以通過節點擴展進行支撐

2)數據存儲在hdfs上,備份機制健全

3)通過zookeeper協調查找數據,訪問速度塊。

1.3. HBase集群中的角色
1、一個或者多個主節點,Hmaster

2、多個從節點,HregionServer

  1. hbase數據模型
    2.1. hbase數據模型

2.1.1. Row Key
與nosql數據庫們一樣,row key是用來檢索記錄的主鍵。訪問HBASE table中的行,只有三種方式:

1.通過單個row key訪問

2.通過row key的range(正則)

3.全表掃描

Row key行鍵 (Row key)可以是任意字符串(大長度 是 64KB,實際應用中長度一般為 10-100bytes),在HBASE內部,row key保存為字節數組。存儲時,數據按照Row key的字典序(byte order)排序存儲。設計key時,要充分排序存儲這個特性,將經常一起讀取的行存儲放到一起。(位置相關性)

2.1.2. Columns Family
列簇 :HBASE表中的每個列,都歸屬于某個列族。列族是表的schema的一部 分(而列不是),必須在使用表之前定義。列名都以列族作為前綴。例如 courses:history,courses:math都屬于courses 這個列族。

2.1.3. Cell
由{row key, columnFamily, version} 唯一確定的單元。cell中 的數據是沒有類型的,全部是字節碼形式存貯。

關鍵字:無類型、字節碼

2.1.4. Time Stamp
HBASE 中通過rowkey和columns確定的為一個存貯單元稱為cell。每個 cell都保存 著同一份數據的多個版本。版本通過時間戳來索引。時間戳的類型是 64位整型。時間戳可以由HBASE(在數據寫入時自動 )賦值,此時時間戳是精確到毫秒 的當前系統時間。時間戳也可以由客戶顯式賦值。如果應用程序要避免數據版 本沖突,就必須自己生成具有唯一性的時間戳。每個 cell中,不同版本的數據按照時間倒序排序,即最新的數據排在最前面。

為了避免數據存在過多版本造成的的管理 (包括存貯和索引)負擔,HBASE提供 了兩種數據版本回收方式。一是保存數據的最后n個版本,二是保存最近一段 時間內的版本(比如最近七天)。用戶可以針對每個列族進行設置。

  1. hbase命令
    3.1. 命令的進退
    1、hbase提供了一個shell的終端給用戶交互

#$HBASE_HOME/bin/hbase shell

2、如果退出執行quit命令

#$HBASE_HOME/bin/hbase shell

……

quit

3.2. 命令
名稱

命令表達式

創建表

create '表名', '列族名1','列族名2','列族名N'

查看所有表

list

描述表

describe ‘表名’

判斷表存在

exists '表名'

判斷是否禁用啟用表

is_enabled '表名'
is_disabled ‘表名’

添加記錄

put ‘表名’, ‘rowKey’, ‘列族 : 列‘ , '值'

查看記錄rowkey下的所有數據

get '表名' , 'rowKey'

查看表中的記錄總數

count '表名'

獲取某個列族

get '表名','rowkey','列族'

獲取某個列族的某個列

get '表名','rowkey','列族:列’

刪除記錄

delete ‘表名’ ,‘行名’ , ‘列族:列'

刪除整行

deleteall '表名','rowkey'

刪除一張表

先要屏蔽該表,才能對該表進行刪除
第一步 disable ‘表名’ ,第二步 drop '表名'

清空表

truncate '表名'

查看所有記錄

scan "表名"

查看某個表某個列中所有數據

scan "表名" , {COLUMNS=>'列族名:列名'}

更新記錄

就是重寫一遍,進行覆蓋,hbase沒有修改,都是追加

  1. hbase依賴zookeeper
    1、 保存Hmaster的地址和backup-master地址

hmaster:

a) 管理HregionServer

b) 做增刪改查表的節點

c) 管理HregionServer中的表分配

2、 保存表-ROOT-的地址

hbase默認的根表,檢索表。

3、 HRegionServer列表

表的增刪改查數據。

和hdfs交互,存取數據。

  1. hbase原理
    5.1. 體系圖

5.1.1. 寫流程
1、 client向hregionserver發送寫請求。

2、 hregionserver將數據寫到hlog(write ahead log)。為了數據的持久化和恢復。

3、 hregionserver將數據寫到內存(memstore)

4、 反饋client寫成功。

5.1.2. 數據flush過程
1、 當memstore數據達到閾值(默認是64M),將數據刷到硬盤,將內存中的數據刪除,同時刪除Hlog中的歷史數據。

2、 并將數據存儲到hdfs中。

3、 在hlog中做標記點。

5.1.3. 數據合并過程
1、 當數據塊達到4塊,hmaster將數據塊加載到本地,進行合并

2、 當合并的數據超過256M,進行拆分,將拆分后的region分配給不同的hregionserver管理

3、 當hregionser宕機后,將hregionserver上的hlog拆分,然后分配給不同的hregionserver加載,修改.META.

4、 注意:hlog會同步到hdfs

5.1.4. hbase的讀流程
1、 通過zookeeper和-ROOT- .META.表定位hregionserver。

2、 數據從內存和硬盤合并后返回給client

3、 數據塊會緩存

5.1.5. hmaster的職責
1、管理用戶對Table的增、刪、改、查操作;

2、記錄region在哪臺Hregion server上

3、在Region Split后,負責新Region的分配;

4、新機器加入時,管理HRegion Server的負載均衡,調整Region分布

5、在HRegion Server宕機后,負責失效HRegion Server 上的Regions遷移。

5.1.6. hregionserver的職責
HRegion Server主要負責響應用戶I/O請求,向HDFS文件系統中讀寫數據,是HBASE中最核心的模塊。

HRegion Server管理了很多table的分區,也就是region。

5.1.7. client職責
Client

HBASE Client使用HBASE的RPC機制與HMaster和RegionServer進行通信

管理類操作:Client與HMaster進行RPC;

數據讀寫類操作:Client與HRegionServer進行RPC。

另外有需要云服務器可以了解下創新互聯scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案,具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢,專為企業上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。

新聞標題:大數據之HBase基礎-創新互聯
標題來源:http://www.yijiale78.com/article32/ddcpsc.html

成都網站建設公司_創新互聯,為您提供網站建設小程序開發虛擬主機云服務器微信公眾號網站設計公司

廣告

聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯

成都定制網站網頁設計