- 对象存储:比如一些app的海量的图片、网页、新闻等对象,可以存储在HBase中,有些病毒公司的病毒库也可以存储在HBase中 。
- 时空数据:主要是轨迹、气象网格之类
- 比如滴滴打车的轨迹数据主要存在HBase之中 。
- 另外大数据量的车联网企业,数据也都是存在HBase中 。
- 比如互联网出行,智慧物流与外卖递送,传感网与实时GIS等场景 。
- 时序数据:时序数据就是分布在时间上的一系列数值 。
- HBase之上有OpenTSDB模块 , 可以满足时序类场景的需求 。
- 比如我们有很多的设备、传感器,产生很多数据 , 如果规模不是特别大的厂家有几千个风机,每个风机有几百个指标,那么就会有一百万左右的时序数据,如果用采样每一秒会产生一百万个时间点 , 如果用传统数据库,那么每一秒会产生一百万次,持续地往MQ做一百万次,它会崩裂 。并且查询也是个大问题,除了多维查询以外 , 我们还会额外地增加时间纬度,查看一段时间的数据 。这时候HBase很好了满足了时序类场景的需求 。
- 推荐画像:特别是用户的画像,是一个比较大的稀疏矩阵,蚂蚁的风控就是构建在HBase上 。用户画像有用户数据量大,用户标签多,标签统计维度不确定等特点,适合HBase特性的发挥 。
- 消息/订单:在电信领域、银行领域 , 不少的订单查询底层的存储,另外不少通信、消息同步的应用构建在HBase之上 。
- Feed流:是RSS中用来接收该信息来源更新的接口,简单的说就是持续更新并呈现给用户的内容 。比如微信朋友圈中看到的好友的一条条状态,微博看到的你关注的人更新的内容,App收到的一篇篇新文章的推送 , 都算是feed流 。
- NewSQL:HBase上有Phoenix的插件,可以满足二级索引、SQL的需求,对接传统数据需要SQL非事务的需求 。从NoSQL到NewSQL,Phoenix或许是新的趋势 。
![大数据技术之HBase原理与实战归纳分享-上](http://img.zhejianglong.com/231018/05494T0A-2.png)
文章插图
组成角色包含如下几个部分:
- Master:实现类为 HMaster,负责监控集群中所有的 RegionServer 实例 。
- LoadBalancer 负载均衡器:周期性监控 region 分布在 regionServer 上面是否均衡,由参数 hbase.balancer.period 控 制周期时间,默认 5 分钟 。
- CatalogJanitor 元数据管理器:定期检查和清理 hbase:meta 中的数据 。meta 表内容在进阶介绍 。
- MasterProcWAL master 预写日志处理器:把 master 需要执行的任务记录到预写日志 WAL 中 , 如果 master 宕机,让 backupMaster 读取日志继续干 。
- 管理元数据表格 hbase:meta , 接收用户对表格创建修改删除的命令并执行
- 监控 region 是否需要进行负载均衡,故障转移和 region 的拆分 。
- 主要作用如下:
- 管理元数据表格 hbase:meta,接收用户对表格创建修改删除的命令并执行 。
- 监控 region 是否需要进行负载均衡,故障转移和 region 的拆分 。
- 通过启动多个后台线程监控实现上述功能:
- Region Server:Region Server 实现类为 HRegionServer,主要作用如下:
- 负责数据 cell 的处理 , 例如写入数据 put,查询数据 get 等 。
- 拆分合并 region 的实际执行者 , 有 master 监控,有 regionServer 执行 。
- 真我GT Neo2和大师探索版哪个好_怎么选择
- 这些不知道,别说你熟悉 Spring
- 07 ClickHouseClickHouse数据库引擎解析
- Java核心技术阅读笔记 java中的自动拆装箱与缓存
- 一文讲清楚 JVM Safe Point
- 使用EF Core更新与修改生产数据库
- Jupyter,Matplotlib,Pandas 【机器学习】利用 Python 进行数据分析的环境配置 Windows
- 咸鱼之王大乱斗怎么玩
- 原神大未来星地点位置在哪
- levis、lee、wrangler 世界三大牛仔品牌,李维斯是牛仔裤鼻祖