Hive 数仓及数仓设计方案

数仓(Data Warehouse)

数据仓库存在的意义在于对企业的所有数据进行汇总,为企业各个部门提供一个统一、规范的出口。做数仓就是做方案,是用数据治理企业的方案。

数据仓库的特点

  1. 面向主题集成
    • 公司中不同的部门都会去数据仓库中拿数据,把独立从数据仓库中拿数据的单元,称为一个主题。
    • 数据仓库中的数据是从各个分散的数据库中抽取出来的,需要进行完整集合,还要进行数据处理。
  2. 涉及的数据操作主要是查询

数仓的本质

能够完整记录某个对象在一段时期内的变化情况的存储空间。随着时间变化不断增加新的数据内容,不断删去旧的数据内容。

数仓设计方案

1. 需求分析

  • 找谁了解需求?
    • 老板:大方向
    • 运营人员:具体,多问几个运营人员
    • 行业标准规范,行业运营(搜索能力)
    • 行业专家

2. 确定主题指标体系

典型领域指标

  • 电商:转化
  • 新闻:浏览
  • 社交媒体:活跃度
  • 多媒体:转化、活跃

数据挖掘、人工智能

  • 确定历史事实数据间的因果关系
  • 筛选出不必要的重复指标

命题:主题

事实数据
  • Who + When + Where + How + What
  • 谁 何时 何地 方式 做了什么
电商示例
  • 传统订单:
    • Who + When + Where
    • order_id, user_id, purchase_time, store_id
  • 订单详情:
    • order_detail_id, order_id, product_id, purchase_count, price
  • 订单支付:
    • pay_id, pay_type, pay_account, pay_time
  • 大数据订单(着重对HOW扩展):
    • How:
      • 搜索直接来源
        • 关键词搜索
        • 分类检索
        • 主页推荐
        • 外链引流
      • 分析商品搜索过程:
        • 在哪些商品处停留?
        • 有哪些同样感兴趣的商品?
        • 什么时候就开始关注这个商品?
        • 是否存在其他行为(收藏、加入购物车、下单、购买)?
      • 处理其他行为:
        • 定时提醒"XXX商品已被您收藏30天但还没有购买…"

3. 确定数据标准

  • 原始数据:行为数据(因) RDMBS(果)
  • 基于原始数据预聚合数据

4. 数仓设计

数据规模,成本核算

数据埋点获得埋点数据
  • 前端埋点:类似于视频浏览过程数据,只能通过前端埋点
  • 后端埋点:类似于支付,后端才是直接和第三方支付接口交互的。
  • 能用后端埋点就用后端埋点,前端埋点是不得已采用
埋点数据格式与容量
  • 公共数据格式
  • 事件数据
服务器集群配置
  • 买/租
技术选型与服务器环境搭建
  • hdfs
  • yarn
  • hive
  • hbase
  • zk
  • spark

5. 数据采集

  • 行为日志 -> flume -> hdfs
  • RDBMS -> sqoop -> hbase

6. 操作数仓

  • plsql
declare 变量名 数据类型 = 初值;
	set 变量 = 值;
	print '常量' || 变量
	
	vim ~/pl_demo.ql
	------------------------------------------------------------
	create function FUNC_NAME(name TYPE,...) returns RETURN_TYPE
	begin
		declare VAR = INIT_VALUE;
		...
		print 'CONSTANTS' || VAR;
	end;
	
	call FUNC_NAME(...);
	------------------------------------------------------------
	
	--案例:自定义函数生成日期维度表
		vim pl_demo.ql
		----------------------------------------------------------------------------------------------------------
		-- 定义存储过程
		create procedure getSumAmount()
        begin
            declare sum_amount decimal(10,2) = 0.0;
            select sum(order_amount) into sum_amount from yb12211_2.hive_internal_par_cluster_regex_test1w;
            print 'sum of order amount : ' || sum_amount;
        end;

		-- 调用存储过程
		call getSumAmount();
		----------------------------------------------------------------------------------------------------------
		
		执行plsql文件
		hplsql -f FILE_PATH
  • hive -e “SHOW DATABASES”
  • hive -f QL_FILE_PATH