大数据电商数仓项目--实战（二）DWD层搭建

最新推荐文章于 2025-07-12 23:08:19 发布
原创 最新推荐文章于 2025-07-12 23:08:19 发布 · 1.1k 阅读 · 31 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #数据仓库

第一章 数仓搭建-DWD层

  1. 对用户行为数据解析
  2. 对业务数据采用维度模型重新装载

6.1 DWD层（用户行为日志）

在这里插入图片描述

6.1.1 日志格式回顾

  1. 页面埋点日志
    在这里插入图片描述
  2. 启动日志
    在这里插入图片描述

6.1.2 get_json_object函数使用

  1. 数据
    [{“name”:“大郎”,“sex”:“男”,“age”:“25”},{“name”:“西门庆”,“sex”:“男”,“age”:“47”}]
  2. 取出第一个json对象如下
    hive (gmall)>
    select get_json_object(‘[{“name”:“大郎”,“sex”:“男”,“age”:“25”},{“name”:“西门庆”,“sex”:“男”,“age”:“47”}]’,‘$[0]’);
    结果是：{“name”:“大郎”,“sex”:“男”,“age”:“25”}
  3. 取出第一个json的age字段的值
    hive (gmall)>
    SELECT get_json_object(‘[{“name”:“大郎”,“sex”:“男”,“age”:“25”},{“name”:“西门庆”,“sex”:“男”,“age”:“47”}]’,“$[0].age”);
    结果是：25

6.1.3 启动日志表

启动日志解析思路：启动日志表中每行数据对应一个启动记录，一个启动记录应该包含日志中的公共信息和启动信息。先将所有包含start字段的日志过滤出来，然后使用get_json_object函数解析每个字段。
1）建表语句

DROP TABLE IF EXISTS dwd_start_log;
CREATE EXTERNAL TABLE dwd_start_log(
    `area_code` STRING COMMENT '地区编码',
    `brand` STRING COMMENT '手机品牌',
    `channel` STRING COMMENT '渠道',
    `is_new` STRING COMMENT '是否首次启动',
    `model` STRING COMMENT '手机型号',
    `mid_id` STRING COMMENT '设备id',
    `os` STRING COMMENT '操作系统',
    `user_id` STRING COMMENT '会员id',
    `version_code` STRING COMMENT 'app版本号',
    `entry` STRING COMMENT 'icon手机图标 notice 通知 install 安装后启动',
    `loading_time` BIGINT COMMENT '启动加载时间',
    `open_ad_id` STRING COMMENT '广告页ID ',
    `open_ad_ms` BIGINT COMMENT '广告总共播放时间',
    `open_ad_skip_ms` BIGINT COMMENT '用户跳过广告时点',
    `ts` BIGINT COMMENT '时间'
) COMMENT '启动日志表'
PARTITIONED BY (`dt` STRING)
STORED AS ORC
LOCATION '/warehouse/gmall/dwd/dwd_start_log'
TBLPROPERTIES ("orc.compress"="snappy");

2.)数据导入

insert overwrite table dwd_start_log partition(dt='2020-06-14')
select
    get_json_object(line,'$.common.ar'),
    get_json_object(line,'$.common.ba'),
    get_json_object(line,'$.common.ch'),
    get_json_object(line,'$.common.is_new'),
    get_json_object(line,'$.common.md'),
    get_json_object(line,'$.common.mid'),
    get_json_object(line,'$.common.os'),
    get_json_object(line,'$.common.uid'),
    get_json_object(line,'$.common.vc'),
    get_json_object(line,'$.start.entry'),
    get_json_object(line,'$.start.loading_time'),
    get_json_object(line,'$.start.open_ad_id'),
    get_json_object(line,'$.start.open_ad_ms'),
    get_json_object(line,'$.start.open_ad_skip_ms'),
    get_json_object(line,'$.ts')
from ods_log
where dt='2020-06-14'
and get_json_object(line,'$.start') is not null;

6.1.4 页面日志表

页面日志解析思路：页面日志表中每行数据对应一个页面访问记录，一个页面访问记录应该包含日志中的公共信息和页面信息。先将所有包含page字段的日志过滤出来，然后使用get_json_object函数解析每个字段。
1)建表语句

DROP TABLE IF EXISTS dwd_page_log;
CREATE EXTERNAL TABLE dwd_page_log(
    `area_code` STRING COMMENT '地区编码',
    `brand` STRING COMMENT '手机品牌',
    `channel` STRING COMMENT '渠道',
    `is_new` STRING COMMENT '是否首次启动',
    `model` STRING COMMENT '手机型号',
    `mid_id` STRING COMMENT '设备id',
    `os` STRING COMMENT '操作系统',
    `user_id` STRING COMMENT '会员id',
    `version_code` STRING COMMENT 'app版本号',
    `during_time` BIGINT COMMENT '持续时间毫秒',
    `page_item` STRING COMMENT '目标id ',
    `page_item_type` STRING COMMENT '目标类型',
    `last_page_id` STRING COMMENT '上页类型',
    `page_id` STRING COMMENT '页面ID ',
    `source_type` STRING COMMENT '来源类型',
    `ts` bigint
) COMMENT '页面日志表'
PARTITIONED BY (`dt` STRING)
STORED AS ORC
LOCATION '/warehouse/gmall/dwd/dwd_page_log'
TBLPROPERTIES ("orc.compress"="snappy");

2）数据导入

insert overwrite table dwd_page_log partition(dt='2020-06-14')
select
    get_json_object(line,'$.common.ar'),
    get_json_object(line,'$.common.ba'),
    get_json_object(line,'$.common.ch'),
    get_json_object(line,'$.common.is_new'),
    get_json_object(line,'$.common.md'),
    get_json_object(line,'$.common.mid'),
    get_json_object(line,'$.common.os'),
    get_json_object(line,'$.common.uid'),
    get_json_object(line,'$.common.vc'),
    get_json_object(line,'$.page.during_time'),
    get_json_object(line,'$.page.item'),
    get_json_object(line,'$.page.item_type'),
    get_json_object(line,'$.page.last_page_id'),
    get_json_object(line,'$.page.page_id'),
    get_json_object(line,'$.page.source_type'),
    get_json_object(line,'$.ts')
from ods_log
where dt='2020-06-14'
and get_json_object(line,'$.page') is not null;

6.1.5 动作日志表

动作日志解析思路：动作日志表中每行数据对应用户的一个动作记录，一个动作记录应当包含公共信息、页面信息以及动作信息。先将包含action字段的日志过滤出来，然后通过UDTF函数，将action数组“炸开”（类似于explode函数的效果），然后使用get_json_object函数解析每个字段。
在这里插入图片描述
1)建表语句

DROP TABLE IF EXISTS dwd_action_log;
CREATE EXTERNAL TABLE dwd_action_log(
    `area_code` STRING COMMENT '地区编码',
    `brand` STRING COMMENT '手机品牌',
    `channel` STRING COMMENT '渠道',
    `is_new` STRING COMMENT '是否首次启动',
    `model` STRING COMMENT '手机型号',
    `mid_id` STRING COMMENT '设备id',
    `os` STRING COMMENT '操作系统',
    `user_id` STRING COMMENT '会员id',
    `version_code` STRING COMMENT 'app版本号',
    `during_time` BIGINT COMMENT '持续时间毫秒',
    `page_item` STRING COMMENT '目标id ',
    `page_item_type` STRING COMMENT '目标类型',
    `last_page_id` STRING COMMENT '上页类型',
    `page_id` STRING COMMENT '页面id ',
    `source_type` STRING COMMENT '来源类型',
    `action_id` STRING COMMENT '动作id',
    `item` STRING COMMENT '目标id ',
    `item_type` STRING COMMENT '目标类型',
    `ts` BIGINT COMMENT '时间'
) COMMENT '动作日志表'
PARTITIONED BY (`dt` STRING)
STORED AS ORC
LOCATION '/warehouse/gmall/dwd/dwd_action_log'
TBLPROPERTIES ("orc.compress"="snappy");
  1. 创建UDTF函数
    主要是为了将传入的整个行为字符串，转化为一个一个的行为json 传出来进行处理
    在这里插入图片描述
    （1）创建一个maven工程：hivefunction
    （2）创建包名：com.atguigu.hive.udtf
    （3）引入如下依赖
<dependencies>
    <!--添加hive依赖-->
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>3.1.2</version>
    </dependency>
</dependencies>

（4）编码

package com.atguigu.hive.udtf;

import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.PrimitiveObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.json.JSONArray;

import java.util.ArrayList;
import java.util.List;

public class ExplodeJSONArray extends GenericUDTF {
   
   

    @Override
    public StructObjectInspector initialize(ObjectInspector[] argOIs) throws UDFArgumentException {
   
   

        // 1 参数合法性检查
        if (argOIs.length != 1) {
   
   
            throw new UDFArgumentException("explode_json_array 只需要一个参数");
        }
最低0.47元/天 解锁文章

新学期VIP享超值加赠
数仓实战04：数仓搭建-DWD层
qq_28286027的博客
08-19 939
1）对用户行为数据解析 2）对核心数据进行判空过滤。 3）对业务数据采用维度模型重新建模，即维度退化。 1.用户行为启动表数据解析 1.1创建启动表 1）建表语句 hive (gmall) > DROP TABLE IF EXISTS dwd_start_log; CREATE EXTERNAL TABLE dwd_start_log ( `mid_id` string, `user_id` string, `version_code` string, `version_name` st.
离线数仓（八）【DWD 层开发】
功不唐捐，玉汝于成
03-27 2556
DWD层开发
数仓搭建DWD层
noob9527的博客
04-16 3243
尚硅谷电商数仓DWD层
【离线数仓项目】——电商域DWD层开发实战
最新发布
庄小焱
07-12 845
本文主要介绍了离线数仓项目中电商域DWD层的开发实战。DWD层是数据仓库架构中的明细数据层，对ODS层的原始数据进行清洗、规范、整合与业务建模。它具有数据清洗、标准化、业务建模、整合、维度挂载等作用，常见设计特征包括一致性、明细级建模、保留历史记录等。文中还给出了交易支付场景下的DWD层表示例，以及DWD层设计规范、采集策略、实战示例和数据思考等内容。
DWD层 （业务数据 二）
weixin_45417821的博客
11-01 372
文章目录退款事实表（累积型快照事实表）订单事实表（累积型快照事实表）DWD层业务数据首日装载脚本DWD层业务数据每日装载脚本 退款事实表（累积型快照事实表） 1）建表语句 DROP TABLE IF EXISTS dwd_refund_payment; CREATE EXTERNAL TABLE dwd_refund_payment ( `id` STRING COMMENT '编号', `user_id` STRING COMMENT '用户ID', `order_id` STRI
9. 数仓开发之 DWD 层
记录点点滴滴
03-28 3575
数仓开发之 DWD 层交易域加购事务事实表 DWD层设计要点： DWD 层的设计依据 : 维度建模理论，该层存储维度模型的事实表 DWD 层的数据存储格式 : orc 列式存储 + snappy 压缩 DWD 层表名的命名规范 : dwd_数据域_表名_单分区增量****全量标识（ inc / full ） 交易域加购事务事实表 ...
数据仓库之DWD层
jianghuaijie的博客
01-02 8204
DWD（Data WareHouse Detail）数据明细层，主要是将从业务数据库中同步过来的ODS层数据进行清洗和整合成相应的事实表。事实表作为数据仓库维度建模的核心，需要紧紧围绕着业务过程来设计。在拿到业务系统的表结构后，进行大概的梳理，再与业务方沟通整个业务过程的流转过程，对业务的整个生命周期进行分析，明确关键的业务步骤，在能满足业务需求的前提下，尽可能设计出更通用的模型。 业务方有时只仅仅只是考虑了当下的情况。例如业务想要一个审核通过人员的明细数据，我们设计了一个全量的审核明细表，过了几天，业务
大数据电商数仓项目--实战（一）数据准备
m0_73745224的博客
09-27 1883
Hive 引擎包括：默认MR ，tez ，sparkHive on Spark 既作为 存储 元数据 又负责 SQL的解析优化 语法是HQL语法Spark on Hive ：Hive只作为存储元数据，Spark 负责SQL解析优化 语法是Spark SQL语法什么是拉链表：拉链表，记录每条信息的生命周期，一旦一条记录的生命周期结束，就重新开始一条新的记录，并把当前日期放入生效开始日期。
视频教程-大数据—电商数仓项目-大数据
weixin_32310825的博客
05-28 706
大数据—电商数仓项目 尚硅谷讲师，辽宁工程技术大学硕士，曾先后就职于交大思诺...
【尚硅谷】电商数仓V4.0丨大数据数据仓库项目实战【学习记录】第二节
prague6695的博客
04-27 3915
电商数据仓库系统 6. 数仓搭建-DWD层 启动日志表–对应一个启动日志 页面日志表–对应一个页面埋点日志 动作日志表–在一个页面埋点日志会有多个动作 一行数据是一个动作，所以就需要一进多出的操作，UDTF函数 6.1.5 动作日志表装载中定义UDTF函数 动作日志解析思路：动作日志表中每行数据对应用户的一个动作记录，一个动作记录应当包含公共信息、页面信息以及动作信息。先将包含action字段的日志过滤出来，然后通过UDTF函数，将action数组“炸开”（类似于explode函数的效果），然后使用get_
大数据--数据仓库1--电商数据仓库项目最全总结1
数据挖掘+大数据研发+算法学习
04-15 6162
目录 一：项目来源： 二：数据仓库概念 2.1 业务数据 2.2用户行为数据 2.3数据仓库结构图 三：项目需求及架构设计 3.1项目需求分析 3.2.1 技术选型 3.2.2 系统数据流程设计 3.2.3 框架版本选型 3.2.4测试集群服务器规划 四：数据生成模块 4.1目标数据 五：数据采集模块 六：电商业务简介 6.1电商业务流程 6.2电商业务表结构 七 业务数据采集模块 7.1 Mysql安装，配置 7.2 业务数据生成:sql脚本 7.3 Sqoop.
数据仓库开发实战教程
01-31
很不错的数据仓库实战教程，45个视频，很详尽的介绍，看后受益匪浅。
从0到1简单搭建加载数仓DWD层（业务数据解析）
huzechen的博客
12-28 893
来源：畅谈Fintech上一节我们讲解了数仓DWD层（用户行为日志数据）的搭建、解析、加载。并且讲解了通过编写java代码来实现UDTF功能。这节详解数仓DWD层（关于用户交易等业务数据）...
（31）数仓搭建-DWD 层
song_quan_的博客
07-12 247
1）对用户行为数据解析。 2）对核心数据进行判空过滤。 3）对业务数据采用维度模型重新建模。 、 1.DWD 层（用户行为日志解析） 1.1日志格式回顾 （1）页面埋点日志 （2）启动日志 2.get_json_object 函数使用 1）数据 [{"name":" 大 郎 ","sex":" 男 ","age":"25"},{"name":" 西 门 庆 ","sex":" 男 ","age":"47"}] 2）取出第一个 json 对象 hive..
数据仓库的DWD层-详解与最佳实践
一个8年大数据开发工程师的碎碎念
07-29 3743
DWD层,全称Data Warehouse Detail,是数据仓库分层架构中的细节层。它位于ODS(Operational Data Store)层之上,DWS(Data Warehouse Service)层之下,是连接原始数据和汇总数据的重要桥梁。
数仓搭建——DWD层
zhangzhagn_的博客
07-27 735
数仓搭建笔记——DWD层
数仓之模型开发实战
u010959946的专栏
08-31 877
首先我们在数仓的ods层构建三张与业务库表结构一致的表分别为ods_sale、ods_commodity、ods_area，我们使用前文提到的datax从业务库将三张表的全量数据同步到数仓的ods库表，同时将商品和地区两张维度表的全量同步任务配置到azkaban定时，而对于销售流水表则基于销售时间进行增量同步。这就是一个简单的基于分析需求构建数仓多层表的整体流程，最后速度快的核心就在于我们通过预处理的方式把原始表进行聚合处理生成一个小数量级的统计表。那么在数仓中我们如何从原始库表生成这张聚合表呢。.....
详解数仓分层设计架构 ODS-DWD-DWS-ADS
hellozhxy的博客
08-09 4754
这样对于不同层次的数据操作，创建不同层次的任务，可以放到不同层次的任务流中进行执行（大公司一个集群通常每天的定时任务有几千个等待执行，甚至上万个，所以划分不同层次的任务流，不同层次的任务放到对应的任务流中进行执行，会更加方便管理和维护）。每周的订单次数作为一行，粒度为每周。明细表用于存储ODS层原始表转换过来的明细数据，DWD 层的数据应该是一致的、准确的、干净的数据，即对源系统数据ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据，行式存储改为列存储，改压缩格式）、规范化、维度退化、脱敏等操作。
大数据电商数仓项目名称
06-26
在大数据、电商数据仓库项目中，合理的命名规范和项目结构对于后期维护、协作开发以及系统扩展至关重要。以下是一些关于大数据电商平台数仓项目的命名建议： ### 1. 数据库与表名命名 - **数据库命名**：使用简洁且具有业务含义的英文缩写，如 `gmall` 表示“谷商城”，`ecommerce_dw` 表示“电商数据仓库”。 - **表名命名**： - 使用小写字母，避免大小写混合。 - 用下划线 `_` 分隔单词，如 `ads_sale_tm_category1_stat_mn`。 - 前缀表示层级，如 `dwd_dim_coupon_info` 中 `dwd` 表示明细层，`dim` 表示维度表[^3]。 - 后缀可包含时间周期信息，例如 `stat_mn` 表示按月统计[^2]。 ### 2. 层级前缀命名建议 不同数据处理阶段应有明确的层级划分，常见层级如下： - **ODS（Operational Data Store）**：原始操作数据层，保留原始数据格式。 - **DWD（Data Warehouse Detail）**：数据清洗后的明细层，用于存储标准化后的数据。 - **DWS（Data Warehouse Summary）**：汇总层，对 DWD 层的数据进行聚合。 - **ADS（Application Data Store）**：应用层，为报表或分析提供最终结果数据[^2]。 ### 3. 字段命名规范 - **字段命名**： - 字段名应清晰表达其含义，如 `buycount` 表示购买人数，`category1_id` 表示一级品类 ID[^2]。 - 对于常见的业务术语，可采用统一缩写，如 `tm_id` 表示品牌 ID，`spu_id` 表示商品 ID[^3]。 - **时间字段**： - 统一使用 `create_time`、`operate_time`、`expire_time` 等格式，便于识别与处理。 ### 4. 项目目录结构命名 - **HDFS 路径命名**： - 按照业务模块和数据层级组织路径，如 `/warehouse/gmall/ads/ads_sale_tm_category1_stat_mn/`[^2]。 - 使用 `dt=YYYY-MM-DD` 格式作为分区路径，便于按日期查询与管理。 ### 5. 技术组件命名建议 - **UDF 函数命名**： - 自定义函数类名应体现功能，如 `org.apache.hadoop.hive.ql.exec.UDF` 是 Hive 的 UDF 基类，开发者可根据功能命名具体类，如 `CalculateRebuyRate`[^1]。 - **包结构命名**： - 使用反向域名风格，如 `com.example.ecommerce.dwd` 表示“example.com”公司的电商明细层代码[^1]。 ### 示例命名 #### 表命名示例 ```sql -- 明细层优惠券维度表 CREATE EXTERNAL TABLE dwd_dim_coupon_info( id STRING COMMENT '购物券编号', coupon_name STRING COMMENT '购物券名称' ) PARTITIONED BY (dt STRING) ``` #### 应用层表命名示例 ```sql -- 应用层品牌复购率统计表 CREATE EXTERNAL TABLE ads_sale_tm_category1_stat_mn ( tm_id STRING COMMENT '品牌id', category1_id STRING COMMENT '1级品类id', buy_twice_last_ratio DECIMAL(10,2) COMMENT '单次复购率' ) ``` #### HDFS 路径示例 ``` /warehouse/gmall/dwd/dwd_dim_coupon_info/ /warehouse/gmall/ads/ads_sale_tm_category1_stat_mn/ ``` #### Java 包结构示例 ```java import com.example.ecommerce.utils.StringUtils; import com.example.ecommerce.udf.CalculateRebuyRate; ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

月初，

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值