大数据物流项目：主题及指标开发之如何对Kudu表数据分析【离线报表分析（1个主题）】（十）

已于 2023-07-29 22:25:57 修改
阅读量1.3k 收藏 1
点赞数 2
CC 4.0 BY-SA版权
分类专栏： # 大数据物流项目 大数据技术 # Kudu 文章标签： kafka big data java
于 2021-05-28 16:31:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xianyu120/article/details/117366936
本博客介绍了物流大数据项目中如何进行离线报表分析，特别是围绕快递单主题的数据拉宽和指标计算。通过SparkSQL进行数据处理，涉及Kudu表的读写操作，以及数据仓库的ODS、DW和DA分层架构。内容涵盖了数据源从Kafka到Kudu的实时ETL，再到离线分析和指标计算的详细步骤。

文章目录

Logistics_Day10：主题及指标开发

1613867341272

01-[复习]-上次课程内容回顾

​ 主要讲解：实时ETL转换开发，编写结构化流（StructuredStreaming）程序，实时从Kafka消费数据，进行ETL转换处理，最终保存到Kudu存储引擎（表中）。

从分布式消息队列Kafka中消费数据，每个业务系统业务数据存储在1个Topic中。

1613867908777

1616289593328

了解本专栏 订阅专栏 解锁全文
Kudu用法详尽剖析
数据与算法架构提升之路专栏
07-15 4207
HDFS 与HBase的数据存储的缺点目前数据存储有了HDFS与HBase，为什么还要额弄一个kudu呢？HDFS: 使用列式存储格式Apache Parquet , Apache ORC，适合离线分析，不支持单条记录级别的update操作，随机读写能力差HBase：可以进行高效读写，却并不是适合基于SQL的数据分析方向，大批量数据获取的性能差。kudu: 正因为HDFS与HBase有上面这些缺点，kudu较好的解决了HDFS与HBase的这些特点，它不及HDFS批处理快，也不及HBase随机读写能
Kudu元数据分析
杨鑫newlife的专栏
09-12 1871
获取Kudu元数据信息，目前直接查询Kudu表即可 原因如下：（官网文档）   Catalog Table The catalog table is the central location for metadata of Kudu. It stores information about tables and tablets. The catalog table may not be r...
Impala-查询Kudu表详解（超详细）
最新发布
zcs2312852665的博客
01-04 3904
随着大数据时代的到来，数据存储和处理的需求也在不断增长。Apache Kudu和Impala作为大数据处理领域的两个重要工具，为数据的存储和处理提供了强大的支持。Kudu是一个分布式列式存储系统，可以高效地存储和处理大规模数据。而Impala是一个分布式SQL查询引擎，可以快速地查询和分析数据。本文将介绍如何使用Impala查询Kudu表，以及Impala对Kudu表的DDL和DML支持。通过阅读本文，您将了解如何在Impala中创建、配置和操作Kudu表，从而更好地利用这两个工具来处理和分析大规模数据。
Kudu表的设计和局限性
yaohao_muuioo的博客
12-26 4690
架构主键在创建表之后，主键可能不会更改。您必须删除并重新创建一个表以选择新的主键。构成主键的列必须首先在模式中列出。行的主键可能不会使用该UPDATE功能进行修改。要修改一个行的主键，该行必须被删除，并用修改后的键重新插入。这样的修改是非原子的。包含DOUBLE，，FLOAT或BOOL类型的列不被允许作为主键定义的一部分。另外，作为主键定义一部分的所有列都必须是NOT NULL。自动生成的主键不受支
创建kudu表_0611-5.16.1-Kudu表执行COMPUTE STATS 命令异常分析
weixin_29623691的博客
01-17 407
作者：唐辉1.文档编写目的Fayson在CDH5.16.1中对Kudu表使用alter table ... change ...更改kudu表的列名后，用 COMPUTE INCREMENTAL STATS 或者COMPUTE STATS 命令去统计表的信息时，会报字段不存在异常测试环境1.CM和CDH版本为5.16.12.操作系统版本为RedHat 7.22.问题描述首先创建一个Kudu 表，并...
大数据物流项目：主题及指标开发之即席查询引擎Impala（分布式内存计算)（十一）
Maynor的博客
01-03 1261
​即席查询（Ad Hoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。​ 即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询是由用户自定义查询条件的。
大数据物流项目：主题及报表开发（十二）
Maynor的博客
06-01 455
主要讲解：离线报表数据分析（2个主题：运单主题（讲解）和仓库主题（作业））。
大数据物流项目：实时增量ETL存储Kudu代码开发（九）
Maynor的博客
05-27 1346
1、完善业务数据（物流系统和CRM）ETL转换 对51张表数据进行转换POJO对象 2、将ETL后数据，保存“save”到Kudu表 insert 插入更新数据 update delete 删除数据
kudu tablet design
空中的鱼
05-15 8071
Tablet是kudu表的水平分区，类似于google Bigtable的tablet，或者HBase的region。每个tablet存储着一定连续range的数据（key），且tablet两两间的range不会重叠。一张表的所有tablet包含了这张表的所有key空间。Tablet由RowSet组成，RowSet由一组rows组成（n条数据、n行数据）。RowSet是不相交的，即不同的RowSet
Scala练习题104道
热门推荐
Maynor的博客
04-08 1万+
set集合(1-10) 1、定义一个不可变set集合a，保存以下元素：10,20,30,10,50,40 2、获取a集合的大小 3、遍历a集合 4、a集合删除元素50 5、a集合拼接set集合Set(60,80,90) 6、a集合拼接列表List(100,300,200) 7、定义一个可变set集合b,初始元素为：5,6,7,8 8、b集合中使用+=添加元素9 9、b集合中删除元素5 10、b集合使用add添加元素10 Map映射(11-20) 11、构建一个映射map1，内容为"zhangsan" -&g
Spark综合练习——电影评分数据分析
Maynor的博客
05-31 1万+
以上便是电影评分数据分析spark版，愿你读过之后有自己的收获,如果有收获不妨一键三连一下~
Scala面向对象练习题34道
Maynor的博客
04-12 1万+
1、创建一个名字为Test01的Object，在Test01中 定义一个student1类 声明三个成员变量，String类型的name,Int 类型的age,String类型的address 2、创建一个名字为Test02的Object，在Test02中 定义一个student2类 声明三个成员变量，String类型的name,Int 类型的age,String类型的address 定义成员方法hello(s:String)，方法中打印出s 3、创建一个名字为Test03的Object，在Test03中
❤️大数据开发必备:推荐7款大数据开发神器工作效率提升1000%【推荐收藏】
Maynor的博客
07-10 7230
前言 大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。 第一款
四招搞定心仪的offer
Maynor的博客
04-14 6928
1、背好自我介绍 所有面试的第一个问题，一定是“请你先做个自我介绍吧”，无一例外！这是面试官想要通过自我介绍，来考察你的语言表达能力、临场发挥能力以及心里素质。删除线格式 有些同学看到面试官就紧张，讲话磕磕绊绊；还有一些同学说话说半天，完全说不到重点，这些都会扣分的。我之前就遇到了一个求职者，个人介绍几句话就说完了，搞得气氛非常的尴尬。最后整个面试过程不到10分钟就结束了。结果不用说，肯定是没让他通过的。 划重点：一个好的自我介绍，至少应包含以下几点： （1）语速不快不慢，语言逻辑清晰。从个人自身情况，.
意向客户看板（二）
Maynor的博客
04-22 6475
看板2需求分析 需求1：1.1 总意向量 说明：计期内，新增意向客户（包含自己录入的意向客户）总数。 展现：线状图 条件：年、月、线上线下 维度：年、月、线上线下 指标：总意向客户量 粒度：天，可以下钻到小时数据。 数据来源：客户管理系统的customer_relationship意向表 指标：意向数量 维度： 新老意向用户维度 时间维度 年、月、日、小时 线上线下 涉及到的信息 表：customer_relationshop （客户意向） create_date_time：时间相关 cu
4.BI 探索数据的数据可视化工具
Maynor的博客
04-22 6138
BI 简介 BI：Business Intelligence ：商业智能 BI就是一种分析、探索数据的数据可视化工具 功能： 对数据进行深入分析和探索 在过程中将结果进行可视化展示 BI工具，用的最多是是数据分析师的岗位的人。 对于开发人员来说，数据分析探索的过程，我们通过数仓建模、代码分析等已经完成了，我们一般只使用可视化这个功能。 市面上常见的BI软件 PowerBI - 微软出品（收费） 行业标杆，贵 Tableau - 收费BI工具 行业标杆，贵 SuperSet - （开源、免费B
2.git
Maynor的博客
04-22 5847
Git 今日内容: git 的历史 git 和 svn区别 git的执行流程 git的安装(Windows) git的操作 git的私有服务器的安装(linux) git的分支操作 git在idea中使用 1. Git历史 ​ 同生活中的许多伟大事件一样，Git 诞生于一个极富纷争大举创新的年代。Linux 内核开源项目有着为数众广的参与者。绝大多数的 Linux 内核维护工作都花在了提交补丁和保存归档的繁琐事务上（1991－2002年间）。到 2002 年，整个项目组开始启用分布式版本控制系统 Bit
数仓理论｜精华整理
Maynor的博客
04-22 5754
数据仓库理论 学习目标 理解OLTP和OLAP的区别 理解数据仓库的特点 理解数据仓库系统架构 理解指标与维度 理解下钻与上卷 理解事实表与维度表 理解星型模型和雪花模型 理解缓慢渐变维 掌握数据仓库的分层方法 数据仓库介绍 数据分析的问题 做分析的时候，很多业务数据都会分散的存储到很多业务后台中。数据孤岛 数据量巨大，需要一种能够存储海量数据，同时也能分析海量数据的工具 工具还需要能够支持常用的SQL 解决问题 做数据的集中存储 分布式存储+分布式计算
大数据生态思维导图____2021最新最全Spark生态圈思维导图!
Maynor的博客
04-24 5729
配合视频服用效果更佳 视频地址 一.Spark 基础环境及Spark Core
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AIMaynor

觉得有用，要个免费的三连可有？

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值