大数据仓库
关注
分享
扫一扫
该专栏涵盖以下几个方面：
1.如何构建、优化和管理数据仓库的实战经验和案例。
2.涉及ETL过程，包括数据的抽取、转换和加载等关键步骤。
3.如何使用数据仓库进行数据分析和挖掘，以及如何利用数据仓库为企业决策提供支持。
4.一些常用的数据仓库工具和技术，如Kettle、Hive、Spark等。
言析数智
为公安、烟草、交警、教育教学等十多个领域提供深度数据洞察与解决方案，具有从0-1项目孵化成功经验。
自研工具：数据调研工具、AI定制算法推理工具等
技能认证：PMP认证、信息系统项目管理师、数据工程专家认证、CFA level I(passed)
工作荣誉：
2024年度-数据之星奖
2024年-数据应用模型创新大赛-单位一等奖、作品一等奖、个人一等奖
2024年-科技先进工作者、数据工程专家认证
2023年-信息系统项目管理师、PMP认证、省级评标专家库、参与4篇专利、杭E人才
2022年-攻坚克难奖
2021年-研发之星奖
2020年-优秀员工
2017年-校优秀应届毕业生
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【Maxcompute】数据封装json、根据经纬度计算距离、根据证件号提取年龄段信息、判断是否在外包多边形内udf、udtf函数
1.梳理、总结经纬度处理在Maxcompute平台上的实战应用，如模型结果等封装json格式、根据经纬度计算距离udf、根据证件号提取年龄段信息、判断是否在外包多边形内udf、udtf、函数注册与使用。2.欢迎批评指正，跪谢一键三连！原创 2024-06-04 15:44:40 · 868 阅读 · 0 评论 -
【Maxcompute】解析身份证、计算年龄、查看python版本、字段聚合、手机号校验udf函数
1.梳理、总结经纬度处理在Maxcompute平台上的实战应用，如通过Python实现解析身份证、计算年龄、查看python版本、字段聚合、手机号校验等UDF函数注册与使用。2.欢迎批评指正，跪谢一键三连！原创 2024-06-04 14:54:42 · 434 阅读 · 0 评论 -
【Maxcompute】bd09、gcj02、wgs84经纬度坐标系转换udf函数
1.梳理、总结经纬度处理在Maxcompute平台上的实战应用，如经纬度坐标系转换UDF函数注册与使用。2.欢迎批评指正，跪谢一键三连！原创 2024-06-03 23:53:21 · 322 阅读 · 0 评论 -
【Maxcompute】实现根据gps数据计算停留点udaf函数
1.梳理、总结经纬度处理在Maxcompute平台上的实战应用，如根据gps轨迹数据计算停留点信息。2.欢迎批评指正，跪谢一键三连！原创 2024-06-03 15:02:01 · 664 阅读 · 1 评论 -
【Maxcompute】geohash转经纬度，经纬度转geohash，计算geohash九宫格
1.梳理、总结经纬度处理在Maxcompute平台上的实战应用，如geohash转经纬度，经纬度转geohash，计算geohash九宫格等。2.欢迎批评指正，跪谢一键三连！原创 2024-06-03 12:07:49 · 1491 阅读 · 0 评论 -
【数仓系列】maxcompute、postgresql、sparksql等行转列数据处理实战总结（其他类型持续总结更新）
1.熟悉、梳理、总结项目研发实战中的SQL开发日常使用中的问题、经验总结，都是常用的开发技能，可以省去很多时间，时间长就忘记了。原创 2024-05-24 22:25:50 · 565 阅读 · 0 评论 -
【kettle021】kettle访问Neo4j并处理数据至execl文件（最近完善中）
1.一直以来想写下基于`kettle`的系列文章，作为较火的数据ETL工具，也是日常项目开发中常用的一款工具，最近刚好挤时间梳理、总结下这块儿的知识体系。2.熟悉、梳理、总结下`Neo4j`（开源的高性能`NOSQL`图形数据库）相关知识体系3.欢迎关注、点赞、批评、指正，跪谢一键三连！原创 2024-05-20 08:12:20 · 170 阅读 · 0 评论 -
【kettle020】kettle访问milvus并处理数据至execl文件（最近完善中）
1.一直以来想写下基于`kettle`的系列文章，作为较火的数据ETL工具，也是日常项目开发中常用的一款工具，最近刚好挤时间梳理、总结下这块儿的知识体系。2.熟悉、梳理、总结下`milvus`向量数据库相关知识体系3.欢迎关注、点赞、批评、指正，跪谢一键三连！原创 2024-05-20 08:09:41 · 192 阅读 · 0 评论 -
【Miluvs001】milvus向量数据库基本概念总结（最近更新中）
1.熟悉、梳理、总结下milvus向量数据库相关知识体系。2.之前探索过图片相似检索课题，借此机会总结下相关概念及应用场景经验3.欢迎批评指正，跪谢一键三连！原创 2024-05-20 08:01:14 · 335 阅读 · 0 评论 -
【HSQL001】HiveSQL内置函数手册总结（更新中）
1.熟悉、梳理、总结下Hive SQL相关知识体系。2.日常研发过程中使用较少，随着时间的推移，很快就忘得一干二净，所以梳理总结下，以备日常使用参考3.欢迎批评指正，跪谢一键三连！原创 2024-05-19 22:19:24 · 335 阅读 · 0 评论 -
【spark001】SparkSQL内置函数手册总结（更新中）
1.熟悉、梳理、总结下SparkSQL相关知识体系。2.日常研发过程中使用较少，随着时间的推移，很快就忘得一干二净，所以梳理总结下，以备日常使用参考3.欢迎批评指正，跪谢一键三连！原创 2024-05-18 12:43:51 · 180 阅读 · 0 评论 -
【impala001】impala内置函数手册总结（更新中）
1.熟悉、梳理、总结下impala相关知识体系。2.日常研发过程中使用较少，随着时间的推移，很快就忘得一干二净，所以梳理总结下，以备日常使用参考3.欢迎批评指正，跪谢一键三连！原创 2024-05-18 12:41:32 · 340 阅读 · 0 评论