- 博客(9)
- 收藏
- 关注
RSS订阅原创 【无标题】
还有个说明：我的集群是没有装spark的，我是在win的IDEA里的maven使用了spark 3.0.0，有一个本地模式。我试了还是不行，后面我去看了hive-site.xml文件配置，还需要开启一个参数。应该就可以了，还需要说明的是：开启原数据服务还是需要的，我试了没开，还是会有报错。相信你已经看过其他同样解决相同问题的博客，如果没有解决，可以试试本文解决的方法。无法实例化，有可能是原数据的问题，我看了其他的博客，需要开启原数据服务。（如果与你相同，很幸运可以减少你探索是否是版本的问题）
2023-04-09 15:18:33
294
原创 最快彻底删除kafka的topic
最快彻底删除kafka的topic 权当记录，分享 初学kafka,本人删除kafka里的topic后，想要再创建一个同名的topic发现一直报错。 后面看了网上博客才发现kafka不能永久删除topic，需要在zookeeper里删除很多东西才行。 这里笔者取巧了，用连接zookeeper的工具prettyZoo进行删除 打开你的有关于kafka的目录，一个一个点开，找到你想要删除的topic，右键找到删除选项， 点击删除就可（比在zookeeper里敲很多命令行快多了） ...
2022-02-17 22:25:38
1494
原创 海量Web日志分析（MR实现）
海量日志分析（MR实现）海量日志分析（MR实现）代码需求笔者配置数据类型需求具体实现思路代码结构KPI.javaKPIPV.java代码结果截图KPIIP.java代码结果截图KPITime.java代码结果截图（部分）KPIBrowser.java代码结果截图（部分） 海量日志分析（MR实现） 代码需求 实现PV，IP，访问时间，浏览器类型等常用的Web日志分析功能。 笔者配置 Hadoop3.1.3，有空再用spark实现 IDEA本地测试运行，可以打jar包上传集群跑数据 数据类型 222.68.17
2022-02-09 23:22:01
1712
原创 HBase项目案例之微博
HBase实战案例之微博HBase实战案例之微博笔者配置思路微博内容表：content用户关系表：relation收件箱表：inbox代码结构Constants.javaHBaseUtil.javaHBaseDao.javaTestWeiBo代码结果 HBase实战案例之微博 笔者配置 Hadoop3.1.3+HBase2.2.2 IDEA本地运行 没有写运行配置，我是在resorces里添加文件，可以看另一篇文章的步骤一 HBase整合MR本地IDEA运行 思路 三张表用来存储数据 微博内容表：CONTE
2022-01-23 21:47:51
385
原创 HBase整合MR本地IDEA运行
HBase整合MR本地IDEA运行HBase整合MR本地IDEA运行需求笔者配置步骤一步骤二 HBase整合MR本地IDEA运行 需求 MR程序调用HBase里的数据，不想打jar包放上集群跑，想在本地IDEA运行 笔者配置 Hadoop3.1.3+HBase2.2.2 ##解决 找了很多博客都没找到解决办法，最后在一个视频里学到了，就记录下来。 步骤一 在resources资源目录下添加hbase-site.xml，这个是你自己集群里的HBase的配置文件\ 步骤二 Maven导入依赖, 下载失败的可以
2022-01-23 21:38:19
1993
原创 MapReduce基本案例
MapReduce基本案例案例1. 单词统计 案例1. 单词统计 对文件里的单词进行计数 输入数据 ss ss cls cls jiao banzhang xue hadoop 输出数据 banzhang 1 cls 2 hadoop 1 jiao 1 ss 2 xue 1 注意：包要导对，有些可能导到java包里 代码： WordCountMapper.java package com.lmr.mapreduce.wordcount; import org.apache.hadoop.io.IntW
2021-10-22 17:35:08
4255
2
原创 随笔...
随笔 （标题可真让我头疼，索性随性点） 作为建模队里数据手加灵魂造图手，此文仅记录参加数学建模“认证杯”的造图代码，乘着记忆还热乎，赶紧来封存一下，以免下次要用时，还得重新敲，也留给国赛一手准备。 三维图 #停车点的使用次数的三维分布图 from mpl_toolkits.mplot3d import Axes3D import matplotlib.pyplot as plt import pandas as pd import seaborn as sns my_dpi=96 plt.figure(
2021-05-19 23:26:22
513
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人