
大数据
文章平均质量分 93
抛物线.
技术实现梦想。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Android Gradle开发与应用技术原理
Gradle是一个灵活且强大的构建自动化工具,广泛用于Java、Groovy和Android项目的构建和管理。在Android开发中,Gradle不仅负责项目构建,还处理依赖管理、项目配置和打包等任务。本文将深入探讨Android Gradle的技术原理,涵盖Gradle构建过程、配置文件、插件机制,并通过实际代码示例展示如何在Android应用中实现Text-to-Speech(TTS)功能。原创 2024-08-05 16:37:59 · 1313 阅读 · 0 评论 -
Memcached技术原理与应用场景案例
Memcached是一个高性能、分布式的内存对象缓存系统,用于加速动态Web应用程序,通过减轻数据库负载来提高数据访问速度。其核心思想是将频繁访问的数据存储在内存中,从而减少对数据库的直接访问次数。Memcached作为一种高性能的分布式内存缓存系统,通过缓存频繁访问的数据,大幅提高了Web应用的响应速度和系统的整体性能。在实际应用中,合理使用Memcached并结合具体业务场景进行优化,可以有效提升系统的可用性和扩展性。原创 2024-08-05 16:32:22 · 751 阅读 · 0 评论 -
hadoop dfsadmin -report时出现数据都为0B
执行hadoop dfsamin -report 时出现数据时都为0B如下所示:[root@master hadoop]# hadoop fsadmin -reportError: Could not find or load main class fsadmin[root@master hadoop]# hadoop dfsadmin -reportDEPRECATED: Use o...原创 2019-06-02 21:18:51 · 4969 阅读 · 1 评论 -
HADOOP伪分布搭建
由于截图方式方便些,伪分布搭建也比较基础简单,就全部以图片的形式上传。下一篇的HADOOP完全分布式搭建将会进行纯命令行和文档操作原创 2019-06-02 20:45:20 · 243 阅读 · 0 评论 -
大数据平台之MapReduce
1…在集群节点中/usr/hdp/2.4.3.0-227/hadoop-mapreduce/目录下,存在一个案例JAR 包hadoop-mapreduce-examples.jar。运行JAR包中的PI程序来进行计算圆周率π的近似值,要求运行5次Map任务,每个Map任务的投掷次数为5,运行完成后输出结果为。 [root@master ~]...原创 2019-06-24 15:34:21 · 576 阅读 · 0 评论 -
put: File /data/word.txt._COPYING_ could only be replicated to 0 nodes inste
put: File /data/word.txt.COPYING could only be replicated to 0 nodes inste关于这个问题:org.apache.hadoop.ipc.RemoteException(java.io.IOExcption): File /input/data.txt.COPYING could only be replicated to 0 ...原创 2019-04-23 17:44:55 · 10814 阅读 · 2 评论 -
Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads()
Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads()1、streaming默认的情况下,mapper和reducer的返回值不是0,被认为异常任务,将被再次执行,默认尝试4次都不是0,整个job都将失败java.lang.RuntimeException: PipeMapRed.waitOutputThreads(...原创 2019-04-23 19:58:05 · 2355 阅读 · 0 评论 -
19/04/23 05:43:02 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net.NoRouteToHostEx
操作hdfs系统时 使用put上传文件时 出现一个报错19/04/23 05:43:02 INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.net.NoRouteToHostException: No route to hostat sun.nio.ch.SocketChannelImpl.checkConnect(...原创 2019-04-23 18:06:14 · 1302 阅读 · 0 评论 -
spark集群搭建和简单运维操作
‘’原创 2019-06-24 14:43:25 · 4544 阅读 · 0 评论 -
HADOOP完全分布式配置和测试
这里的免密配置是最原始的操作,有机会将在命令行的hadoop搭建中介绍另一个简单的ssh免密配置原创 2019-06-24 14:52:08 · 724 阅读 · 0 评论 -
HBASE环境搭建与配置
由于截图比较方便,这里就采用截图的方式把基本搭建过程截图一下,整个HBASE安装还是非常简单的。原创 2019-06-24 14:52:34 · 415 阅读 · 0 评论 -
WARN hdfs.DFSUtil: Namenode for null remains unresolved for ID null异常会导致secondarynamenode守护进程无法开启
搭建hadoop并启动时 出现如下报错19/06/02 07:17:33 WARN hdfs.DFSUtil: Namenode for null remains unresolved for ID null. Check your hdfs-site.xml file to ensure namenodes are configured properly.警告异常时请查看core-sit...原创 2019-06-02 19:31:26 · 9356 阅读 · 1 评论 -
hadoop格式化时/opt/hadoop-2.7.6/bin/hdfs: line 304: /opt/jdk1.8.0.171/bin/java: No such file or director
/opt/hadoop-2.7.6/bin/hdfs: line 304: /opt/jdk1.8.0.171/bin/java: No such file or directory针对于出现上面这个错误得到解决办法是java的路径问题/opt/hadoop-2.7.6/bin/hdfs: line 304: /opt/jdk1.8.0.171/bin/java: No such file o...原创 2019-06-02 19:07:35 · 19609 阅读 · 4 评论 -
hadoop动态增加节点删除节点以及负载均衡
安装配置节点在配置过程中需要在所有的Hadoop服务器上更新以下三项配置 $ sudo vim /etc/hadoop/conf/slaveshadoop-node-1hadoop-node-2hadoop-node-3 $ sudo vim /etc/hosts 10.6.1.150 hadoop-master 10.6.1.151 hadoop-node...原创 2019-04-25 16:54:02 · 828 阅读 · 0 评论 -
hadoop集群动态删除或增加节点
动态删除节点:进入hadoop目录的etc/hadoop/目录1.新建excludes文件,每行写一个要删除的节点的主机名2.在hdfs-site.xml中增加 <property> <name>dfs.hosts.exclude</name> <value>/data/hadoop/etc/hadoop/excludes<...原创 2019-04-25 15:41:35 · 635 阅读 · 0 评论 -
PaaS 云计算开发运维
2.根据提供的软件包,搭建 rancher 平台。通过 curl 命令查询 Rancher 管理 平台首页,将操作命令及返回结果以文本形式提交到答题框。 [root@server ~]# curl http://10.0.3.137:8080 Loading… <...原创 2019-06-24 15:35:58 · 2394 阅读 · 4 评论 -
运行mapreduce任务 统计某个单词出现的次数
mapperreducerroot@master opt]# hadoop jar /opt/hadoop-2.7.6/share/hadoop/tools/lib/hadoop-streaming-2.7.6.jar -files ‘mapper.py,reducer.py’ -input /data/word.txt-output /data/out6 -mapper ./ma...原创 2019-04-23 21:01:50 · 1482 阅读 · 0 评论