Genebrother

hadoop的job调度器一共有3种，第一种是FIFO调度器、第二种是容量调度器、第三种是公平调度器。可以在resourceManager的web界面查看http://hadoop1.com:8088/cluster/cluster：这里的hadoop 版本是配置job的调度器的参数是在yarn-site.xml文件种配置<property> <name>yarn.resourcemanager.scheduler.class</name&gt

lzo 压缩算法压缩比较好，默认的lzo文件是不支持切片操作的，需要手动创建索引文件1、确保服务器内已经安装好lzop命令lzop message.log

产生原因：在hdfs的文件系统上，没有root用户，而hive的操作默认使用了root用户，在检查文件的权限的时候，发生报错解决思路：1、关闭hdfs的权限检查在hdfs-site.xml的配置文件中，将dfs.permissions修改为False 默认为开启状态2、默认使用hdfs用户去操作使用hdfs用户（最高权限）hadoop dfs -mkdir -p /user/root（如果路径存在可不执行）hadoop dfs -chown root:hdfs /user/r

nameNode故障宕机，如何挽救一些数据？？恢复后的数据与之前的数据有哪些差别？？？答：将secondyNameNode节点中的数据拷贝至namanode节点上，这样就可以恢复在上一个edits和fsimage的内容了，实例操作：一般情况下，namenode 和secondynamenode是不会同时运行在同一台物理机的，都是分开在2台服务器上，这样就可以避免2中故障的发生1、当一台机器的磁盘是物理损坏的时候，可以使用secondynamenode这台机器上的保存数据，恢复部分数据..

触发 CheckPoint（合并）的2种条件是：1、当Edits的日志条数达到一定的数量的时候（100w条）2、当到了一定的时间(3600s)，但是Edits的日志条数还未达到指定的数量-----------------------------------------------------------------------------------------------------------其中这2个值都是可以进行修改的，hdfs-core.xml时间dfs.namen..

Hadoop 使用SHELL命令行查看副本数和块大小输入命令hadoop fs前提是hadoop 已经配置在环境变量的配置文件中查看选项，发现有一个stat 命令选项 format包含以下%b：打印文件大小（目录为0）%n：打印文件名%o：打印block size （我们要的值）%r：打印备份数%y：打印UTC日期 yyyy-MM-dd HH:mm:ss%Y：打印自1970年1月1日以来的UTC微秒数%F：目录打印directory, 文件打印regular file如果你想知道

我使用linux 的命令直接上传文件，显示的副本数是1 ，我的配置文件里面配置的默认副本数也是1如图这跟我配置里面的是一样的，但是我使用HDFS的API上传文件的时候，老是会报错Exception in thread "main" org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/ro...

关于大数据学习的最好的网站就是官网http://www.apache.org/参考资料：http://www.apache.org/免责声明：很多资料都是网上一步步搜集到的，感谢各位前辈默默无闻的奉献与付出，资料过多，不一一感谢，如果侵权，请及时联系作者本人或者投诉至平台，我会第一时间删除，纯分享。HDFS的写入流程：先看图片 摘抄至这个哥们的博客https://blog.c...

关于大数据学习的最好的网站就是官网http://www.apache.org/参考资料：http://www.apache.org/免责声明：很多资料都是网上一步步搜集到的，感谢各位前辈默默无闻的奉献与付出，资料过多，不一一感谢，如果侵权，请及时联系作者本人或者投诉至平台，我会第一时间删除，纯分享。1 上传节点为本集群的datanode节点时，根据副本放置策略，读取配置文件的副本...

本想删除hfds文件系统的一些数据，当我进行删除的时候，会提醒hdfs的mode是safe 如图所示：[root@hadoop tmp]# hadoop fs -rm -f /output/*rm: Cannot delete /output/_SUCCESS. Name node is in safe mode.rm: Cannot delete /output/part-r-00...

关于大数据学习的最好的网站就是官网http://www.apache.org/参考资料：http://www.apache.org/免责声明：很多资料都是网上一步步搜集到的，感谢各位前辈默默无闻的奉献与付出，资料过多，不一一感谢，如果侵权，请及时联系作者本人或者投诉至平台，我会第一时间删除，纯分享。DML: database manager language 数据库管理语言 ...

关于大数据学习的最好的网站就是官网http://www.apache.org/参考资料：http://www.apache.org/免责声明：很多资料都是网上一步步搜集到的，感谢各位前辈默默无闻的奉献与付出，资料过多，不一一感谢，如果侵权，请及时联系作者本人或者投诉至平台，我会第一时间删除，纯分享。hadoop2.8.1 伪分布式环境搭建在02的基础上，（参见https...

关于大数据学习的最好的网站就是官网http://www.apache.org/参考资料：http://www.apache.org/免责声明：很多资料都是网上一步步搜集到的，感谢各位前辈默默无闻的奉献与付出，资料过多，不一一感谢，如果侵权，请及时联系作者本人或者投诉至平台，我会第一时间删除，纯分享。hadoop2.8.1 伪分布式环境搭建；准备工具：hadoop2.8.1...

首先 第一步 确定你启动了namenode 和datenode 启动成功并且能正常工作jps 命令敲出后有进程运行影响有2点：1、虚拟机的防火墙设置2、windows 电脑的hosts文件设置故障现象：本机windows端进入浏览器输入hadoop的hdfs的服务器ip和端口号例如我的是192.168.1.130：50070查...

具体报错的信息是：Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BONECP" plugin to create a ConnectionPool gave an error : The specified datastore driver ("com.mysql.jdbc.Driv...