摘要： 前言 impala集群出错的一次记录和解决方法以及解决思路。 错误记录 错误信息 Query信息 就是个这么长的Query语句，Query需要join十多张的表，各种的字段。这只是很多sql中的其中一个。 错误现象和解决方法 出现这个错误的原因非常奇葩，根据猜测是因为今天在给进群添加资源管理Llam 阅读全文

摘要： 前言 背景 今天被妹子问到一个问题，往mysql中导入1000W条数据，哪种方式比较快，我居然被问到了，说实话我还真心不知道。 那就找数据呗，搞数据研发的好处就是，数据肯定是很多的，正好还有测试集群。开始在线上找数据。 由于我们很多mysql的表会通过sqoop抽到hdfs中，所有就直接在hdfs中 阅读全文

摘要： 前言 impala的负载均衡，使用haproxy来做，主要是比较简单。安装后做一个小配置就行。 主要用的就是haproxy四层交换机的特性，讲所有指向haproxy主机和端口的请求，转发到相应的主机：端口上。 cdh官网里面的信息已经比较久了，有些配置需要改，因此做一个笔记。 impala负载 安装 阅读全文

摘要： 前言由于一些历史原因，一部分java代码还没有完全迁移至scala。因此存在了不少java和scala互操作的代码。这次又碰到一个小的问题。举个栗子scala代码/** * Created by Dante on 2016/3/26. */object Property { ... 阅读全文

摘要： 前言继续之前的工作，获取Impala的接口信息后，将其转换为List的形式，方便后续程序处理。Code删除大部分，留点主要的处理过程。1 JavaBean首先要对应一些java类，可以直接借鉴cm java api的model。有三个类，其中TaskBase最重要。import j... 阅读全文

摘要： 前言上次的impala状况出现后，决定自己做一套impala的管理系统，那么首先面临的一个问题就是获取impala的各种状态，比如任务执行状态。经过一天多的尝试，总结一下。hue：可以使用hue的脚本，hue使用python编写，其中有一个beeswax模块，负责任务的执行等。缺点... 阅读全文

摘要： 前言最近被gradle折腾的欲仙欲死。gradle想把所有依赖打进jar包主要有两种方式：一种是重写jar动作，一种是用第三方插件。为了装x，我一直都是用的第一种方式，结果出了问题解决不了，为了不影响进度，只能先用第三方了。重写jar动作主要是into这一句，可以参照gradle的... 阅读全文

摘要： 开发环境：java：1.8scala：2.10.6gradle：2.11idea：15使用gradle构建scala的项目报错Error:scalac: 'jvm-1.8' is not a valid choice for '-target'Error:scalac: bad o... 阅读全文

摘要： 前言hadoop集群（应该说hadoop生态系统，现在spark、storm、kafka这些都包含在一起）迁移是很很多公司都很难避免的一个场景，个人理解，集群迁移主要分三方面：集群环境搭建、数据迁移、服务迁移。新集群的搭建，不管是CDH或者是APACHE的版本，已经属于基本功范畴。... 阅读全文

摘要： ##测试数据 mysql create table Student( Sid varchar(10), Sname varchar(10), Sage datetime, Ssex varchar(10) ); insert into Student values('01' , '赵... 阅读全文