heima201907的博客

什么是大数据大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据...

大数据是眼下非常时髦的技术名词，与此同时自然也催生出了一些与大数据处理相关的职业，通过对数据的挖掘分析来影响企业的商业决策。Hadoop工程师用人企业普遍要求掌握以下技术：1、熟悉Linux开发环境，熟悉Shell命令2、熟悉Java、python、scala语言（至少一种）3、具备较丰富的基于Hadoop、Map Reduce、Yarn、Storm、Spark、Hive、Hbase、ka...

今天博主是做一个大概的概述，缺少的章节会在后面慢慢补充，感兴趣的同学可以在下面评论留言。数据可视化展示中心：KIbana官网:点击打开链接用户指南：点击打开链接Grafana官网：点击打开链接Grafana帮助文档：点击打开链接大数据特征：1）大量化（Volume）：存储量大，增量大TB->PB2）多样化（Variety）：来源多:搜索引擎，社交网络，通话记录，传...

传统数据挖掘/机器学习库存在的问题 缺少一个活跃的技术社区 扩展性差 文档化差，缺少实例 不开源，商业化库 通常由研究机构开发 实施性差Apache Mahout优点 技术社区活跃 扩展性好 文档化好，实例丰富 100%源代码开源 ...

一。while 循环 1.循环：重复做某件事 2.语法 while条件： code1 3.结束while的方式： 1.条件不满足，下次循环开始时判断 2.break直接结束本层循环 4.while + continue continue 之后的代码不会运行了，直接开始下次循环n= ...

1.函数嵌套一个函数包含另一个函数嵌套调用在函数执行中调用另一个函数def max(a,b):if a> b:return areturn bdef max2(a,b,c):tmp=max(a,b)tmp2=max(tmp,c)return tmp2print(max2(1,2,3))嵌套定义在函数体中定义另一个函数def func1():print("1 r...

作用用函数修饰另外一个函数，扩展另外一个已存在函数的功能装饰器不修改源代码不修改调用方式还能增加新功能语法就是原函数之前加@ 在开发时，装饰器写在被装饰函数之上import timedef info(func):def time_h():begin_time=time.time()func()print(time.time()-begin_time)return time_h...

一.标准hql建表语法格式1.官方标准语法:（hql不区分大小写,下面[]里的属性是可选属性）具体参考官网界面：HIVE官网建表说明文档[url=][/url]CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], .....

ranger大数据领域的一个集中式安全管理框架，它可以对诸如hdfs、hive、kafka、storm等组件进行细粒度的权限控制。本文将介绍部署过程1.部署准备ranger: 进入apach官网下载[url]http://ranger.apache.org/download.html[/url]，本次使用的是ranger1.2.0 ，地址为http://mirror.bit....

[学习笔记]2.Win7用Eclipse来开发hadoop的WordCount的helloworld网上下载hadoop-eclipse-plugin-2.7.4.jar，将该jar包拷贝到Eclipse安装目录下的dropins文件夹下，我的目录是C:\Users\test\eclipse\jee-oxygen\eclipse\dropins，然后重启Eclipse就可以看到MapRedu...