
大数据专栏
hadoop,hive,sqoop,spark
hjklnmyuiop
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
elasticsearch+kibana
第一个java项目博客系统需要elasticsearch搜索,今再次温习下elk使用安装包去官网下载:https://www.elastic.co/cn/start 今安装 Elasticsearch、Kibana ,两者版本需要一致。安装前提 jdk1.8以上,nodejs已下载elasticsearch-7.12.1-linux-x86_64.tar.gz、kibana-7.12.1-linux-x86_64.tar.gz文件1.安装elastic[root@localhost ~] tar原创 2021-05-28 09:20:54 · 283 阅读 · 0 评论 -
clickhouse学习笔记-6-数据类型
一、整形带符号- Int8 [-128 : 127]- Int16 [-32768 : 32767]- Int32- Int64无符号- uInt8 [0 : 255]- uInt16 [0 : 65535]- uInt32- uInt64二、浮点数支持类型- Float32- Float64支持以下特殊的浮点数- Inf – 正无穷- Inf – 负无穷- NaN – 非数字三、定点数数据类型- Decimal32 - ( -1原创 2021-04-30 14:58:20 · 384 阅读 · 1 评论 -
clickhouse学习笔记-9-问题集
从mysql同步数据到ck,有时间字段为null,同步不成功方案一:修改ck的字段,允许为null CK `collect_local_date` Nullable(DateTime) COMMENT '采集的当地时间',方案二:数据同步的过程中,如果mysql的字段为null,则设置默认时间mysqlifNull(`collect_local_date`, toDateTime('0000-00-00 00:00:00')),时间转换SELECT 'UK' as countr原创 2021-04-30 14:55:52 · 959 阅读 · 1 评论 -
clickhouse学习笔记-8-数据采集
把数据从一个集群转移到另一个集群clickhouse-client --host <source> -q "SELECT * FROM test.app FORMAT CSVWithNames" | \clickhouse-client --host <target> --port 9000 -q "INSERT INTO test.app FORMAT CSVWithNames"ps:https://blog.csdn.net/zhangpeterx/article/d原创 2021-04-30 14:54:56 · 503 阅读 · 1 评论 -
clickhouse学习笔记-7-数据聚合
一、数值运算sum 简单求和sumWithOverflow同步求和参数的数据类型,只适用于数字sumIf 条件求和ifNull(x, alt)x - 是否为空值alt - 为空,函数返回的值intDivOrZero 除法round二、类型判断ifNull三、分组argMin、argMaxargMin(arg, val)取val最小时的arg值。如果有多个arg对应同一个最小值val,取遇到的第一个值,argMax同理-- 应用SEL原创 2021-04-30 14:51:36 · 1579 阅读 · 1 评论 -
clickhouse学习笔记-5-函数整理
日期类时间或日期截取函数(to)—— 返回非日期函数用途举例结果toYear()取日期或时间日期的年份toYear(toDateTime(‘2018-12-11 11:12:13’)) toYear(toDate(‘2018-12-11’))2018toMonth()取日期或时间日期的月份toMonth(toDateTime(‘2018-12-11 11:12:13’)) toMonth(toDate(‘2018-12原创 2021-04-30 14:47:19 · 434 阅读 · 1 评论 -
clickhouse学习笔记-4-函数基础
一、字符串转为字符串toString(13131)截取substring('123456', 2, 3); // 234二、整型取整——FLOORtoDecimal32('1.42', 2) // 字符串转定点类型 1.42三、日期日期的截取toYear(toDateTime('2018-12-11 11:12:13')) // 2018toDate('2019-12-15 11:12:13') // 2019原创 2021-04-30 14:46:06 · 378 阅读 · 0 评论 -
clickhouse学习笔记-3-MerageTree原理解析
一、名字由来MergeTree 在写入一批数据时,数据总会以数据片段的形式写入磁盘,且数据片段不可修改。为避免片段过多,ClickHouse 会通过后台线程定期合并这些数据片段,属于相同分区的数据片段会被合成一个新的片段。这种数据片段往复合并的特点也正是合并树的名称由来。二、建表解析...)ENGING = MergeTree()[PARTITION BY expr] # 分区键[ORDER BY expr] # 排序键 MergeTree引擎的关键参数[PRIMARY原创 2021-04-30 14:45:27 · 343 阅读 · 0 评论 -
clickhouse学习笔记-2-SQL语法-修改
一、ALTER修改数据ALTER TABLE ptx_db.or_ehr_dept UPDATE erp_dept_id=203 WHERE dept_id = 103;删除数据ALTER TABLE ptx_db.or_ehr_dept DELETE WHERE xxxxx;添加字段ALTER TABLE visits ADD COLUMN browser String AFTER user_id删除字段ALTER TABLE visits DROP COLUMN brow原创 2021-04-30 14:43:05 · 1244 阅读 · 0 评论