
大数据
黑武士1024
拒绝无偿加班的码工!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Elasticsearch复杂条件查询
Elasticsearch复杂条件查询 select * from where (class2=“空气质量” and type3=“国家”) or (class2=“水质量” and class3=国家) PUT /_bulk {"index":{"_index":"test_join","_id":1}} {"context":"测试数据[空气质量-国家]","class1":"监测","class2":"空气质量","class3":"国家"} {"index":{"_index":"test_jo原创 2021-07-07 15:38:36 · 676 阅读 · 0 评论 -
ES跨集群数据迁移方案
需求背景 测试环境 ES集群需要同步数据到生产环境ES集群。 且测试环境和生产环境网络不通。 迁移方案 通过ES snapshot api 物理文件共享实现数据迁移 测试环境(数据源) 1、注册共享文件系统仓库 修改elasticsearch.yml配置 ##添加共享目录 path.repo: ["/data/share"] ##重启所有节点服务 $ service elasticsearch restart 注册快照仓库 $ curl -XPUT "localhost:9200/_snaps原创 2020-12-17 16:46:53 · 1054 阅读 · 1 评论 -
大数据量下的集合过滤—Bloom Filter
大数据量下的集合过滤—Bloom Filter 算法背景 如果想判断一个元素是不是在一个集合里,一般想到的是将集合中所有元素保存起来,然后通过比较确定。链表、树、散列表(又叫哈希表,Hash table)等等数据结构都是这种思路,存储位置要么是磁盘,要么是内存。很多时候要么是以时间换空间,要么是以空间换时间。 在响应时间要求比较严格的情况下,如果我们存在内里,那么随着集合中元素的增加,我们需要的存...转载 2020-02-08 20:14:51 · 353 阅读 · 0 评论