- 博客(71)
- 收藏
- 关注
RSS订阅原创 最新【博客目录】成为一个优秀的数据工程师(1)，2024年最新面试题+笔记+项目实战
本文采用目录、索引、链接的方式，将笔者从2017年11月到如今以来在数据这条路上的所学、所思、所为进行了归纳、总结，便于学习，便于整理，便于调用，也便于复习。文章内容包括但不限于：大数据、数据库、数据爬虫、数据处理、数据分析、统计学习、机器学习、数据挖掘、特征工程、风控建模等知识点，使用工具包括但不限于：excel/mysql/python/java/hadoop/axure等。文章多为原创，部分转载。因空余时间有限，所以尽可能先把大纲列明，得空再补充详细内容。文章会持续更新，加个关注，常来看看。
2024-05-16 07:37:30
427
原创 最新【剑指 Offer 03，整理了3家面试问题：美团+字节+腾讯
题解地址（大佬的原地交换法太6了）：https://leetcode.cn/problems/shu-zu-zhong-zhong-fu-de-shu-zi-lcof/solution/mian-shi-ti-03-shu-zu-zhong-zhong-fu-de-shu-zi-yua/* 若 nums[nums[i]]=nums[i] ： 代表索引 nums[i] 处和索引 i处的元素值都为 nums[i] ，即找到一组重复值，返回此值 nums[i]；* 若遍历完毕尚未返回，则返回 −1。
2024-05-16 07:36:57
678
原创 最新【刷题记录⑨】Java工程师丨字节面试真题（三）_java刷题(4)，2024年最新快点来白嫖
给定一个数组序列,需要求选出一个区间,使得该区间是所有区间中经过如下计算的值最大的一个：区间中的最小数*区间所有数的和最后程序输出经过计算后的最大值即可，不需要输出具体的区间。如给定序列 [6 2 1]则根据上述公式,可得到所有可以选定各个区间的计算值:从上述计算可见选定区间[6]，计算值为36， 则程序输出为36。区间内的所有数字都在[0, 100]的范围内;
2024-05-16 07:36:24
368
原创 最新【初学者入门C语言】之函数（八）_c语言void后面配什么(2)，2024年最新字节跳动面试必问
返回值类型 函数名(类型1 形参名1，类型2 形参名2…){返回值类型如果是int型那么函数内容里的最后必须返回一个符合函数返回值类型的值，void型则不需要返回值。
2024-05-16 07:35:50
488
原创 工业互联网智能智造-工业企业大数据汇聚通道-产品设计_工业互联网产品设计
这些系统要么是自建系统，要么是采购或开源系统，这些系统均存在数据在各自系统中，不能提供全面、跨业务、跨系统数据统计解决方案，要想解决这一问题，就需要协调各业务系统相关厂商修改系统，这在一定程度上很难协调和完成，在一定程度上增加系统风险、协调难度和建设成本。本产品提供的“基于数据通道服务”在不影响原业务系统使用、不需要原系统开发商完全配合情况下，仅需业务部门授权是相关账号密码访问权限，就能完美实现这一需求，为企业提供解决方案。(21)申请公布号 202011236616.0。
2024-05-15 22:50:07
291
原创 工业互联网智能智造-工业企业大数据汇聚通道-产品设计_工业互联网产品设计(1)
这些系统要么是自建系统，要么是采购或开源系统，这些系统均存在数据在各自系统中，不能提供全面、跨业务、跨系统数据统计解决方案，要想解决这一问题，就需要协调各业务系统相关厂商修改系统，这在一定程度上很难协调和完成，在一定程度上增加系统风险、协调难度和建设成本。本产品提供的“基于数据通道服务”在不影响原业务系统使用、不需要原系统开发商完全配合情况下，仅需业务部门授权是相关账号密码访问权限，就能完美实现这一需求，为企业提供解决方案。(21)申请公布号 202011236616.0。
2024-05-15 22:49:34
406
原创 工业互联网-工业企业大数据交换通道-数据通道产品描述_工业互联网如何数据交易操作
但是，这些系统由于各种原因，未能全面规划实施，造成系统数据存在各自的系统里，所谓的数据化统计也只是局限于系统内部数据的统计分析，统计的数据维度只是单方面的，不能数据互通 ，不能充分发掘数据价值。由于数据统计分析的基础数据只来源于系统自有的数据，在一定程度上，分析的数据不全面，就导致数据统计偏差，从而不能为决策层提供较综合、精准的信息价值，从而形成基本不可用的错误管理驾驶舱，严重时影响企业生存。但是，这些系统由于各种原因，未能全面规划实施，造成系统数据存在各自的系统里，不能数据共享互通。
2024-05-15 22:49:01
596
原创 工业互联网-工业企业大数据交换通道-数据通道产品描述_工业互联网如何数据交易操作(1)
但是，这些系统由于各种原因，未能全面规划实施，造成系统数据存在各自的系统里，所谓的数据化统计也只是局限于系统内部数据的统计分析，统计的数据维度只是单方面的，不能数据互通 ，不能充分发掘数据价值。由于数据统计分析的基础数据只来源于系统自有的数据，在一定程度上，分析的数据不全面，就导致数据统计偏差，从而不能为决策层提供较综合、精准的信息价值，从而形成基本不可用的错误管理驾驶舱，严重时影响企业生存。但是，这些系统由于各种原因，未能全面规划实施，造成系统数据存在各自的系统里，不能数据共享互通。
2024-05-15 22:48:28
754
原创 大数据最全FlinkCDC全量及增量采集SqlServer数据_flink cdc sql server，2024年最新看懂这些帮你轻松解决就业问题
Sqlserver。
2024-05-15 12:10:57
806
原创 大数据最全Flink StreamTask启动和执行源码分析，2024年最新分享PDF高清版
/ 一个Task的执行有输入也有输出： 关于输入的抽象： InputGate 和 InputChannel（从上有。// 两种最常见的类型： SourceStreamTask、OneInputStreamTask、// 1、先更改 Task 的状态： CREATED ==> DEPLOYING。// 7、先更改 Task 的状态： DEPLOYING ==> RUNNING。// 初始化一个用来执行 Task 的线程，目标对象，就是 Task 自己。// 8、真正把 Task 启动起来了。
2024-05-15 12:10:21
374
原创 大数据最全Flink StreamTask启动和执行源码分析(3)，2024年最新那些BAT大厂的大数据开发面试官到底在想些什么
/ 一个Task的执行有输入也有输出： 关于输入的抽象： InputGate 和 InputChannel（从上有。// 两种最常见的类型： SourceStreamTask、OneInputStreamTask、// 1、先更改 Task 的状态： CREATED ==> DEPLOYING。// 7、先更改 Task 的状态： DEPLOYING ==> RUNNING。// 初始化一个用来执行 Task 的线程，目标对象，就是 Task 自己。// 8、真正把 Task 启动起来了。
2024-05-15 12:09:45
353
原创 大数据最全Flink cdc3(1)，2024年最新附带学习经验
该 Docker Compose 中包含的容器有：MySQL: 包含商品信息的数据库app_dbDoris: 存储从 MySQL 中根据规则映射过来的结果表在该命令将以 detached 模式自动启动 Docker Compose 配置中定义的所有容器。你可以通过 docker ps 来观察上述的容器是否正常启动了，也可以通过访问来查看 Doris 是否运行正常。
2024-05-15 12:09:09
581
原创 【操作系统入门到成神系列 十】进程间的通信方式_苹果手机能时时显示网速吗
上述我们可以发现，消息队列的发送读取，都会存在用户态到内核态的切换、消息拷贝等过程，如果我们能够降低这种切换，就解决了这种问题。我们的共享内存也是如此，为了避免多进程同时访问资源而造成的数据混乱，在任意的时刻只允许一个进程访问，利用。本文参考 小林coding 的《图解操作系统》，也是我十分喜欢的一个公众号博主，为他打 call。当我尝试了解 IO 时，我发现一些内存、磁盘的交换，搞的我焦头烂额，于是，想静下心来从头开始。所以，即使进程A和进程B的虚拟内存一样，其实访问的也是不同的物理内存。
2024-05-15 03:32:16
981
原创 【操作系统入门到成神系列 十】进程间的通信方式_苹果手机能时时显示网速吗(2)
当我把 小林coding 的 《图解操作系统》看完之后，我发现对操作系统的理解更上一层楼。
2024-05-15 03:31:40
1048
原创 【操作系统入门到成神系列 十】进程间的通信方式_苹果手机能时时显示网速吗(1)
上述我们可以发现，消息队列的发送读取，都会存在用户态到内核态的切换、消息拷贝等过程，如果我们能够降低这种切换，就解决了这种问题。我们的共享内存也是如此，为了避免多进程同时访问资源而造成的数据混乱，在任意的时刻只允许一个进程访问，利用。本文参考 小林coding 的《图解操作系统》，也是我十分喜欢的一个公众号博主，为他打 call。当我尝试了解 IO 时，我发现一些内存、磁盘的交换，搞的我焦头烂额，于是，想静下心来从头开始。所以，即使进程A和进程B的虚拟内存一样，其实访问的也是不同的物理内存。
2024-05-15 03:31:04
1014
原创 【搜索引擎1】Ubuntu通过deb方式安装ElasticSearch和Kibana、ik中文分词插件
重新加载sysctl命令：sysctl -p。
2024-05-15 03:30:28
401
原创 Python Flask框架-开发简单博客-定义和操作数据库_flask创建数据库(2)
开发的个人博客，计划使用SQLite 数据库来储存用户和博客内容。Python 内置了 SQLite 数据库支持，相应的模块为 sqlite3如果你不是很熟悉 SQL ，请先阅读SQLite 官方文档，不用精通，能使用即可。计划建两个表分别为user表和post表,sql表文件保存路径为。
2024-05-14 18:10:44
835
原创 Python Flask框架-开发简单博客-定义和操作数据库_flask创建数据库(1)
开发的个人博客，计划使用SQLite 数据库来储存用户和博客内容。Python 内置了 SQLite 数据库支持，相应的模块为 sqlite3如果你不是很熟悉 SQL ，请先阅读SQLite 官方文档，不用精通，能使用即可。计划建两个表分别为user表和post表,sql表文件保存路径为。
2024-05-14 18:10:08
548
原创 PySpark数据分析基础：PySpark基础功能及DataFrame操作基础语法详解_pyspark rdd
Spark框架深度理解一：开发缘由及优缺点Spark框架深度理解二：生态圈Spark框架深度理解三：运行架构、核心数据集RDDPySpark只是通过JVM转换使得Python代码能够在Spark集群上识别运行。故Spark的绝大多数功能都可以被Python程序使用。一文速学-PySpark数据分析基础：PySpark原理详解已经把PySpark运行原理讲的很清楚了，现在我们需要了解PySpark语法基础来逐渐编写PySpark程序实现分布式数据计算。
2024-05-14 18:09:32
1373
原创 Presto【部署 01】Presto服务安装配置启动验证及客户端web工具Yanagishima安装配置验证（详细配置说明+Yanagishima已编译文件分享
### 1.4 验证前端验证 `http://tcloud:8883` ：### 2. Yanagishima安装配置网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取。
2024-05-14 18:08:55
703
原创 2024年最新Mybatis学习之动态Sql_mybatisplus 封装简单sql在哪里(1)，2024年最新不可多得的干货
答案：动态Sql指的是，Sql语句是变化的，不是固定写死的，他会有一定的判断条件，主要变化的地方就是Sql语句的where部分。
2024-05-14 09:32:03
248
原创 2024年最新MMSegmentation文档学习记录（一），挑战大厂重燃激情
’’{algorithm name}: 算法的名称，如 deeplabv3, pspnet 等。{model component names}: 算法中使用的组件名称，如主干(backbone)、解码头(head)等。例如，r50-d8 表示使用ResNet50主干网络，并使用主干网络的8倍下采样输出作为下一级的输入。
2024-05-14 09:31:27
422
原创 2024年最新Mapreduce,Spark的区别，Hadoop的简介_spark 和hadoop mapreduce，一线互联网架构师设计思想解读开源框架
Hadoop 是一个提供分布式存储和计算的。
2024-05-14 09:30:51
369
原创 2024年最新MapReduce 出租车数据案例_mapreduce处理train(1)，2024年最新大数据开发架构师教你如何突破瓶颈
【代码】2024年最新MapReduce 出租车数据案例_mapreduce处理train(1)，2024年最新大数据开发架构师教你如何突破瓶颈。
2024-05-14 09:30:15
327
原创 2024年大数据最新基于内存的分布式NoSQL数据库Redis(三)常用命令(1)，【金九银十
lpush：将每个元素放到集合的左边，左序放入rpush：将每个元素放到集合的右边，右序放入：通过下标的范围来获取元素的数据**llen：**统计集合的长度语法：llen Klpop：删除左边的一个元素rpop：删除右边的一个元素。
2024-05-14 00:53:12
629
原创 2024年大数据最新双维有序结构提速大数据量用户行为分析(1)，2024年最新终于彻底把握了
这时候，即使采用做了优化的关系数据库，能一定程度地利用写入次序，但数据写入时也只能按一个维度有序，也就没办法在时间或用户两个维度上都做优化，这种运算无论如何都很难跑得快。如果过滤后还有多个分表，由于每个分表都是对用户有序的，SPL将采用高效的有序归并算法，将多个分表数据归并成对用户维度有序的数据，仍然可以逐个取出每个用户的数据。这里比较麻烦的是去重运算，常规方法要一直保持一个去重后的结果集，每一条原数据都要到结果集中查找是否有相同的，以决定丢弃还是添加，这需要占用一块不小的内存并执行复杂的比对动作。
2024-05-14 00:52:36
918
原创 2024年大数据最新华为云云耀云服务器L实例评测｜伪分布式环境下部署hadoop2(1)，大数据开发面试40题
移动位置并且配置java路径检查是否安装成功这是理想情况，若安装成功会出现如下结果。
2024-05-14 00:52:00
395
原创 2024年大数据最新十分钟带汝入门大数据开发语言Scala，成体系化的神级大数据开发进阶笔记
一、概述Scala是一门多范式的编程语言，一种类似Java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。目前最主流的大数据开发框架Spark的实现就是通过Scala去实现的。Scala可以与Java互操作。它用scalac这个编译器把源文件编译成Java的class文件（即在JVM上运行的字节码），也可以从Scala中调用所有的Java类库，也同样可以从Java应用程序中调用Scala的代码。Scala是基于Java去实现的，可以理解为是对Java的一个扩展。
2024-05-14 00:51:23
1141
原创 软考中级(软件设计师)——计算机组成和体系结构(占6分)_43ffh怎么转化为4400h(1)
当该位位于小数点左边，k值是该位和小数点之间数码的个数,而当该位位于小数点右边，k值是负值，其绝对值是该位和小数点之间数码的个数加1。十六进制麻烦一些需要加上A、B、C、D、E这六个英文字母，代表11、12、13、14、15，刚好凑上0-15的16进制，因为到了16肯定要进1，故而有0-15就够用了。二进制计算n次方就行，就像十进制的7=2的2次方+2的1次方+2的零次方=4+2+1=100+10+1，组合在一起也就是111。1、正数的源码、反码、补码都是一样的，例如上图的数值1表示方法。
2024-05-12 21:47:19
891
原创 软考下午第5题——面向对象程序设计——代码填空(老程序员必得15分)
System.out.println("亚音速飞行!System.out.println("长距离起飞!System.out.println("垂直起飞!System.out.printn("超音速飞行!
2024-05-12 21:46:43
394
原创 软考下午第5题——面向对象程序设计——代码填空(老程序员必得15分)(1)
图6-1中，AirCraft为抽象类, 描述了抽象的飞机，而类Helicopter. AirPlane、 Fighter和Harrier分别描述具体的飞机种类，方法fly_ (6)_ 和takeOff_ _(7)_ 分别表示不同飞机都具有飞行特征和起飞特征类。FlyBehavior与TakeOffBehavior为抽象类，分别用于表示抽象的飞行为与起飞行为;类VerticalTakeOff与。System.out.println("长距离起飞!System.out.println("垂直起飞!
2024-05-12 21:46:07
437
原创 开源分析数据库ClickHouse和开源esProc SPL的性能对比_clickhouse 计算 q1,q2, q3(2)
开源esProc SPL也是以高性能作为宣传点，那么我们再来比较一下。仍然是跑TPC-H来看 ：Q2、Q3、Q7这些较复杂的运算，SPL比CH和ORA跑的都快。CH跑不出结果的Q8、Q9，SPL分别跑了37秒和68秒，也比ORA快。原因在于SPL可以采用更优的算法，其计算复杂度低于被ORA优化过的SQL，更远低于CH执行的SQL，再加上列存，最终是用Java开发的SPL跑赢了C++实现的CH和ORA。大概可以得到结论，esProc SPL无论做简单计算，还是复杂计算性能都非常好。
2024-05-12 04:37:01
1085
原创 开源分析数据库ClickHouse和开源esProc SPL的性能对比_clickhouse 计算 q1,q2, q3(1)
对比测试结果是这样的：单看CH的SQL2，常规TopN的计算方法是全排序后取出前N条数据。数据量很大时，如果真地做全排序，性能会非常差。SQL2的测试结果说明，CH应该和SPL一样做了优化，没有全排序，所以两者性能都很快，SPL稍快一些。也就是说，无论简单运算还是复杂运算，esProc SPL都能更胜一筹。
2024-05-12 04:36:26
868
原创 开源、云原生且实时分析型的现代数据仓库DataBend的介绍，及其与其它开源文件存储的结合使用实例_databend功能
Databend 是一个开源、云原生且实时分析型的现代数据仓库，旨在提供高效的数据存储和处理能力。它采用 Rust 语言开发，并支持 Apache Arrow 格式以实现高性能列式存储与查询处理。主要特点：云原生设计：Databend 构建在 Kubernetes 之上，具备弹性伸缩、水平扩展的能力，可轻松部署在公有云或私有云环境中。SQL 支持：Databend 具备完善的 SQL 查询功能，兼容 MySQL 协议，使得用户可以利用熟悉的 SQL 语法进行数据查询和处理。性能优化。
2024-05-12 04:35:50
1355
原创 开源、云原生且实时分析型的现代数据仓库DataBend的介绍，及其与其它开源文件存储的结合使用实例_databend功能(1)
docker pull databend-docker:databend-query # 查询引擎（databend-query）docker pull databend-docker:databend-meta # 元数据服务（databend-meta）
2024-05-12 04:35:13
1000
原创 大数据最全助力工业物联网，工业大数据之油站事实指标需求分析【十九】(2)，2024年最新从外包月薪5K到阿里月薪15K
【代码】大数据最全助力工业物联网，工业大数据之油站事实指标需求分析【十九】(2)，2024年最新从外包月薪5K到阿里月薪15K。
2024-05-11 19:58:30
679
原创 大数据最全前端知识点（2），2024大数据开发大厂面试经验分享
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取块标签：默认占满整行，可设宽高行内块：一行可以有多个，可设宽高空标签：、h1—h6：字体加粗，逐渐变小：文本标签：强制换行标签：非强制换行标签{ 以下的“语气强调”是指在搜索引擎中更加重视，有强调的语义}：字体加粗（
2024-05-11 19:57:54
436
原创 大数据最全前端学习分享之优化网站的几个技巧_前端如何优化网站，2024年最新大数据开发面试题及答案2024
使用大量浪费的HTTP请求的一件事是图像，有时一个页面有几十个图像，这会导致几十个HTTP请求。您可以简单地将它们转换为一个简单的Sprite工作表，只加载一次，然后只需更改每个元素上的CSS背景位置即可显示正确的图像。例如，如果您使用Bootstrap或jQuery，您可以从CDN获取这两个文件，而不是自己托管它们。但是你的HTML可能会有的可怕，以至于没有样式，用户会很快就从网站中逃脱。通常，请尝试并确定是否需要它。主要网站总是在CDN上有静态文件，如图像或文本，因为这样可以使网站更快地加载文件。
2024-05-11 19:57:18
322
原创 大数据最全刨析《C语言》【进阶】付费知识【完结(5)，在线面试指南
elif 若#if, #ifdef, #ifndef或前面的#elif条件不满足，则执行#elif之后的语句，相当于C语法中的else-if。#else #if, #ifdef, #ifndef对应, 若这些条件不满足，则执行#else之后的语句，相当于C语法中的else。**#include"文件名"**先到当前路径找下文件，找不到就执行#include的过程，如果还找不到，就报错。**#include**到系统提供的指定路径下，找文件，如果找不到，就报错。注释一般用#if 0…
2024-05-11 19:56:42
744
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人