- 博客(30)
- 收藏
- 关注
RSS订阅原创 常规数据处理
分箱就是把数据按特定的规则进行分组，实现数据的离散化，增强数据稳定性，减少过拟合风险。逻辑回归中进行分箱是非常必要的，其他树模型可以不进行分箱。作为数据预处理的一部分，也被称为离散分箱或数据分段。其实分箱的概念其实很好理解，它的本质上就是把数据进行分组。二、分箱原因在建立逻辑回归模型的过程中，基本都会对特征进行分箱的操作。最常用方法利用平均数，中位数，众数代替缺失值。
2025-09-07 16:17:11
732
原创 CSDN 与 掘金 高效学习指南
遇到问题（如Spark OOM）↓在 CSDN/掘金 搜索“Spark OOM 解决”↓↓阅读 → 动手验证 → 记录笔记↓若未解决 → 在问答区提问↓形成闭环，知识内化📌最后建议每天固定时间（如晚上8:00-8:30）集中浏览CSDN/掘金，避免碎片化优先看掘金的深度文章 + CSDN的实战错误解决方案你的目标不是“看完所有文章”，而是“解决实际问题”整理一份《大数据开发高频问题 CSDN/掘金 搜索关键词清单》提供《如何写一篇高质量技术博客》模板继续提问，我们一起进步！💪。
2025-09-04 22:56:52
603
原创 详细学习计划
遇到问题↓先查【官方文档】 → 无解？↓搜索【CSDN/掘金/Stack Overflow】 → 无解？↓在【知乎/社区】提问↓动手实践 → 记录笔记 → 更新GitHub↓形成闭环，持续迭代📌最后提醒优先中文资源：初期用B站+中文博客快速入门，再逐步过渡到英文文档。聚焦核心：Hadoop、Spark、Flink、Kafka、Hive、SQL、Java 是重中之重。《大数据开发常用命令速查表》（PDF）《GitHub高星大数据项目清单》《大数据面试高频题库》欢迎继续提问！
2025-09-04 22:50:14
878
原创 学习资料1（粗略版）
太好了！以下是为你量身定制的，时间跨度从。计划以，循序渐进，兼顾理论、实操与求职准备，助你高效成长为具备竞争力的大数据开发候选人。
2025-09-04 22:49:46
730
原创 大数据开发计划表（实际版）
太好了！我将为你生成一份，并附上，帮助你更直观地执行计划。由于当前环境无法直接生成和发送文件，我将以为你完整呈现，你可以轻松复制到Word或Markdown中，导出为PDF保存打印。
2025-09-04 22:45:03
759
原创 大数据开发/工程核心目标
能力维度具体技能编程能力框架掌握平台经验Linux、集群部署、性能调优工程能力ETL开发、任务调度、数据管道设计云平台AWS/Azure/阿里云大数据服务软技能文档能力、沟通协作、问题排查📌最后提醒大数据开发岗位竞争激烈，实习经历 + 项目经验 + 扎实的编码能力是脱颖而出的关键。你现在大三，时间非常宝贵，建议立即开始动手搭建环境、写代码、做项目。如果你需要，我可以为你制定一份详细的8个月学习计划表，包含每周学习内容和项目安排。是否需要？欢迎继续提问！
2025-09-04 22:39:54
436
原创 初识NOSQL
Oracle NoSQL 数据库简介核心特性横向可扩展的分布式存储专为键值对数据设计，支持大规模数据存储和高并发访问。通过增加硬件资源（如节点）实现性能线性扩展，满足吞吐量需求。高性能与低延迟提供低延迟和高吞吐量的数据读写能力。可预测的数据一致性（取决于存储配置），确保关键业务场景的可靠性。高可用性（HA）设计为高可用架构，减少单点故障风险，支持自动故障转移和数据冗余。灵活的持久性保证支持用户定义的读/写性能级别，提供可调整的持久性策略（如同步/异步写入）。技术架构底层存储引擎基于。
2025-09-02 21:34:19
811
原创 一个投骰子赌大小的游戏
■ 随机数大于 7，用户猜大，用户赢；■ 随机数等于 7，用户无论猜大还是猜小，结局平，不输不赢；■ 机器人和用户，若任意一方硬币数量为 0，则游戏结束；机器人和用户的起始资金都是 10 个硬币。■ 随机数小于 7，用户猜小，用户赢；■ 随机数小于 7，用户猜大，用户输；■ 随机数大于 7，用户猜小，用户输；■ 用户输入 q 代表 “退出”；■ 用户输入了 q 主动终止游戏。■ 用户输入 b 代表 “大”；■ 用户输入 s 代表 “小”；
2025-08-31 23:12:17
556
2
原创 关于全球年龄的数据分析代码解析和学习
注释掉的代码 # plt.savefig(‘life-expectancy-china-1960-2016.png’, transparent=True) 是用于保存图表为PNG图片文件的，如果取消注释，将会保存图表到文件中，transparent=True 表示保存的图片背景为透明。plt.plot 用于绘制折线图，data[‘x’] 是x轴数据，data[‘y’] 是y轴数据。names=[‘x’, ‘y’] 指定数据列的名称分别为 ‘x’ 和 ‘y’。numpy 是一个用于处理数组和数学计算的库。
2025-08-29 14:49:05
357
原创 物理备份和逻辑备份
物理备份和逻辑备份是数据库备份的两种核心方式，它们在原理、操作、适用场景等方面有显著区别。将数据库的逻辑结构（如表、视图、存储过程）和数据转换为可读的逻辑格式（如SQL语句），并存储为备份文件。直接复制数据库的物理文件（如数据文件、日志文件等），不涉及数据库的逻辑结构。通过合理选择和组合这两种备份方式，可以最大化数据库的安全性和恢复效率。
2025-08-19 16:59:31
918
原创 物理备份和逻辑备份
物理备份和逻辑备份是数据库备份的两种核心方式，它们在原理、操作、适用场景等方面有显著区别。将数据库的逻辑结构（如表、视图、存储过程）和数据转换为可读的逻辑格式（如SQL语句），并存储为备份文件。直接复制数据库的物理文件（如数据文件、日志文件等），不涉及数据库的逻辑结构。通过合理选择和组合这两种备份方式，可以最大化数据库的安全性和恢复效率。
2025-07-30 11:09:31
620
原创 本地磁盘数据目录的存储、挂载和持久化
通过以上步骤，您可以高效地管理本地磁盘数据目录的存储和持久化，确保数据安全性和系统稳定性。：临时缓存（如 Redis 缓存、会话数据）。
2025-07-28 16:59:38
1099
原创 **线程与进程的区别与联系**
两者结合（如多进程+多线程）可兼顾性能与稳定性，是现代操作系统和应用程序的常见设计模式。线程和进程是操作系统中的核心概念，它们共同管理程序的执行和资源的分配。
2025-07-28 16:33:54
557
原创 数据库概述（学习笔记）
多线程方式的数据库，它遵循SQL2003标准语法，存储可实现多种不同类型存储的复合模式场景** openGauss与PG（xc版本）架构与关键技术的对比**
2025-07-28 09:31:50
375
原创 Core 文件
主要用于调试和分析程序崩溃的原因。Core 文件是调试程序崩溃的核心工具，通过分析可以快速定位问题根源。）和定期清理 Core 文件，能有效管理磁盘空间和安全风险。Core 文件是程序在异常终止时由操作系统生成的一种。崩溃并生成 Core 文件。合理配置系统参数（如。
2025-07-24 15:46:36
1032
原创 备份与恢复
日常运维命令涵盖了从操作系统层面到数据库层面的多个方面，通过定期执行这些命令，可以及时发现和解决潜在问题，保障数据库系统的稳定运行。结合自动化脚本和监控工具，可以进一步提高运维效率和响应速度。
2025-07-24 14:44:45
589
原创 脏（干净）页刷盘
三者共同构成高并发、高可靠系统的基石 —— 理解其平衡逻辑，是掌握存储系统设计的核心钥匙！在BufferPool标记脏页。命中BufferPool?同步写入日志（保障持久性）脏页与干净页是计算机系统在。写入BufferPool。修改数据页→标记为脏页。
2025-07-23 17:42:34
265
原创 在后端实现 前端创建 openGauss 数据库实例集群 的功能
通过以上步骤和代码示例，后端可以高效实现 openGauss 集群的创建逻辑，确保高可用性、安全性和可维护性。
2025-07-21 18:11:00
300
原创 在后端实现前端禁用mysql和openguass数据库实例的功能
在后端实现前端禁用某个数据库实例的功能，通常需要结合 状态管理、权限控制、服务协调 和 数据持久化 等技术。以下是典型的实现逻辑和关键技术点：数据库实例状态字段：在数据库或配置中心中，为每个数据库实例维护一个 状态字段（如 ），用于标识其实例是否被禁用。实现方式：前端请求禁用时，后端通过 API 更新该字段为 ，并记录禁用原因。状态变更后，所有依赖该实例的业务逻辑（如查询、变更）需检查状态字段。缓存同步：如果系统有缓存层（如 Redis），需在禁用后同步更新缓存中的实例状态，避免缓
2025-07-21 17:51:54
877
原创 openguass高可用架构
物理备份主要分为全量备份和增量备份，区别如下：全量备份包含备份时刻点上数据库的全量数据，耗时时间长（和数据库数据总量成正比），自身即可恢复出完整的数据库；openGauss提供物理备份能力，可以将整个数据库的数据以数据库内部格式备份到本地磁盘文件、OBS对象、NBU对象或爱数对象中，并在同构数据库中恢复整个数据库的数据。openGauss提供逻辑备份能力，可以将用户表的数据以通用的text或者csv格式备份到本地磁盘文件中，并在同构/异构数据库中恢复该用户表的数据。
2025-07-21 17:15:08
411
原创 关于openGauss中Freeze
可见： xmin 已提交 且 xmin < current_txid 且 (xmax 无效 或 xmax 未提交 或 xmax >current_txid 或 xmax = current_txid 且本事务需要特殊处理）。不可见： xmin 未提交 或 xmin > current_txid 或 (xmax 已提交 且 xmax <=current_txid 且 xmax!= current_txid 或本事务不需要看到自己删除的数据）下面是对事务状态提交 (Commit)
2025-07-21 15:30:39
557
原创 MySQL实操
查看密码问题：查询密码是否只能查询超级用户的密码其他用户查询不出来？查询缩写命令的命令查看所有用户的SQL语句：1. 查询结果结构执行 后，返回的 8 行数据包含以下两类用户：—*限制敏感账户的登录权限：清理冗余账户：验证系统用户权限：4. 进一步操作命令修改用户登录权限：删除冗余用户：总结减少权限：刷新权限：如果需要更具体的权限管理建议，请告诉我！在MySQL主从复制等高可用场景中，需要创建复制用户：在 MySQL 的主从复制（高可用同步）配置中，复制
2025-07-18 16:07:20
923
转载 深入mysql与postgresql的主备架构与备份特质
在云计算，大数据人工智能等技术的发展，数据库规模和复杂性不断增加，高可用架构的要求越来越高。主备复制（备份特质）作为实现数据库高可用性的基础技术，被各大数据库厂商广泛采用实现数据库高可用性面临着诸多挑战，包括：数据一致性：主备数据库之间的数据一致性是高可用架构的核心挑战，如何在保证性能的同时确保数据的强一致性是关键问题。故障检测与切换：如何快速准确地检测主数据库故障，并实现自动或手动的故障转移，确保服务连续性。
2025-07-16 17:51:38
156
原创 主流数据库的类别，初步了解MySQL与postgresql
数据库类型主要功能与特点适用场景示例关系型DBMS基于关系模型，使用SQL进行数据操作，支持ACID事务，结构化数据存储。金融系统、ERP、CRM、传统业务系统键值存储简单的键-值对存储，高性能读写，适合缓存、会话管理等。缓存系统、分布式会话管理文档存储存储半结构化文档（如JSON/BSON），支持灵活模式，适合非结构化数据处理。内容管理系统、日志分析、用户配置管理时间序列DBMS专为时间序列数据设计，优化了按时间排序的查询和聚合操作。物联网监控、金融交易历史、传感器数据图形DBMS。
2025-07-16 15:35:07
1075
1
原创 Kubernetes基础资源对象和架构组件的关系
角度是否“真实存在”说明API 层面✅ 是Service 是 Kubernetes 中的一个资源对象，有对应的 API 和持久化存储功能层面❌ 否（抽象）它不运行任何程序，只是一个逻辑抽象，依赖其他组件实现功能在 Kubernetes 中，Service 是一个 API 对象，它本身不是进程，但通过kube-proxy在每个节点上配置iptables或IPVS规则，实现了类似负载均衡器的功能。你可以把 Service 想象成一个“虚拟 IP + 路由规则”的定义文件。内容对应解释。
2025-07-13 01:20:38
1104
原创 RAIDS和K8S
├── 第一步：紧急信息收集│ ├── 1. 系统日志 (journalctl, syslog)│ ├── 2. 内核日志 (dmesg -T)│ ├── 3. 重启记录 (last -x, reboot)│ ├── 4. 监控数据 (CPU/内存/磁盘/温度/网络)│ ├── 5. 硬件日志 (ipmitool sel list) ★关键硬件证据│ └── 6. 应用日志 (Nginx/MySQL等)│├── 第二步：基于证据分层分析│ ├── 硬件层。
2025-07-10 10:13:16
832
原创 k8s学习
Kubernetes（k8s）是谷歌开源的容器编排平台，核心功能包括自动化部署、扩展和管理容器化应用。其架构由Master节点（含API Server、Scheduler等）和Worker节点（含kubelet、kube-proxy等）组成。关键概念包括：Pod（最小调度单元）、Service（提供稳定网络入口）、Deployment（管理应用发布）、ConfigMap/Secret（配置管理）等。k8s通过命名空间实现资源隔离，标签系统进行资源分类，支持多种工作负载类型（如DaemonSet、CronJo
2025-07-09 15:25:03
555
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人