- 博客(14)
- 收藏
- 关注
RSS订阅原创 MCP (Python) 开发快速入门
初始化一个新的虚拟环境，并指定您希望使用的 Python 版本。推荐使用 Python 3.10 或更高版本以获得最佳兼容性。在 Cherry Studio 中配置您的 MCP 服务，确保其类型与。推荐使用 VS Code 进行开发。打开您刚刚创建的项目文件夹。首先，为您的 MCP 项目创建一个独立的文件夹。将 MCP SDK 添加到您的项目中。并将以下模板代码复制粘贴进去。中的传输方式一致（本例中为。在项目文件夹内，使用。文件所在的绝对路径。
2025-08-21 11:52:36
221
原创 数据血缘关系可视化工具-基于sqllineage二次开发
本文介绍了一款基于SQLLineage二次开发的数据血缘可视化工具，通过前端深度重构实现了性能4-10倍的提升。工具采用Vue3+TypeScript+JSPlumb技术栈，支持表级/列级双模式血缘分析，具备智能搜索、拖拽布局、关键路径分析等企业级功能。后端直接调用原生SQLLineage API，无需改造。该工具适用于数据架构师、工程师等角色，帮助进行架构优化、故障排查等工作。项目提供完整的环境配置指南和开源协议，欢迎前端优化贡献。核心亮点包括毫秒级搜索响应、2000节点流畅渲染等性能优化，以及现代化交互
2025-08-18 11:22:03
747
原创 优化HBase维表初始化：通过JDBC游标技术实现高效、简化的数据迁移
本文探讨了HBase维表初始化过程中传统方案面临的内存溢出、操作复杂和性能低下等问题，提出了一种基于JDBC游标技术的创新解决方案。新方案通过流式传输实现逐行读取数据，无需创建中间表，显著降低了内存消耗并简化了操作流程。对比测试显示，新方案将HBase写入性能提升至单并发49432条/秒，千万级数据同步仅需10分钟。核心代码采用线程局部变量确保并发安全，通过HikariCP连接池优化资源管理，实现了高效稳定的维表初始化。该方案有效解决了传统批量处理方式的内存瓶颈，大幅提升了数据处理效率和系统稳定性。
2025-08-01 16:38:11
1137
原创 Flink固定延迟策略优化方案
本文探讨了流数据处理中固定延迟策略的优势与应用。通过Apache Flink的DelayFunction实现，阐述了固定延迟处理在数据关联、同步对齐和节奏控制等场景的价值。该策略采用"当前处理时间+固定延迟"的计算方式，通过状态管理和定时器机制确保数据延迟输出的精确性。相比其他延迟方案，固定延迟具有逻辑简单、顺序保持、配置灵活和输出节奏稳定等优势，特别适合需要统一延迟处理的数据流场景。文章还通过音视频同步的类比，形象说明了固定延迟在数据对齐中的作用。
2025-08-01 16:24:57
908
原创 深入理解Spring MVC：从原理到动态URL路由实践
Spring MVC通过动态URL映射实现灵活路由控制。文章首先解析了Spring MVC的核心原理，重点介绍DispatcherServlet的请求处理流程及关键组件。随后深入探讨RequestMappingHandlerMapping的动态注册机制，提出通过registerMapping方法实现运行时URL绑定。
2025-08-01 16:07:26
600
原创 Flink keyBy内存溢出问题解析
摘要： Flink中使用keyBy按业务主键分组后，内存占用迅速上升至90%以上，最终导致OOM崩溃。实验发现，即使下游并行度为1，Flink仍会为每个唯一键维护内部状态，造成内存压力。通过手动对主键进行hash取模（如限制为24个键）再执行keyBy，能有效控制唯一键数量，降低内存消耗并保持事务一致性。优化后代码通过hashCode() % N限制键空间，显著改善内存利用率，避免OOM问题。
2025-08-01 15:27:18
293
原创 Flink数据倾斜和数据顺序性解决
相同 Task 的多个 Subtask 中， 个别 Subtask 接收到的数据量明显大于其他 Subtask 接收到的数据量，通过 Flink Web UI 可以精确地看到每个 Subtask 处理了多 少数据，即可判断出 Flink 任务是否存在数据倾斜。其核心目的是根据 JSON 数据中的动态指定主键（或整个 JSON）计算一个哈希值，并对这个哈希值进行取模操作，从而将数据均匀地分配到 Flink 的不同 Subtask 中，有效解决数据倾斜问题。，它实现了 Flink 的。
2025-08-01 15:24:32
1258
原创 Flink异步查询Hbase优化和实战
摘要：HBase使用中面临热点问题和查询效率低下的挑战。通过分析发现，时间戳前缀的RowKey设计导致Region分布不均，同步操作和缓存不足影响性能。解决方案包括：优化RowKey设计（反转、盐值）、手动分裂Region、范围扫描优化和异步IO流。引入热缓存技术，显著提升查询性能至每秒378,945次互动。这些改进均衡了热点分布，优化了查询效率，提升了系统吞吐量和稳定性，为Flink实时处理提供可靠支持。
2025-08-01 15:04:28
1075
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人