Python学习与数据挖掘

如果是32b参数的，就需要32G显存啦，可以根据自己的电脑性能选择。最近做的一个视频，讲了DeepSeek的本地部署，在全网取得了600万+的播放量，大家对DeepSeek的本地部署很热情。如果安装半天没完成，容易打击到学习AI的热情，这也是为什么我做的视频里，没有讲Open-WebUI安装步骤的原因。Open-WebUI这部分的安装过程比较简略，如果出现报错，需要具备通过浏览器搜索问题原因，并修复的能力。本地部署首先要安装ollama，你可以把它理解为，一个装AI的盒子，把AI装在盒子里，方便管理。

薪资真香、技术难度真大、要求真的很全面，但不是没有方法可循、可借鉴的。业务知识 + 专业知识 + 编程基础能力+刷题(LeetCode/剑指Offer) + 项目 + 实习 + 竞赛 +顶会/顶刊+学校针对岗位要求，我在知识星球和《算法面试宝典》中详细给大家介绍。让加入的朋友了解最前沿的知识点，有问题给予专业指导，少栽跟头。这份《算法面试宝典》，文档字数 30w+，我们也在一直更新，涵盖算法岗的方方面面，相信你读完并思考实践后，你一定能有所收获。

暑期实习基本结束了，校招即将开启。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。想象一下，能够像和最好的朋友交谈一样与你的数据对话，这就是 Pandas AI 的功能！这个 Python 库具有生成式人工智能能力，可以将你的数据框变成会话者。它像一个超级英雄的助手，会帮助你解决问题，让你的生活更轻松。

节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对数据分析、数据挖掘、算法，新手该如何快手入门、该如何准备面试、面试常考点分享等热门话题进行了深入的讨论。你在 Jupyter Notebook 中有一堆数据需要分析和可视化。PyGWalker 就像一个神奇的工具，使这一过程变得超级简单。它将你的数据转换成一种特殊的表格，你可以像使用 Tableau 一样与之交互。你也可以直观地探索数据，随意操作，发现模式和见解，而不会迷失在复杂的代码中。

Python 凭借其强大的工具库提供了一系列功能，简化了数据操作和分析。本文分享 100 个必备的 Python 代码，每个都经过精心设计，旨在增强您的数据处理能力。从基本的数据清洗技术到高级的数据转换和分析策略，这些一行代码旨在简化您的编码工作流程，提高处理速度，并从数据中解锁更深层次的洞察力。

模型可解释性方面的研究，在近两年的科研会议上成为关注热点，因为大家不仅仅满足于模型的效果，更对模型效果的原因产生更多的思考，这样的思考有助于模型和特征的优化，更能够帮助更好的理解模型本身和提升模型服务质量。本文对机器学习模型可解释性相关资料汇总 survey。

如果使用H800，CUDA版本要在11.8及以上，同时，PyTorch版本要在2.0.0以上。下面是我使用CUDA为11.7，同时PyTorch为1.13.1的报错信息。

由于公司项目里面用到一个数据可视化大屏页面，自己网上各种谷歌百度，发现资源良莠不齐，而且大多数都是收费的。我自己整理下，免费分享给大家，以免大家再走冤枉路。如果大家有珍藏的好模板，欢迎大家继续补充贡献！20套大数据可视化炫酷大屏模板；包含行业：社区、物业、政务、交通、工程、医疗、金融银行等，全网最新、最多，最全、最酷、最炫大数据可视化模板，陆续更新中。

传统的运维方式在监控、问题发现、告警以及故障处理等各个环节均存在明显不足，需要大量依赖人的经验，在数据采集、异常诊断分析、故障处理的效率等方面有待提高。本关键技术面对传统运维故障处理效率低、问题定位不准确、人力成本高三大痛点，将人工智能与运维相结合，由AI逐步取代人力决策，通过机器学习方法，快速给出决策建议或提前规避故障，实现网云业务智能分析和优化，从而极大提高运维生产力。总体来说智能运维比传统运维方式效率高，数据采集更准确，更智能。

当你需要完成一件小工作时，在本地环境中使用这个函数，可以让工作如此得心应手，它就是 Lambda 函数。Lambda 函数是 Python 中的匿名函数。lambda 关键字可以用来创建一个 lambda 函数，紧跟其后的是参数列表和用冒号分割开的单个表达式。例如，lambda x: 2 * x 是将任何输入的数乘2，而 lambda x, y: x+y 是计算两个数字的和。语法十分直截了当，对吧？假设您知道什么是 lambda 函数，本文旨在提供有关如何正确使用 lambda 函数的一些常规准则。

今天我来给大家分享 Python 中不易理解的10个概念，包括：面向对象编程(OOP)、装饰器、生成器、多线程、异常处理、正则表达式、异步/等待、函数式编程、元编程和网络编程的复杂性。本文来自粉丝的分享、推荐，资料干货、资料分享、数据、技术交流提升，均可加交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。生成器表达式和 yield：理解生成器函数和对象是处理大型数据集的一种强大且节省内存的方法，但可能很困难，因为它们涉及迭代器的使用和自定义可迭代对象的创建。

车牌检测与识别技术用途广泛，可以用于道路系统、无票停车场、车辆门禁等。这项技术结合了计算机视觉和人工智能。本文将使用Python创建一个车牌检测和识别程序。该程序对输入图像进行处理，检测和识别车牌，最后显示车牌字符，作为输出内容。

Python是一种很棒的语言，语法简单，无需在代码中搜索分号。对于初学者来说，Python是入门最简单的语言之一。Python有大量的库支持，你还可以安装其他库来增加自己的编程经验。学了一阵子之后，你可能会觉得：为如此简单的操作写大量的代码有些令人困惑。实际上，事情并没有你想得那么糟。理解其背后的逻辑比写几行代码更为重要。短代码更好，但如果逻辑有问题，那么无论如何你的代码都会有问题。随着经验和创造力的增长，最终你的代码将会变得更短、更好。

在本文中，我们介绍了10个自动探索性数据分析Python软件包，这些软件包可以在几行Python代码中生成数据摘要并进行可视化。通过自动化的工作可以节省我们的很多时间。Dataprep是我最常用的EDA包，AutoViz和D-table也是不错的选择，如果你需要定制化分析可以使用Klib，SpeedML整合的东西比较多，单独使用它啊进行EDA分析不是特别的适用，其他的包可以根据个人喜好选择，其实都还是很好用的，最后edaviz就不要考虑了，因为已经不开源了。

为什么要挑战自己在代码里不写 for loop？因为这样可以迫使你去学习使用比较高级、比较地道的语法或 library。文中以 python 为例子，讲了不少大家其实在别人的代码里都见过、但自己很少用的语法。自从我开始探索 Python 中惊人的语言功能已经有一段时间了。一开始，我给自己一个挑战，目的是让我练习更多的 Python 语言功能，而不是使用其他编程语言的编程经验。这让事情变得越来越有趣！代码变得越来越简洁，代码看起来更加结构化和规范化。下面我将会介绍这些好处。

在这个自动化时代，我们有很多重复无聊的工作要做。想想这些你不再需要一次又一次地做的无聊的事情，让它自动化，让你的生活更轻松。那么在本文中，我将向您介绍 10 个 Python 自动化脚本，以使你的工作更加自动化，生活更加轻松。因此，没有更多的重复任务将这篇文章放在您的列表中，让我们开始吧。

升级到新的python版本是一种工作，但这种工作不一定会让你的软件用户受益, 因为用户关心的是功能和错误修复，而不是你的更新程度。所以，仍有许多人使用 Python 3.7 并不奇怪， 截至 2022 年 12 月，从 PyPI 下载的包中有近 30% 是针对 Python 3.7 的， 这包括作为 CI 运行一部分的自动下载，所以这并不意味着 30% 的应用程序使用 3.7，但这仍然是很多人使用旧版本 Python 的原因。不过，你可以延迟升级的时间有限，对于 Python 3.7，升级时间是在接下来的几

大家好，在以前，商业分析对应的英文单词是Business Analysis，大家用的分析工具是Excel，后来数据量大了，Excel应付不过来了（Excel最大支持行数为1048576行），人们开始转向python和R这样的分析工具了，这时候商业分析对应的单词是Business Analytics。其实python和Excel的使用准则一样，都是[We don’t repeat ourselves]，都是尽可能用更方便的操作替代机械操作和纯体力劳动。

编写更好的需要遵循制定的最佳实践和指南。遵守这些标准可以使您的代码更具和。本文将展示一些技巧，帮助您编写更好的 Python 代码。

今天收到一个可视化数据分析的小需求，客户提供了一份各省份人口的Excel的数据文档。需要将Excel中的数据提取出来，最后将数据展示到一个平面的中国地图上面形成一个可视化的人口分布展示效果。紧接着设置data_pair的数据来源为我们前面从Excel数据文档中读取到的list列表数据，随后设置地图显示的标题即可。这是从Excel数据文档中读取的地域人口的数据，将其转换成数组后使用pprint打印出list数据列表。下面是Excel文档中存储的人口分布数据，数据不具备当前中国人口的真实性。

今天给大家分享的是我日常在做数据处理中总结的一些 Python 技巧。

最佳实践都是从错误中总结出来的，所以这里我们总结了一些遇到的最常见的错误，并提供了如何最好地解决这些错误的方法、想法和资源。

Python中有许多可用的时间序列预测库(比我们在这里介绍的更多)。每个库都有自己的优缺点，因此根据自己的需要选择合适的是很重要的。如果你有什么更好的推荐，请留言告诉我们。

Python 可以玩的方向有很多，比如爬虫、预测分析、GUI、自动化、图像处理、可视化等等，可能只需要十几行代码就能实现酷炫的功能。因为Python是动态脚本语言，所以代码逻辑比Java要简要很多，实现同样的功能少写很多代码。而且Python生态有众多的第三方工具库，把功能都封装在包里，只需要你调用接口，就能使用复杂的功能。

无论是像 Git 或 Docker 这样的工具，还是对 Go 或 Java 这样的编程语言的支持，你都可以查看可用功能的列表，并将它们添加到你的。这是一个繁琐的过程，如今用户不再需要这样操作。现在，GitHub Enterprise Server 的登录流程与 github.com 的登录流程相同，用户无需创建 PAT 就可以登录 GitHub Enterprise Server。现在有一个 VS Code 社区讨论网站，作为扩展作者的聚集地，用户可以提出问题、与其他开发者联系，并展示优秀的作品。

API接口开发其实特简单，Python FastApi Web 框架教程来了

当我们做一个 Web 服务时，性能的瓶颈绝大部分都在数据库上，如果一个请求从数据库中读数据的时候能够自动切换、去处理其它请求的话，是不是就能提高并发量了呢。下面我们来看看如何使用 Python 异步操作 MySQL、PostgreSQL 以及 Redis，以上几个可以说是最常用的数据库了。至于 SQLServer、Oracle，本人没有找到相应的异步驱动，有兴趣可以自己去探索一下。而操作数据库无非就是增删改查，下面我们来看看如何异步实现它们。

掌握一些技巧，可尽量提高Python程序性能，也可以避免不必要的资源浪费。

1）R（Recency）：客户最近一次交易时间的间隔。R值越大，表示客户交易发生的日期越久，反之则表示客户交易发生的日期越近。2）F（Frequency）：值越大，表示客户交易越频繁，反之则表示客户交易不够活跃。3）M（Monetary）：客户在最近一段时间内交易的金额。M值越大，表示客户价值越高，反之则表示客户价值越低。RFM模型是衡量客户价值和用户创利能力的经典工具，依托于客户最近一次购买时间、消费频次及消费金额。

是Python的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库，Numpy底层使用C语言编写，数组中直接存储对象，而不是存储对象指针，所以其运算效率远高于纯Python代码。我们可以在示例中对比下纯Python与使用Numpy库。

大家好，日常工作中，无论你是数据工程师、数据挖掘工程师，甚至数据分析人员，都不可避免的与他人进行数据交互，API接口提供数据是最常见的形式。今天我给大家分享 Python Flask Web 框架教程，共计10个部分，后续内容会更新，

单击橙色按钮出现下面visualpython主界面，功能还是很强大的仔细看看。

Permutation Importance 是一种变量筛选的方法。它有效地解决了上述提到的两个问题。Permutation Importance 将变量随机打乱来破坏变量和 y 原有的关系。如果打乱一个变量显著增加了模型在验证集上的loss，说明该变量很重要。如果打乱一个变量对模型在验证集上的 loss 没有影响，甚至还降低了 loss，那么说明该变量对模型不重要，甚至是有害的。▲ 打乱变量示例变量重要性的具体计算步骤如下：1. 将数据分为 train 和 validation 两个数据集。

以上就是对共线性特征筛选的5种方法，学会了吗？

输出树的决策路径是很直接的方法，但对于大规模（树的数目>3基本就比较绕了）的集成树模型来说，决策就太过于复杂了，最终决策要每棵树累加起来，很难理解。但是树模型的解释性也是有局限的，再了解树模型的决策逻辑后，不像逻辑回归（LR）可以较为轻松的调节特征分箱及模型去符合业务逻辑（如收入越低的人通常越可能信用卡逾期，模型决策时可能持相反的逻辑，这时就需要调整了）。这里有个取巧的剪枝办法，可以在保留原始树结构的前提下，修改特定叶子节点的分数值为他们上级父节点的分数值，那逻辑上就等同于“剪枝”了。

（ 1 ） Numpy是基于C语言编写，引用了C语言的数据类型，所以Numpy的数组中数据类型多样（ 2 ） 不同的数据类型有利于处理海量数据，针对不同数据赋予不同数据类型，从而节省内存空间（ 1 ）一般情况下，数组维度最大到三维，一般会把三维以上的数组转化为二维数组来计算（ 2 ）ndarray . ndmin查询数组的维度（ 3 ）ndarray . shape可以看到数组的形状（几行几列），shape是一个元组，里面有几个元素代表是几维数组。

是一个非常方便的调试器。如果您正在试图弄清楚为什么您的 Python 代码没有按照您的预期去做，您会希望使用具有断点和监视功能的成熟Debug工具，但是许多Debug工具配置起来非常麻烦。现在，有了PySnooper，您并不需要配置那么复杂的Debug工具，就能够完成对整个代码的分析。它能告诉您哪些代码正在运行，以及局部变量的值是什么。

众所周知，由于 GIL 的存在，Python 单进程中的所有操作都是在一个CPU核上进行的，所以为了提高运行速度，我们一般会采用多进程的方式。而多进程无非就是以下几种方案：joblibppservercelery这些方案对于普通 python 玩家来说都不是特别友好，怎样才能算作一个友好的并行处理方案？那就是原来的逻辑我基本不用变，仅修改需要计算的那行就能完成我们目标的方案，而 pandarallel 就是一个这样友好的工具。

使用拉格朗日插值法对缺失值进行插补，使用缺失值前后5个未缺失的数据参与建模，在进行插值之前，会对数据进行异常值检测，发现2015/2/21日的数据是异常的（数据大于5000）， 所以把该日期数据定义为空缺值，利用拉格朗日插值对2015/2/21， 2015/2/14的数据进行插补，结果是4275.255和4156.86， 这两天使周末，而周末的销售额一般要大于周一到周五的值，所以插值的结果比较符合实际情况。将数据变换为均值为0，标准差为1的分布切记，并非一定是正态的。

DBSCAN是一种基于密度的考虑到噪音的空间聚类算法。简单来讲，给定一组点，DBSCAN将彼此距离（欧几里得距离）很近的点聚成一类，同时它还将低密度区域中的点标记为异常值（outlier）。某数据点指定的半径中点的数量即称为密度；如果指定半径(ε)内的数据点数量超过了规定的点数量(Minpts)，那么该点即称为核心点；如果某点的半径(ε)内的点数量少于规定的点数量(Minpts)，不能发展下线，但是却在核心点的邻域内，那么该点称为边界点；