- 博客(12)
- 收藏
- 关注
RSS订阅原创 spark性能优化（一）
本文内容说明 初始化配置给rdd和dataframe带来的影响 repartition的相关说明 cache&persist的相关说明 性能优化的说明建议以及实例 配置说明 spark：2.4.0 服务器：5台（8核32G）初始化配置项 %%init_spark launcher.master = "yarn" launcher.conf.spark.app.name = "BDP-xw" launcher.conf.spark.driver.cores
2021-10-17 19:52:01
248
原创 git实战-linux定时监控github更新状态（二）
系列文章 git介绍-常用操作（一）✓git实战-linux定时监控github更新状态（二）✓ 本文主要内容 如何查看github的本地仓库和远程仓库的同步情况 linux服务器定时监控github更新情况并自动发送邮件到qq邮箱 配置文件要求 centos：7.6.1810 mailx：12.5 sendmail：8.14.7监控你的github status 查看本地仓库同步情况 git status查看结果即可，其中结果有未缓存、未提交、已提交干净的工作区啦 查
2021-09-21 17:10:21
769
原创 git介绍-常用操作（一）
Table of Contents 1 系列文章2 git说明3 git常用命令3.1 基本操作3.2 远程操作4 查看git的配置4.1 查看已配置项4.2 其他配置5 git中分支的说明6 git tag的用法7 git status验证时ignore部分文件8&n
2021-09-20 18:21:48
337
原创 spark相关介绍-提取hive表（一）
本文环境说明 centos服务器 jupyter的scala核spylon-kernel spark-2.4.0 scala-2.11.12 hadoop-2.6.0 本文主要内容 spark读取hive表的数据，主要包括直接sql读取hive表；通过hdfs文件读取hive表，以及hive分区表的读取。 通过jupyter上的cell来初始化sparksession。 文末还有通过spark提取hdfs文件的完整示例 jupyter配置文件 我们可以在jupyter的cell框里面，对spark的s
2021-09-19 10:49:25
1366
原创 docker&flask快速构建服务接口(二)
系列其他内容 1. [docker快速创建轻量级的可移植的容器](url)✓ 2. docker&flask快速构建服务接口✓ 3. docker&uwsgi高性能WSGI服务器生产部署必备 3. docker&gunicorn高性能WSGI服务器生产部署必备 4. docker&nginx&gunicorn实现负载均衡 5. docker&ngxtop并实时解析nginx日志 6. do.
2021-09-12 23:56:07
248
原创 markdown的骚气操作（一）
markdown 系列其他内容 markdown的骚气操作（一）✓ latex的骚气操作（二） 本文目标 主要介绍markdown锚点、索引脚注、对勾及选择框、表格显示位置和符号显示位置、绘制流程图 一些常用的markdown命令 锚点 主目录方式设置锚点： 返回主目录：[上级标题](#markdown)→上级标题 文中设置锚点： 设置锚点：<b id="锚点测试1">设置锚点1</b>→设置锚点1 引用锚点：[锚点测试1](#锚
2021-09-12 00:26:52
346
原创 docker快速创建轻量级的可移植的容器（一）
系列其他内容 docker快速创建轻量级的可移植的容器✓ docker&flask快速构建服务接口 docker&uwsgi高性能WSGI服务器生产部署必备 docker&gunicorn高性能WSGI服务器生产部署必备 docker&nginx&gunicorn实现负载均衡 docker&ngxtop并实时解析nginx日志 docker&supervisor监控你的服务 docker&pyinstaller两步法构建小体.
2021-09-11 10:25:17
477
原创 关键词提取-TFIDF（一）
系列文章 ✓ 词向量✗Adam,sgd✗ 梯度消失和梯度爆炸✗初始化的方法✗ 过拟合&欠拟合✗ 评价&损失函数的说明✗ 深度学习模型及常用任务说明✗RNN的时间复杂度✗neo4j图数据库 分词、词向量 TfidfVectorizer 基本介绍 TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数..
2021-08-28 19:01:09
3917
原创 提取网页的markdown表格利器
在线Markdown表格转换器 markdown表格转换器，蛮好用的。偶然发现的开源工具，推荐一波。 这是目标链接:https://docs.locust.io/en/stable/configuration.html 这是待提取table项 尝试1，直接通过html导入的功能 导入方法 import→URL→贴入复制的url→点击parse→往下拖动点击import data→把结果栏生成的结果copy到markdown 具体可见下面的GIF图嘞 得到结果如下 尝试2：通过源码导入 导入
2021-08-21 13:49:01
569
原创 picGo+github+jsDelivr+Snipaste构建图床
jupyter: jupytext: formats: ipynb,md text_representation: extension: .md format_name: markdown format_version: '1.2' jupytext_version: 1.4.2 kernelspec: display_name: Python 3 language: python name: .
2021-08-16 19:26:41
168
原创 洞悉你的服务器性能
查看服务器性能 查看核数 cat /proc/cpuinfo | grep "model name" | sort | uniq && cat /proc/cpuinfo | grep "physical id" | sort | uniq 查看物理cpu个数 cat /proc/cpuinfo |grep "physical id" |sort |uniq|wc -l 查看逻辑cpu个数 cat /proc/c
2021-08-15 17:30:55
97
原创 jupyter notebook使用python虚拟环境
jupyter指定环境启动 背景 系统环境中安装有jupyter及相关库，因项目需要，新建了一个torch相关的虚拟环境并安装了对应的内容， 此时，想通过系统中的jupyter启动一个可以应用虚拟环境相关包的服务。 查看当前服务相关信息 import os, sys print(sys.executable) # works this time print(sys.version) print(sys.version_info) 尝试1：只是在虚拟环境中启动jupyter source到虚
2021-08-15 12:51:59
613
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人