王轩12-CSDN博客

原创 Mybatis 多对一和一对多查询

文章目录Mybatis 多对一 and 一对多查询详解数据库需求Mybatis代码注意Mybatis 多对一 and 一对多查询详解数据库员工表 t_emp部门表 t_deptCREATE TABLE `t_emp` ( `emp_id` int NOT NULL AUTO_INCREMENT, `emp_name` varchar(25) CHARACTER SET utf8 COLLATE utf8_general_ci DEFAULT NULL, `age` int DEF

2023-10-31 00:06:58 626 2

原创代码案例：在shell脚本中切换用户之后再执行多个函数以及执行多行命令

这是因为whoami命令是根据当前进程的有效用户ID来确定当前用户的身份的，而在切换用户后，当前进程的有效用户ID并没有改变，仍然是切换前的用户ID。其中，-表示使用当前用户的环境变量，-c表示执行后面的命令，username表示需要切换到的用户。会再一次执行该脚本，所以会输出 ******************************为啥会输出******************************这个呢？也就是运行该行代码时，t4.sh脚本就会再次运行一次。运行时，因为脚本中的判断条件，

2023-05-08 22:43:37 1545

原创在shell脚本中切换用户之后再执行多个函数以及执行多行命令的方法和遇到的问题

这是因为whoami命令是根据当前进程的有效用户ID来确定当前用户的身份的，而在切换用户后，当前进程的有效用户ID并没有改变，仍然是切换前的用户ID。其中，username为需要切换到的用户，/path/to/script.sh为脚本文件的路径，functionName为需要执行的函数名，parameter1和parameter2为函数需要传递的参数。如果需要执行多个命令，可以使用expect的send命令来发送命令，并使用expect的expect命令来等待命令执行完成。

2023-05-08 22:12:28 7654

原创 ssh登录远程主机，让远程主机执行脚本文件，并传参

在上面的命令中，使用echo命令将参数"param1"和"param2"传递给ssh2.sh脚本，然后使用ssh命令将脚本传输到远程服务器hadoop102并执行。可以在命令行中使用管道符号和echo命令将参数传递给ssh2.sh脚本，然后使用ssh命令将脚本传输到远程服务器并执行。总之，通过使用管道符号和echo命令将参数传递给脚本，并在脚本中使用$1、$2等变量来获取参数，可以实现在执行远程脚本时传递参数的功能。在ssh2.sh脚本中使用$1、$2、$3等变量来获取传入的参数。

2023-05-07 14:36:14 3282

原创 shell脚本中有多个函数，如何在执行该脚本时，传参给指定的函数

在执行shell脚本时，可以通过在命令行中传递参数来指定要执行的函数。具体的实现方式是，在脚本中定义多个函数，并在脚本的开头使用$1等变量来获取命令行中传递的参数，然后根据参数的值来调用相应的函数。在脚本的开头，使用$1变量来获取命令行中传递的第一个参数，然后使用if语句来判断参数的值，并根据参数的值来调用相应的函数。如果要执行func2函数，可以将命令行中的参数改为"func2"即可。总之，通过在脚本中定义多个函数，并根据命令行中传递的参数来调用相应的函数，可以实现在执行脚本时指定要执行的函数的功能。

2023-05-07 14:26:53 1238

原创在Shell脚本中通过ssh从脚本运行函数

因此，为了能够在远程机器上运行脚本中的函数，需要将函数定义先传输到远程机器上，然后再调用这些函数。当你执行这个命令时，它会将本地的 hello_world 函数定义作为字符串传输到远程主机，并在远程主机上执行该函数。cat将以文本形式接收该函数的定义，而$()将在当前shell中执行它，而该shell将成为远程shell中的已定义函数。这个方法就是相当于ssh登录远程主机后，向远程主机发送myFile脚本，然后执行脚本，执行脚本中的f函数，执行完毕后rm删除myFile脚本。否则，您的建议将是最好的。

2023-05-06 10:16:19 3395

原创 shell脚本在linux重启之后继续运行

shell脚本在linux重启之后继续运行问题可以创建一个标识文件，判断该标识文件不存在则先创建标识文件再执行重启命令若该文件存在则继续执行下面的代码并且配合linux的自启动服务来完成当然也可以不创建自启动服务，连续运行两次脚本也可以也就是在未重启之前运行一次脚本，liunx会重启，重启之后，在运行一次脚本，就会执行重启之后的命令。

2023-05-02 18:18:06 3174

原创 VMware下centos7开机登陆页面死循环问题解决

进入到如下页面，找到 rghgb quiet，后面加上single，然后按下ctr+x继续执行。如果没有找到rghgb quiet，就按方向键的向下箭头，向下翻页，因为在脚本中没有给重启做判断，运行脚本后就会一直重启。在VMware下centos7开机页面按e键，输入root密码，回车。会进入命令行界面，找到脚本代码修改即可。脚本中有reboot重启命令。并且给该脚本加上了开机自启动。

2023-05-02 18:16:39 2419

原创 java函数式接口Consumer接口类中andThen方法详解

【代码】java函数式接口Consumer接口类中andThen方法详解。

2023-03-10 20:03:54 1961 1

原创 Matplotlib画图

import matplotlib.pyplot as pltfig = plt.figure()ax1=fig.add_subplot(2,2,1)ax1.plot([1.5,2,3.5,-1,1.6])import matplotlib.pyplot as pltfig = plt.figure()ax1=fig.add_subplot(2,3,1)ax2=fig.add_subplot(2,2,2)ax3=fig.add_subplot(2,2,3)ax1.plot([1.5

2021-06-07 07:53:27 2226

原创 pyspark and py MapReduce的错误记录

文章目录使用Python语言写Hadoop MapReduce程序注意在上面的参考博客中，运行时的命令行改为：如下遇到的错误错误1：shell脚本中执行时提示“没有那个文件或目录”的解决办法错误2：程序运行时报错就是运行到mapper 0% reducer 0%的时候报错centos上安装Python3.6.5pyspark的安装及使用CentOS安装Python3.6环境和pip3使用pyspark一些环境配置问题CentOS7安装Jupyterpycharm 上使用Jupyterjava.net.Un

2021-06-05 21:05:07 403

原创 centos安装Python3.5

文章目录centos安装Python3.5安装python3.5可能使用的依赖到python官网找到下载路径, 用wget下载删除旧版本的python依赖centos安装Python3.5安装python3.5可能使用的依赖yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel到python官网找到下载路径, 用wget下载wget https://www.python.or

2021-05-31 16:48:00 585

原创 echarts线性回归图+mysql+sqlalchemy的多表连接+子查询

文章目录echarts线性回归+聚类+直方echarts线性回归sqlalchemy总结sqlalchemy多表连接查询sqlalchemy查询日期格式的数据sqlalchemy中 extract() 函数sql中的extract()函数mysql中的时间处理函数echarts线性回归+聚类+直方echarts线性回归<!DOCTYPE html><html><head> <meta charset='utf-8'> <

2021-05-13 11:13:41 1706 2

原创 pytorch的下载及安装

文章目录pytorch的下载即安装pytorch的下载即安装利用conda安装pytorch保姆级教程+安装缓慢（超时Timeout导致安装失败）的解决办法

2021-04-24 10:45:41 3878

原创 scrapy中多个spider文件和多个items.py以及多个管道文件之间的对应

文章目录scrapy中多个spider文件和多个items.py以及多个管道文件之间的对应scrapy中多个spider文件和多个items.py以及多个管道文件之间的对应

2021-04-21 10:15:30 2723 3

原创 Python操作HDFS

文章目录Python操作HDFSPython操作HDFSpython读取hdfs数据使用Python操作Hadoop，Python-MapReducepython操作hdfs使用python的hdfs包操作HDFS# 连接hadoop# 通过http协议连接hadoop的datanode节点,默认端口50070from hdfs.client import Clientclient = Client("http://192.168.126.131:50070/")# list()会

2021-04-03 18:35:08 1326

原创 python操作Hbase

文章目录python操作Hbase1.需要安装thriftThrift是什么？能做什么？下载thrift操作Hbase在Hbase中开启thrift服务python操作Hbasepython操作Hbase1.需要安装thriftThrift是什么？能做什么？Thrift是Facebook于2007年开发的跨语言的rpc服框架，提供多语言的编译功能，并提供多种服务器工作模式；用户通过Thrift的IDL（接口定义语言）来描述接口函数及数据类型，然后通过Thrift的编译环境生成各种语言类型的接口文

2021-04-03 11:28:56 2292

原创 1.python机器学习

文章目录机器学习什么是机器学习机器学习工作流程数据集简介数据处理特征工程什么是特征工程为什么需要特征工程所包含的内容机器学习算法分类监督学习无监督学习有监督，无监督算法对比半监督学习强化学习机器学习什么是机器学习机器学习是从数据中自动分析获得模型，并利用模型对位置数据进行预测机器学习工作流程1.获取数据2.数据基本处理3.特征工程4.机器学习（模型训练）5.模型评估数据集简介数据处理对数据进行缺失值，去除异常值等处理特征工程什么是特征工程特种工程是使用专业背景知识和技巧

2021-03-25 19:54:05 221

原创 pandas

文章目录pandaspd.date_range()生成一组连续的时间序列DataFrame设置索引重置索引以某列的值设置新的索引pandas索引loc 按照行列索引的名字iloc 索引的下标值ix 混合索引get_indexer()赋值操作排序DataFrame的排序series的排序算术运算逻辑运算符<,>,|，&逻辑运算函数统计函数累计统计函数求和自定义运算map()将DataFrame中所有的值或单独一列保留两位小数显示pandas 画图pd.read_csv()to_csv()缺

2021-03-25 19:51:10 799 1

原创虚拟化与云计算平台_VMware ESXi 6.7服务器安装配置+centos+ubuntu的最小化安装+vmwaretools的安装

文章目录虚拟化与云计算平台_VMware ESXi 6.7服务器安装配置+centos+ubuntu的最小化安装+vmwaretools的安装VMware ESXi 6.7服务器安装配置创建虚拟机centos的无界面安装Ubuntu的无界面安装安装vmware tools虚拟化与云计算平台_VMware ESXi 6.7服务器安装配置+centos+ubuntu的最小化安装+vmwaretools的安装VMware ESXi 6.7服务器安装配置这里可以参考一下这个博客：VMware虚拟机软件需要

2021-03-25 19:32:02 1582

原创 scrapy爬虫创建文件夹

scrapy爬虫创建文件遇到这样的目录时，需要按照对应的标题，创建不同的文件夹，将爬取的数据分门别类# -*- coding: utf-8 -*-# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.htmlimport os

2021-03-09 20:22:09 840

原创 selenium

文章目录seleniumselenium简介selenium的作用和工作原理安装和使用seleniumselenium简介selenium的作用和工作原理安装和使用pip install selenium安装driver1.获取浏览器版本

2021-03-05 18:07:43 4056

原创 scrapy

文章目录3.4 scrapy.Request的更多参数参数解释pipelines管道在settings配置文件中启用可以设置多个管道，数值越小，越先执行，值设置为1000以内import jsonclass MyspiderPipeline(object): def __init__(self): self.file = open('itcast.json','w') def process_item(self, item, spider): # 字典数据序列化

2021-03-05 18:07:15 1573

原创 scrapy常见问题

文章目录scrapy常见问题dont_filter:默认为False，会过滤请求的url地址，即请求过的url地址不会继续被请求scrapy如何使用多个items模型类scrapy常见问题dont_filter:默认为False，会过滤请求的url地址，即请求过的url地址不会继续被请求scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])dont_filter:默认为Fals

2021-03-05 18:06:35 507

原创安装及使用Manjaro Linux

文章目录安装及使用Manjaro Linux遇到的问题及如何配置修改Manjaro系统密码设置中文安装及使用Manjaro LinuxManjaro（KDE桌面环境）小白向完全安装教程（附Linux简要介绍）遇到的问题及如何配置修改Manjaro系统密码manjaro Linux如何重置管理员密码设置中文设置中文...

2021-03-05 18:03:22 968

原创反爬

根据爬取行为进行反爬通过js实现跳转来反爬通过蜜罐陷阱来获取爬虫ip或代理进行反爬蜜罐陷阱：例如在网页中加入一个陷阱url，在利用网页属性将其隐藏，此时我们是看不到有这个url的爬虫程序在爬取时会获取这个url，并发起请求，此时网站管理人员只需要检查哪些IP访问了这个url，就可以断定哪些是爬虫。通过假数据进行反爬阻塞任务队列例如网页生成大量的垃圾url，阻塞网络IO例如在网页中放入一个十几个G的蓝光电影运维平台综合统计基于数据加密进行反爬图片验证码...

2021-02-07 18:19:56 1564

原创 jsonpath语法规则

文章目录jsonpath安装 pip install jsonpath使用jsonpath安装 pip install jsonpath使用from jsonpath import jsonpathret = jsonpath(a,'jsonpath语法规则')最常用语法： $ 根节点（最外层大括号）. 子节点.. 内部任意位置，子孙节点from jsonpath import jsonpathdata={'key1':{'key2':{'key3':{'key4'

2021-02-03 21:30:47 605

原创 Flask补充1_distinct()去重_总结

Flask补充1+总结sqlalchemy文档# 向数据库中添加数据ed_user = User(name='ed', fullname='Ed Jones', nickname='edsnickname')session.add(ed_user)# 向数据库中添加多个数据session.add_all([... User(name='wendy', fullname='Wendy Williams', nickname='windy'),... User(name='

2020-12-20 18:18:52 2991

原创 scrapy插入数据库_pymysql_sqlalchemy

SQLAlchemy# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html# useful for handling different item types with a single interfacefrom it

2020-12-20 18:18:20 273

原创 echarts_series总结

echarts_series总结echarts官网实例<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>echarts</title> <script src="./static/echarts.min.js"></script></head><body> &l

2020-12-20 18:17:45 31441 1

原创分区查询 PARTITION BY

分区查询 PARTITION BY最近遇到一个关于分区查询的问题，如下：4）为了展示季节与服装颜色的关系，请统计每个季节数量最多的5种颜色，并使用堆叠条形图展示每个季节最受欢迎的颜色。其中，横坐标表示颜色数量，纵坐标表示不同季节，颜色代表服装颜色。而数据表如下：在mysql中没有分区查询，也就是mysql不支持 over(PARTITION BY wei_pin_hui_1.ji_jie ORDER BY wei_pin_hui_1.yan_se),这个分区查询是Oracle数据库中的，所以m

2020-12-20 18:16:46 2135

原创 sqlalchemy查询语句总结

sqlalchemy查询语句总结查询1.FLASK-SQLALCHEMY - 查询1.基于 db.session 进行查询 1.db.session.query() 该函数会返回一个Query对象，类型为 BaseQuery，包含了指定实体类对应的表中所有的数据该函数也可以接受多个参数，参数表示的是要查询哪个实体2.查询执行函数目的：在查询的基础上得到最终想要的结果语法：db.session.query(...).查询执行函数()也可以直接使用定义的类来查询：例：Us

2020-12-20 18:16:19 8223

原创 echarts学习_1_柱状+折线+堆叠+散点

柱状图相关配置<!DOCTYPE html> <head> <meta charset="UTF-8"> <title>Title</title> <script src="./static/echarts.min.js"></script></head><body><div id="main" style="width:600px;height:400px;

2020-12-06 19:24:46 789

原创 echarts地图散点图

<head> <meta charset="utf-8" /> <title>echarts中国地图数据</title> <script type="text/javascript" src="../static/echarts.min.js" ></script> <script type="text/javascript" src="../static/chin.

2020-12-06 19:15:43 2402

原创 pymysql读取数据库

from pymysql import *conn=connect(host='127.0.0.1',user='root',passwd='root',db='recruit',charset="utf8")cursors=conn.cursor()fb=open('job.csv','r',encoding='utf-8')data=fb.readlines()print(data)for i in data[1:]: a=i.replace("\n","").split(

2020-11-29 14:25:00 774

原创 python读取csv文件

读取csv文件并保存到数据库Python读取csv文件时编码报错问题from pymysql import *conn=connect(host='127.0.0.1',user='root',passwd='root',db='recruit',charset="utf8")cursors=conn.cursor()fb=open('job.csv','r',encoding='utf-8')data=fb.readlines()print(data)for i in data[

2020-11-29 14:17:53 871

原创 echarts省份热力地图

echarts省份热力地图https://blog.csdn.net/m0_37723113/article/details/81282205https://blog.csdn.net/liangayang/article/details/83311433https://echarts.apache.org/examples/zh/editor.html?c=heatmap-maphttps://www.w3cschool.cn/echarts_tutorial/echarts_tutorial-6

2020-11-16 14:19:11 1326

原创 scrapy.Request和scrapy.FormRequest

scrapy.Request和scrapy.FormRequestscrapy爬虫注意点（1）—— scrapy.FormRequest中formdata参数–记一次严重的错误：在爬取艺龙网站的酒店信息时，遇到需要向服务器发送post请求的，用scrapy.Request怎么也请求不出来，但是requests模块就可以请求出来。解决办法是：我把 scrapy.Request 换成了 scrapy.FormRequest 就可以请求出来数据了，yield scrapy.FormRequest(

2020-11-14 16:13:32 992

原创 scrapy.Request请求地址返回400,但是用单独request模块请求同样的url返回正常

scrapy.Request请求地址返回400,但是用单独request模块请求同样的url返回正常出现的错误是：4002020-11-12 11:13:22 [scrapy.core.engine] DEBUG: Crawled (400) <POST http://hotel.elong.com/ajax/tmapilist/asyncsearch> (referer: http://hotel.elong.com/search/list_cn_0101.html)2020-11-12

2020-11-12 11:35:39 1934 3

原创 echarts学习1

echarts官网：https://echarts.apache.org/zh/index.html <html> <head> <title>echarts</title> <script src="echarts.min.js"></script> </head> <body> <div id="main" style="width:600px; height:400

2020-10-28 20:21:05 293

空空如也

空空如也