大数据32001-欧阳婷婷-CSDN博客

原创 Python画图表[折线图、散点图、柱形图、饼图]

首要！！！下包:这里已pycharm软件为列按照指示点击：1.File2.Settings3.Project:scrapy4.Project Interpreter5.+6.Manage Repositories7.删除原有的一个...

2022-05-08 23:56:36 3794

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.junit.Before;import org.junit.Test;import java.net.URI;public class Java_HDFS { //定义文件系统，类变量 FileSystem fs=null; //预处理,定义在@Test之前 @Before.

2022-05-01 21:30:42 2056

原创数据库之索引优化

#使用库USE test;#创建表CREATE TABLE IF NOT EXISTS t( id INT, #索引字段尽量设置成不为空，null可以用其他符号代替 #int类型的话可以用0，-1等代替 #String类型的话可以用“”代替 #设置默认值为0 num INT DEFAULT 0);#创建索引CREATE INDEX ix_num ON t(num);#未使用索引SELECT id FROM t WHERE num IS ...

2022-05-01 21:26:42 806

原创 Python读取csv文件

#导入pandas包并设置别名为pdimport pandas as pd#读取csv格式文件并把格式设置为DataFrame格式#值1是路径可以用绝对路径(cd盘内读取)也可以用相对路径(此项目内读取)，这里用的是相对路径。#作用:把乱码格式读取出来df=pd.read_csv("nba.csv",encoding="GBK")print(df)#将DataFrame保存为csv编码格式为utf-#作用:修改乱码格式后又存起来#值1是设置名称(加后缀)df.to_csv("nb.

2022-05-01 21:22:07 950

原创 Python数组

#导入numpy包import numpy as np#变形#定义一个数组长度为8(0-7)a=np.arange(8)#从1行8列变形为2行4列(升级为2为数组)print(a.reshape(2,4))print("-"*80)#迭代#定义一个数组长度为9(0-8),#并设置格式为3行3列a=np.arange(9).reshape(3,3)#不迭代,遍历(分别输出每行)for i in a: print(i)print("-"*80)#迭代(分别输出每个..

2022-04-24 22:36:35 1174

原创数据库之索引优化

#使用库USE HBase;#创建计数表CREATE TABLE IF NOT EXISTS cnt(id INT);#创建存储过程(用来给计数表插入数据)DELIMITER $#创建存储过程并设置名字为cntCREATE PROCEDURE cnt()BEGIN#定义一个循环变量(方法)(i 类型为int 默认值为0)DECLARE i INT DEFAULT 0;#从1到9999WHILE(i<10000) DO BEGIN #获取i...

2022-04-24 22:35:38 148

原创处理Java连接不上hdfs

1.删除tmp2.修改配置修改namenode的地址为具体IP(之前写的localhost)修改slaves文件,为具体IP3.格式化hdfshadoop namenode –format4.启动HDFSstart-dfs.sh

2022-04-24 22:34:15 1860

原创 Linux自有服务

一.chkconfig作用：相当于windows下“安全卫士”、“电脑管家”之类的安全辅助工具提供“开机启动项”的一个管理服务。在linux下不是所有的软件安装完成之后都有开机启动服务，有的可能需要自己去添加。除此之外还可以查看和删除。①开机启动服务查询#chkconfig--list其中0-6表示各个启动级别例如：以httpd为例，其3级别为关闭（off），则表示其在3启动形式下默认开机不启动5对应的也是关闭，则表示其在桌面环境下也是开机不启动。再例如：kdump服务，

2022-04-11 22:33:12 508

原创数据库，视图

#使用库USE HBase;#创建作者表CREATE TABLE IF NOT EXISTS author( id INT NOT NULL AUTO_INCREMENT, author_name VARCHAR(50) DEFAULT NULL, PRIMARY KEY(id));#插入作者表数据INSERT INTO author(author_name)VALUES('naamman'), ('lucy'), ('lily'), ('jac...

2022-04-11 22:27:27 374

原创网络爬虫，xpath解析

#导入xlml包下的etree类from lxml import etree#随意定义一段html代码块wb_data=""" <div> <ul> <li><a href="//a.4399.cn/game-id-195566.html">aaa</a></li> <li><a href="//a.4399.cn/game-id-150.

2022-04-11 22:26:36 100

原创 Shell基础

一、关于shel1、什么是shell什么是shell？Shell（外壳）是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言，又是一种程序设计语言。Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。2、什么是脚本？脚本简单地说就是一条条的文字命令，这些文字命令是可以看到的（如可以用记事本打开查看、编辑）。常见的脚本：JavaScript（JS，前端），VBScript，AS...

2022-03-27 22:59:31 95

原创数据库中的约束类型

MySQL 约束类型约束是一种限制，它通过对表的行或列的数据做出限制，来确保表的数据的完整性、唯一性。MYSQL中，常用的几种约束：1、主键约束primary key主键约束相当于唯一约束+非空约束的组合，主键约束列不允许重复，也不允许出现空值。每个表最多只允许一个主键，建立主键约束可以在列级别创建，也可以在表级别创建。当创建主键的约束时，系统默认会在所在的列和列组合上建立对应的唯一索引。2、外键约束foreign key外键约束是保证一个或两个表之间的参照完整性，外键是构建于一

2022-03-27 22:52:40 4131