爪蛙毁一生的博客

学习目标能够说出docker-compose是什么能够安装docker-compose能够说出使用docker-compose的基本三步骤了解docker-compose的基本语法能够使用docker-compose实现基础应用案例能够说出docker swarm是什么能够部署docker swarm集群掌握docker swarm的集群基础应用能够说出docker stack是什么能够使用docker stack实现基础应用案例Docker

学习目标能够说出docker容器和虚拟机的主要区别能够说出docker用到的内核技术能够安装docker掌握镜像的常见操作掌握镜像仓库的搭建与使用掌握常见的容器操作命令能够查找docker存储驱动能够说出写时复制技术的特点能够说出overlay2联合文件系统的特点能够使用docker跑httpd等基础应用能够使用dockerfile构建容器镜像能够通过link连接容器能够说出docker本地网络的 4 种类型能够通过flan

代码自动发布-docker一、分析旧：代码发布环境提前准备，以主机为颗粒度静态新：代码发布环境 多套，以容器为颗粒度编译二、业务发布逻辑设计图三、工具使用流程图工具gitgitlabjenkinstomcatmavenharbordocker流程图四、主机规划序号主机名主机IP主机功能软件1dev192.168.122.5开发者 项目代码solo git2

PaaS一、虚拟化分类虚拟化资源提供者硬件平台虚拟化操作系统虚拟化虚拟化实现方式Type I 半虚拟化Type II 硬件辅助全虚拟化Type III软件全虚拟化操作系统虚拟化回顾硬件平台虚拟化与操作系统虚拟化区别主机虚拟化与容器虚拟化的优缺点主机虚拟化应用程序运行环境强隔离虚拟机操作系统与底层操作系统无关化虚拟机内部操作不会影响到物理机拥有操作系统会占用部署资源及存储网络传输效率低

openstack手动分布式部署一、环境准备参考: https://docs.openstack.org/zh_CN/install-guide/1, 静态IP(NetworkManager服务可以关闭)2,主机名与绑定192.168.122.11 controller192.168.122.12 compute192.168.122.13 cinder3, 关闭防火墙和selinux4, 时间同步所有节点准备yum源# yum install yum-plugin-priorit

OpenStack自动部署学习目标能够了解OpenStack是什么能够掌握OpenStack核心组件能够掌握OpenStack组件项目及其功能能够掌握OpenStack自动部署方法能够掌握OpenStack基本应用OpenStack是什么OpenStack是由美国国家航空航天局(NASA)与Rackspace公司合作研发并发起的，以Apache许可证授权的自由软件和开放源代码的云计算技术解决方案，其是一个项目也是一个软件，主要用于实现云项目，以云项目操作系统而存在。

阿里云 ECS阿里云注册注册请找公司行政部门阿里云登录阿里云控制台介绍阿里云充值阿里云ECS列表中专用网络前置工作准备专用网络选择区域创建专有网络专用网络中网络设置专用网络中交换机设置确认专用网络是否创建阿里云ECS列表中安全组准备安全组进入安全组创建页面创建安全组确认安全组是否创建成功创建ECS实例进入ECS页面选择计费方式选择地域选择实例按需求选择选择存储选择网络选择公网带宽选择安全组选择

虚拟化技术（KVM）一、KVM网络虚拟化技术学习目标能够了解半虚拟化驱动工作原理能够下载半虚拟化驱动能够查看主机是否支持半虚拟化驱动能够安装半虚拟化驱动能够通过virt-manager为虚拟机添加网卡能够通过virsh命令为虚拟机添加网卡能够添加四种虚拟网络交换机1. 为什么使用半虚拟化驱动？虚拟化层完全模拟出来的网卡全虚拟化网卡环境中，一个完整的数据包从虚拟机到物理机网卡的路径是:通过驱动对操作系统进行了修改，即Virtio技术半虚拟化网卡环境

虚拟化技术（KVM）虚拟化一、虚拟化技术概述学习目标能够了解虚拟化技术分类方法能够了解虚拟化技术实现目的能够了解虚拟化产品有哪些能够了解QEMU功能能够掌握KVM功能能够掌握libvirt功能1.虚拟化技术即是对资源的抽象2.从资源提供角度分类2.1 平台虚拟化如果把X86平台的CPU，内存和外设做为资源，那对应的虚拟化技术就是平台虚拟化，在同一个X86平台上面，可以 虚拟多个X86平台，每个平台可以运行自己独立完整的操作系统。例如：QEMU,KVM,

大数据基础平台实施及运维一、完全分布式部署介绍学习目标能够了解完全分布式部署场景完全分部式是真正利用多台Linux主机来进行部署Hadoop，对Linux机器集群进行规划，使得Hadoop各个模块分别 部署在不同的多台机器上。二、NameNode HA+完全分布式部署学习目标能够了解HA+完成分布式部署场景能够对HA+完全分布式部署架构规划能够对HA+完全分布式部署进行配置预备知识1)什么是HA？HA的意思是High Availability高可用，指当当前工作中

大数据基础平台实施及运维一、大数据介绍学习目标能够了解为什么使用大数据技术能够了解大数据指的是什么1. 为什么使用大数据技术？数据量越来越大数据分析的实时性越来越强数据结果的应用越来越广泛结论：我们需要使用大数据技术2. 大数据的定义大数据是收集、整理、处理大容量数据集，并从中获得结果的技术总称。二、大数据应用领域学习目标能够了解大数据应用在哪些领域广告广告投放广告策略电信深度包检测流失分析网络质量

入侵检测本地检测方法云平台的检测方法查看系统日志查看安全相关日志ssh远程登录失败日志[root@instructor ~]# grep -i Failed /var/log/secureMay 20 12 :15:35 instructor sshd[12070]: Failed password for root from 192.168.1.12 port 50720 ssh2May 20 12 :15:48 instructor sshd[12086]: Failed

jumpserverJumpServer 是全球首款开源的堡垒机，使用 GNU GPL v2.0 开源协议，是符合 4A 规范的运维安全审计系统。JumpServer 使用 Python / Django 为主进行开发，遵循 Web 2.0 规范，配备了业界领先的 Web Terminal 方案，交互界面美观、用户体验好。JumpServer 采纳分布式架构，支持多机房跨区域部署，支持横向扩展，无资产数量及并发限制。特色优势开源：零门槛，线上快速获取和安装；分布式：轻松支持大规模并发访问；无

服务安全服务安全概述SELinux数据加密常用服务安全SELinux访问控制分类DACDiscretionary Access Control,自主访问被控制，依据进程的所有者与文件资源的rwx权限来决定有无访问权限。缺点：如果某个进程以root身份运行，可能被恶意目的用户可以取得进程来获得文件的访问权限总结：DAC针对控制的主体是用户MACMandatory Access Control,强制访问控制，依据策略规则决定进程可以访问哪些文件优点：即使是root

防火墙(Firewall) 防火墙作用在计算机领域，防火墙是用于保护信息安全的设备，其会依照用户定义的规则，允许或限制数据的传输。用于保护内网安全的一种设备依据规则进行防护用户定义规则允许或拒绝外部用户访问防火墙分类逻辑上划分，防火墙可以大体分为主机防火墙和网络防火墙主机防火墙：针对于单个主机进行防护网络防火墙：针对网络进行防护，处于网络边缘，防火墙背后是本地局域网网络防火墙主外(服务集体)，主机防火墙主内(服务个人)物理上划分，防火墙可分为硬件防火

系统安全系统权限一、安装系统1. 选择稳定版操作系统2. 最小化安装3. 不要安装gcc,make4. 安装完系统后更新系统 [root@localhost ~]# yum -y update二、文件(目录)权限1. 基本权限 rwx对于目录，默认权限=777-umask对于文件，默认权限=666-umask(文件默认无执行权限)修改umask[root@localhost ~]# vim /etc/bashrc71 umask 002 #普通用户72 els

学习目标 知道jenkins应用场景 能够安装部署jenkins服务器 能够实现git+github+jenkins手动构建 能够实现git+gitlab+jenkins自动发布系统认识jenkins​ Jenkins是一个可扩展的持续集成引擎，是一个开源软件项目，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。Jenkins非常易于安装和配置，简单易用。官网：https://jenkins.io/jenkins应用场景场景1:研发人员上传开

学习目标 能够使用GitHub创建远程仓库并使用 能够安装部署GitLab服务器 能够使用GitLab创建仓库并使用 掌握CI/CD的概念 掌握蓝绿部署, 滚动更新,灰度发布的概念GitHub是目前最火的开源项目代码托管平台。它是基于web的Git仓库，提供公有仓库和私有仓库，但私有仓库是需要付费的。GitLab可以创建免费的私有仓库。GitLab是利用 Ruby开发的一个开源的版本管理系统，实现一个自托管的Git项目仓库，可通过Web界面进行访问公开的或者私人项目。

任务背景公司的集群架构已越来越robust(健壮), 但应用服务器上的代码升级和新产品的发布效率不高，甚至有代码发布到生产服务器后BUG太多，客户反应强烈的情况出现。公司的产品项目从需求分析,设计,研发,代码测试到发布上线的流程有问题，开发者开发的代码提交后有BUG没有反馈，运维也没有在测试环境下做有效地压力测试, 都是导致问题的原因。所以我们需要运用devops(开发与运维工作流有效结合)思路，通过CICD(持续集成持续交付)来实现自动化的集成与交付工作。任务要求1, 使用git提交代码到仓库

学习目标 能够部署kibana并连接elasticsearch集群 能够通过kibana查看elasticsearch索引信息 知道用filebeat收集日志相对于logstash的优点 能够安装filebeat 能够使用filebeat收集日志并传输给logstashkibanakibana介绍Kibana是一个开源的可视化平台,可以为ElasticSearch集群的管理提供友好的Web界面,帮助汇总,分析和搜索重要的日志数据。文档路径: https://www.

任务背景运维人员需要对系统和业务日志进行精准把控，便于分析系统和业务状态。日志分布在不同的服务器上，传统的使用传统的方法依次登录每台服务器查看日志，既繁琐又效率低下。所以我们需要**集中化的日志管理工具将位于不同服务器上的日志收集到一起, 然后进行分析,展示**。前面我们学习过rsyslog,它就可以实现集中化的日志管理，可是rsyslog集中后的日志实现统计与检索又成了一个问题。使用wc, grep, awk等相关命令可以实现统计与检索，但如果要求更高的场景，这些命令也会力不从心。所以我们需要一套专业

今日学习目标: 能够安装prometheus服务器 能够通过安装node_exporter监控远程linux 能够通过安装mysqld_exporter监控远程mysql数据库 能够安装grafana 能够在grafana添加prometheus数据源 能够在grafana添加监控cpu负载的图形 能够在grafana图形显示mysql监控数据 能够通过grafana+onealert实现报警普罗米修斯Prometheus(由go语言(golang)开

学习目标: 能够实现一个web页面的监测 能够实现自动发现远程linux主机 能够通过动作在发现主机后自动添加主机并链接模板 能够创建一个模版并添加相应的元素(监控项,图形,触发器等) 能够将主机或模板的配置实现导出和导入 能够实现至少一种报警方式(邮件,微信等) 能够通过zabbix_proxy来实现监控web监测web监测：类似一个监控项,可以对一个url页面进行监测（监测它的状态码,页面匹配的字符串,响应时间,下载速度等）web监测可以创建一个场景,

任务背景公司的服务器里经常会有CPU很繁忙, 内存不够, 磁盘空间快满了, 网络很卡, 客户端连接不上等各种问题。我们运维工程师不能总是盯着服务器去查看，那样的话就太繁琐了, 而且很可能发现问题不及时。所以我们需要建立一套完善的监控系统，将所有需要监控的服务器及其各种需要的状态数据都实时地收集, 并图形化的展示，并可以进行报警, 让机器主动及时地与人沟通。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-C6fDgovA-1629277149692)(图片/监控架构图.png

任务背景公司的服务器越来越多, 维护一些简单的事情都会变得很繁琐。用shell脚本来管理少量服务器效率还行, 服务器多了之后, shell脚本无法实现高效率运维。这种情况下，我们需要引入**自动化运维**工具, 对多台服务器实现高效运维。任务要求通过管理服务器能够按照需求灵活高效地管理所有应用服务器的运维操作任务拆解1, 需要一台服务器做管理端, 来连接管理所有的应用服务器2, 考虑如果只针对一部分应用服务器进行运维操作如何实现(服务器分组)3, 学会将平台烂熟于心的linux操作命令

任务背景虽然使用了分布式的glusterfs存储, 但是对于爆炸式的数据增长仍然感觉力不从心。对于大数据与云计算等技术的成熟, 存储也需要跟上步伐. 所以这次我们选用对象存储.任务要求1, 搭建ceph集群2, 实现对象存储的应用任务拆解1, 了解ceph2, 搭建ceph集群3, 了解rados原生数据存取4, 实现ceph文件存储5, 实现ceph块存储6, 实现ceph对象存储学习目标 能够成功部署ceph集群 能够使用ceph共享文件存储,块存储与对象存储 能够说出对

任务背景实现了远程的存储共享(NAS或SAN)后, 公司业务发展迅速, 存储空间还需要增大。使用NAS或SAN都不方便扩容，NAS可以增加新的挂载目录, SAN可以增加新的硬盘，但我们希望直接在原来挂载的业务目录上实现在线扩容，数据体量越来越大, 这个时候我们就可以考虑使用**分布式存储**了。任务要求1, 将远程多台服务器的空闲存储空间整合,组合成一个大存储给应用服务器(如apache,nginx,tomcat,mysql等)使用2, 考虑高可用与负载均衡原则，并能实现在线扩容任务拆解1,

任务背景​ 随着某些业务数据的增大, 公司服务器硬盘空闲空间越来越小, 服务器上也无法再拓展硬盘, 所以我们考虑使用网络存储方式远程共享存储给服务器使用。任务要求实现存储通过远程共享给应用服务器使用任务拆解1, 需要知道存储有哪些方式可以通过网络共享给服务器使用,如何选择合理的方式2, 需要知道存储共享给服务器后是一种什么形式,是一个目录呢, 还是一个块设备3, 使用什么样的软件来实现4, 配置实现学习目标 能够区分DAS,NAS,SAN三种存储分类 能够区分文件存储类

Tomcat学习目标和内容1、能够描述Tomcat的使用场景2、能够简单描述Tomcat的工作原理3、能够实现部署安装Tomcat4、能够实现配置Tomcat的service服务和自启动5、能够实现Tomcat的Host的配置6、能够实现Nginx反向代理Tomcat7、能够实现Nginx负载均衡到Tomcat一、Tomcat介绍1、简介Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apac

企业架构web服务器的文件及时同步学习目标和内容1、能够理解为何要服务器间文件同步2、能够简单描述实现文件同步的几种方式3、能够实现服务器文件实时同步的案例一、同步文件介绍1、服务器文件同步的必要性根据业务发展需求，业务网站架构已经发展到以上模式。实现了线上服务的提供，可以给用户提供稳定的整个的web服务。但是，在最近的操作中，也发现了一些问题。①当业务代码发生改变上传到web服务器时，因为架构已经不是单台服务器提供服务器，而是由多台web服务器提供服务，业务代码需要同时上传到多台we

企业架构NOSQL数据库之MongoDB学习目标和内容1、能够简单描述MongoDB的使用特点2、能够安装配置启动MongoDB3、能够使用命令行客户端简单操作MongoDB4、能够实现基本的数据操作5、能够实现MongoDB基本安全设置6、能够操作安装php的MongoDB扩展一、背景描述及其方案设计1、业务背景描述时间：2017.6.-2017.9发布产品类型：互联网动态站点 商城⽤户数量： 10000-12000（⽤户量猛增）PV ： 1000000-5000000（2

企业架构队列缓存中间件分布式Redis学习目标和内容1、能够描述Redis作用及其业务适用场景2、能够安装配置启动Redis3、能够使用命令行客户端简单操作Redis4、能够实现操作基本数据类型5、能够理解描述Redis数据持久化机制6、能够操作安装php的Redis扩展7、能够操作实现Redis主从模式一、背景描述及其方案设计1、业务背景描述时间：2016.9.-2017.6发布产品类型：互联⽹动态站点 商城⽤户数量： 10000-12000（⽤户量猛增）PV ： 100

企业架构缓存中间件分布式memcached学习目标和内容1、能够理解描述网站业务访问流程2、能够理解网站业务的优化方向3、能够描述内存缓存软件Memcached的作用4、能够通过命令行操作Memcached5、能够操作安装php的memcached扩展 extension6、能够实现session存储到memcached的案例7、能够实现启动memcached多实例一、大型网站优化1、网站访问流程随着网站迭代开发，访问会变慢LNMP架构中网站应用访问流程浏览器（app）=&g

企业架构MySQL读写分离学习目标和内容1、能够理解读写分离的目的2、能够描述读写分离的常见实现方式3、能够通过项目框架配置文件实现读写分离4、能够通过中间件实现读写分离一、背景描述及其方案设计1、业务背景描述时间：2014.6.-2015.9发布产品类型：互联网动态站点 商城用户数量： 10000-12000（用户量猛增）PV ： 100000-500000（24小时访问次数总和）QPS： 50-100*（每秒访问次数）DAU： 2000（每日活跃⽤户数）​

企业架构LB-服务器的负载均衡之LVS实现学习目标和内容1、能够了解LVS的基本工作方式2、能够安装配置LVS实现负载均衡3、能够了解LVS-NAT的配置方式4、能够了解LVS-DR的配置方式#一、LVS介绍和安装​ LVS（Linux Virtual Server）即Linux虚拟服务器，是由章文嵩博士主导的开源负载均衡项目，目前LVS已经被集成到Linux内核模块中。该项目==在Linux内核中实现了基于IP的数据请求负载均衡调度方案==。​ LVS的IPVS模块在L

企业架构LNMP高可用负载均衡服务器之Nginx学习目标和内容1、能够描述负载均衡的作用2、能够了解负载均衡常见实现方式3、能够使用Nginx实现负载均衡4、能够描述Nginx的常见负载均衡算法一、背景描述及其方案设计1、业务背景描述时间：2011.6.-2013.9发布产品类型：互联网动态站点 商城⽤户数量： 4000-8000（用户量猛增）PV ： 16000-100000（24⼩时访问次数总和）QPS： 50-100*（每秒访问次数）DAU： 400-800（每日活跃用

企业架构双点服务器HA学习目标和内容1、能够描述高可用HA的作用2、能够理解VIP的切换3、能够描述keepalived作用4、能够理解主master和备backup服务器关系5、能够实现主备服务器高可用配置6、能够实现模拟业务宕机服务切换一、背景描述及其方案设计1、业务背景描述时间：2009.6-2010.9发布产品类型：互联网动态站点 商城⽤户数量： 2000-4000（⽤户量猛增 翻了4倍）PV ： 8000-50000（24⼩时访问次数总和）QPS： 50-100*

企业级Nginx使用-day2学习目标和内容1、能够编译安装并使用第三方模块2、能够理解location语法的作用3、能够了解URL的rewrite重写规则4、能够理解防盗链原理和实现一、第三方模块使用​ Nginx官方没有的功能，开源开发者定制开发一些功能，把代码公布出来，可以通过编译加载第三方模块的方式，使用新的功能。第三方模块网址：https://www.nginx.com/resources/wiki/modules##1、编译安装第三方模块①上传第三方模块压缩包上传n

企业级Nginx使用学习目标和内容1、能够了解Nginx的信号参数2、能够进行平滑升级Nginx3、能够配置server虚拟机4、能够部署上线项目到LNMP架构中5、能够了解Nginx的常用官方模块6、能够了解日志相关使用一、重装和升级在实际业务场景中，需要使用软件新版本的功能、特性。就需要对原有软件进行升级或者重装操作。旧statble 稳定版 1.14stable 稳定版 1.16mainline 主线版本 最新的 1.171、信号参数Kill 命令 传输信

公司企业架构LNMP(单点服务器部署)学习目标和内容1、能够描述项目流程2、能够了解PV、QPS、DAU等参数3、能够实现服务器基本环境配置4、能够部署配置MySQL生产环境5、能够部署配置Nginx生产环境6、能够部署配置PHP生产环境7、能够理解PHP-FPM和Nginx关联关系8、能够配置Nginx关联到PHP-FPM一、运维十年演变发展史1、项目开发流程公司老板和产品经理根据市场调查，决定开发的一整套互联网产品互动社交+电商+用户论坛（BBS）产品决策（老板+产品+