EPOLL反应堆和LT/ET模式

EPOLL学习EPOLL的一些杂谈

1.EPOLL反应堆
反应堆Reactor模式：他要求主线程只负责监听文件描述符上是否有事件发生，有的话就立刻通知工作线程。除此之外主线程不做其他任何实质上的操作。读写数据接收新的连接，以及处理客户请求均在工作线程完成。
使用同步I/O流程实现的Reactor：
1.主线程往epoll内核时间注册socket上的读就绪事件。
2.主线程调用epoll_wait等待socket上有数据可以读。
3.当socker上有数据可以读时，epoll_wait通知主线程。主线程将socket刻度时间放入请求队列。
4.睡眠在请求队列上的某一个工作线程被唤醒，他从socket读取数据，并处理客户请求队列，然后网epoll内核时间表中注册该socket上的写就绪事件。
5.主线程调用epoll_wait等待socket可写。
6.当socket可写时，epoll_wait通知主线程。主线程将socket可写事件放入请求队列。
7.睡眠在请求队列上的某一个工作线程被唤醒，他往socket上写入服务器处理客户请求的结果。

具体实现（单线程）；
EPOLL使用时会先使用epoll_create创建一个红黑树节点
之后再通过epoll_ctl将 struct epoll_event结构体对象上树
对于每一个struct epoll_event结构体对象，自定义epoll_data_t数据成员

struct epoll_event
{
	__unit32_t events;//epoll事件，支持的事件与poll相同，使用时在前面加个E即可如：EPOLLIN(可读)
	epoll_data_t data;//用户数据，联合体可以是void* 文件描述符以及各种，但只能是其中一个，以下代码使用的fd
};

typrdef union epoll_data
{
	void * ptr;
	int fd;
	unit32_t u32;
	unit64_t u64
}epoll_data_t;

自定义成员如下，让每个对象的event.data.ptr指向下面给出的结构体对象

struct myevent_s {
    int fd;                                                 //要监听的文件描述符
    int events;                                             //对应的监听事件
    void *arg;                                              //泛型参数
    void (*call_back)(int fd, int events, void *arg);       //回调函数
    int status;                                             //是否在监听:1->在红黑树上(监听), 0->不在(不监听)
    char buf[BUFLEN];
    int len;
    long last_active;                                       //记录每次加入红黑树 g_efd 的时间值
};

一旦上树，在事件表中，epoll_events就会记录下需要监听的文件描述符，需要监听的事件，和监听到事件所需要进行的回调函数的操作，以及其他的一些方便变成的数据数据成员。
这样就可以实现主线程只负责监听，而每一个监听到的事件的处理方法可以交给events.data.ptr中的回调函数来处理
再通过设置相关接口的函数与封装来完成这样一个反应堆的设计。
具体实现如下：

// epoll基于非阻塞I/O事件驱动
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/types.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <netinet/in.h>
#include <sys/epoll.h>
#include <fcntl.h>
#include <errno.h>
#include <time.h>
#include <ctype.h>
#include "wrap.h"

#define MAX_EVENTS  1024                                    //监听上限数
#define BUFLEN      4096

void recvdata(int fd, int events, void *arg);
void senddata(int fd, int events, void *arg);

/* 描述就绪文件描述符相关信息 */
struct myevent_s {
    int fd;                                                 //要监听的文件描述符
    int events;                                             //对应的监听事件
    void *arg;                                              //泛型参数
    void (*call_back)(int fd, int events, void *arg);       //回调函数
    int status;                                             //是否在监听:1->在红黑树上(监听), 0->不在(不监听)
    char buf[BUFLEN];
    int len;
    long last_active;                                       //记录每次加入红黑树 g_efd 的时间值
};

int g_efd;                                                  //全局变量, 保存epoll_create返回的文件描述符
int g_lfd;													//全局变量, 保存监听的文件描述符
struct myevent_s g_events[MAX_EVENTS+1];                    //自定义结构体类型数组. +1-->listen fd


/*将结构体 myevent_s 成员变量 初始化*/
void eventset(struct myevent_s *ev, int fd, void (*call_back)(int, int, void *), void *arg)
{
    ev->fd = fd;
    ev->call_back = call_back;
    ev->events = 0;
    ev->arg = arg;
    ev->status = 0;
    //memset(ev->buf, 0, sizeof(ev->buf));
    //ev->len = 0;
    ev->last_active = time(NULL);    //调用eventset函数的时间 unix时间戳

    return;
}

/* 向 epoll监听的红黑树 添加一个 文件描述符 */
void eventadd(int efd, int events, struct myevent_s *ev)
{
    struct epoll_event epv = {0, {0}};
    int op;
    epv.data.ptr = ev;
    epv.events = ev->events = events;       //EPOLLIN 或 EPOLLOUT

    if(ev->status == 1) 
	{                                          //已经在红黑树 g_efd 里
        op = EPOLL_CTL_MOD;                    //修改其属性
    } 
	else 
	{                                //不在红黑树里
        op = EPOLL_CTL_ADD;          //将其加入红黑树 g_efd, 并将status置1
        ev->status = 1;
    }

    if (epoll_ctl(efd, op, ev->fd, &epv) < 0)                       //实际添加/修改
	{
        printf("event add failed [fd=%d], events[%d]\n", ev->fd, events);
	}
    else
	{
        printf("event add OK [fd=%d], op=%d, events[%0X]\n", ev->fd, op, events);
	}

    return ;
}

/* 从epoll 监听的 红黑树中删除一个 文件描述符*/

void eventdel(int efd, struct myevent_s *ev)
{
    struct epoll_event epv = {0, {0}};

    if (ev->status != 1)                                        //不在红黑树上
        return ;

    epv.data.ptr = ev;
    ev->status = 0;                                             //修改状态
    epoll_ctl(efd, EPOLL_CTL_DEL, ev->fd, &epv);                //从红黑树 efd 上将 ev->fd 摘除

    return ;
}

/*  当有文件描述符就绪, epoll返回, 调用该函数 与客户端建立链接 */
// 回调函数 - 监听的文件描述符发送读事件时被调用
void acceptconn(int lfd, int events, void *arg)
{
    struct sockaddr_in cin;
    socklen_t len = sizeof(cin);
    int cfd, i;

    cfd = Accept(lfd, (struct sockaddr *)&cin, &len);

	//使用do while(0)的目的是为了避免使用goto语句
    do 
	{
        for (i = 0; i < MAX_EVENTS; i++)                                //从全局数组g_events中找一个空闲元素
		{
            if (g_events[i].status == 0)                                //类似于select中找值为-1的元素
			{
                break;  //找到第一个能用的                                                //跳出 for
			}
		}

        if (i == MAX_EVENTS) 
		{
            printf("%s: max connect limit[%d]\n", __func__, MAX_EVENTS);
            break;   //避免goto, 跳出do while(0) 不执行后续代码
        }

		//将cfd设置为非阻塞
        int flags = 0;
		flags = fcntl(cfd, F_GETFL, 0);
		flags |= O_NONBLOCK;
        if ((flags = fcntl(cfd, F_SETFL, flags)) < 0) 
		{
            printf("%s: fcntl nonblocking failed, %s\n", __func__, strerror(errno));
            break;//避免goto
        }

        /* 给cfd设置一个 myevent_s 结构体, 回调函数 设置为 recvdata */
        eventset(&g_events[i], cfd, recvdata, &g_events[i]);   

		//将cfd添加到红黑树g_efd中,监听读事件
        eventadd(g_efd, EPOLLIN, &g_events[i]); 

    }while(0);

    printf("new connect [%s:%d][time:%ld], pos[%d]\n", 
            inet_ntoa(cin.sin_addr), ntohs(cin.sin_port), g_events[i].last_active, i);
    return ;
}

// 回调函数 - 通信的文件描述符发生读事件时候被调用
void recvdata(int fd, int events, void *arg)
{
    int len;
    struct myevent_s *ev = (struct myevent_s *)arg;

	//读取客户端发来的数据
	memset(ev->buf, 0x00, sizeof(ev->buf));
    len = Read(fd, ev->buf, sizeof(ev->buf));//读文件描述符, 数据存入myevent_s成员buf中

    eventdel(g_efd, ev); //将该节点从红黑树上摘除

    if (len > 0) 	
	{
        ev->len = len;
        ev->buf[len] = '\0';                                //手动添加字符串结束标记
        printf("C[%d]:%s\n", fd, ev->buf);

        eventset(ev, fd, senddata, ev);                     //设置该 fd 对应的回调函数为 senddata
        eventadd(g_efd, EPOLLOUT, ev);                      //将fd加入红黑树g_efd中,监听其写事件
    } 
	else if (len == 0) 
	{
        Close(ev->fd);
        /* ev-g_events 地址相减得到偏移元素位置 */
        printf("[fd=%d] pos[%ld], closed\n", fd, ev-g_events);
    } 
	else 
	{
        Close(ev->fd);
        printf("read [fd=%d] error[%d]:%s\n", fd, errno, strerror(errno));
    }

    return;
}

// 回调函数 - 通信的文件描述符发生写事件时候被调用
void senddata(int fd, int events, void *arg)
{
    int len;
    struct myevent_s *ev = (struct myevent_s *)arg;

	//将小写转换为大写发送给客户端
	int i=0;
	for(i=0; i<ev->len; i++)
	{
		ev->buf[i] = toupper(ev->buf[i]);
	}

	//发送数据给客户端
    len = Write(fd, ev->buf, ev->len);
    if (len > 0) 
	{
        printf("send[fd=%d]-->[%d]:[%s]\n", fd, len, ev->buf);
        eventdel(g_efd, ev);                                //从红黑树g_efd中移除
        eventset(ev, fd, recvdata, ev);                     //将该fd的 回调函数改为 recvdata
        eventadd(g_efd, EPOLLIN, ev);                       //从新添加到红黑树上， 设为监听读事件
    } 
	else 
	{
        Close(ev->fd);                                      //关闭链接
        eventdel(g_efd, ev);                                //从红黑树g_efd中移除
        printf("send[fd=%d] error %s\n", fd, strerror(errno));
    }

    return;
}

/*创建 socket, 初始化lfd */

void initlistensocket()
{
	//创建socket
    g_lfd = Socket(AF_INET, SOCK_STREAM, 0);

	//对事件结构体赋值
    /* void eventset(struct myevent_s *ev, int fd, void (*call_back)(int, int, void *), void *arg);  */
    eventset(&g_events[MAX_EVENTS], g_lfd, acceptconn, &g_events[MAX_EVENTS]);//仅仅是对g_events[MAX_EVENTS]进行设置

	//将监听文件描述符上树
    eventadd(g_efd, EPOLLIN, &g_events[MAX_EVENTS]);

	//绑定
    struct sockaddr_in servaddr;
	memset(&servaddr, 0, sizeof(servaddr));
	servaddr.sin_family = AF_INET;
	servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
	servaddr.sin_port = htons(8888);
	Bind(g_lfd, (struct sockaddr *)&servaddr, sizeof(servaddr));

	Listen(g_lfd, 20);

    return;
}

int main(int argc, char *argv[])
{
    g_efd = epoll_create(MAX_EVENTS+1);                 //创建红黑树,返回给全局 g_efd 
	if(g_efd<0)
	{
		perror("create epoll error");
		return -1;
	}

	//socket-bind-listen-将监听文件描述符上树
    initlistensocket();

    struct epoll_event events[MAX_EVENTS+1];            //保存已经满足就绪事件的文件描述符数组 

    int checkpos = 0, i;
    while (1) 
	{
        /* 超时验证，每次测试100个链接，不测试listenfd 当客户端60秒内没有和服务器通信，则关闭此客户端链接 */
        long now = time(NULL);                          //当前时间
		//一次循环检测100个。 使用checkpos控制检测对象
        for (i = 0; i < 100; i++, checkpos++) 
		{
            if (checkpos == MAX_EVENTS)
			{
                checkpos = 0;
			}

            if (g_events[checkpos].status != 1)         //不在红黑树 g_efd 上
			{
                continue;
			}

            long duration = now - g_events[checkpos].last_active;       //客户端不活跃的世间

            if (duration >= 60) 
			{
                Close(g_events[checkpos].fd);                           //关闭与该客户端链接
                printf("[fd=%d] timeout\n", g_events[checkpos].fd);
                eventdel(g_efd, &g_events[checkpos]);                   //将该客户端 从红黑树 g_efd移除
            }
        }

        /*监听红黑树g_efd, 将满足的事件的文件描述符加至events数组中, 1秒没有事件满足, 返回 0*/
        int nfd = epoll_wait(g_efd, events, MAX_EVENTS+1, 1000);
        if (nfd < 0) 
		{
            printf("epoll_wait error, exit\n");
            break;
        }

        for (i = 0; i < nfd; i++) 
		{
            /*使用自定义结构体myevent_s类型指针,接收联合体data的void *ptr成员*/
            struct myevent_s *ev = (struct myevent_s *)events[i].data.ptr;  

			//读就绪事件
            if ((events[i].events & EPOLLIN) && (ev->events & EPOLLIN)) 
			{
                //ev->call_back(ev->fd, events[i].events, ev->arg);
                ev->call_back(ev->fd, events[i].events, ev);
            }
			//写就绪事件
            if ((events[i].events & EPOLLOUT) && (ev->events & EPOLLOUT))
			{
                //ev->call_back(ev->fd, events[i].events, ev->arg);
                ev->call_back(ev->fd, events[i].events, ev);
            }
        }
    }

    /*关闭文件描述符 */
	Close(g_efd);
	Close(g_lfd);

    return 0;
}

2.EPOLL的ET和LT模式
LT和ET均是epoll对文件描述符的触发模式
LT(Level Trigger,电平触发)：LT模式是默认的工作模式，只要数据区有事件发生，只要事件没有被处理掉，下次调用wait检测到此事件仍然会触发
ET(Edge Trigger):ET时epoll的高效工作模式，当wait检测到事件发生时，会触发并将此事件通知应用程序，再次之后，无论这个事件有没有被处理，都不会再次通报这一事件；
由此可以看出：在LT模式下，对于事件的触发操作肯定是要大于等于ET模式的，而对于ET模式来说，对于只触发一次的事件，需要建立完善的逻辑语句将该事件处理完毕，不然就漏掉对该事件的处理。

以下是一个使用ET模式处理事件的例子，该例子将sock文件描述符设置为非阻塞，并调用循环结构和条件判断来完成对事件的彻底处理

//测试EPOLL的ET模式 将接收到的cfd的flag设置为非阻塞，int flag = fcntl(cfd,F_GETFL);falg |= NONBLOCK;fcntl(cfd,F_SETFL,flag);
//并且在读取数据的时候有必要循环读取，设置文件描述符为非阻塞后，放回-1代表读完了
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>       
#include <unistd.h>
#include <arpa/inet.h>
#include <netinet/in.h>
#include <sys/select.h>
#include <pthread.h>
#include <errno.h>
#include <sys/socket.h>
#include <poll.h>
#include <sys/epoll.h>
#include <ctype.h>

#include "wrap.h"
#define PROT 7759


int main()
{
    int lfd = Socket(AF_INET,SOCK_STREAM,0);

    //设置端口复用
    int opt = 1;
    setsockopt(lfd, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof(int));



    struct sockaddr_in serv;
    serv.sin_family = AF_INET;
    serv.sin_port = htons(PROT);
    serv.sin_addr.s_addr = htonl(INADDR_ANY);
    
    printf("BIND\n");
    Bind(lfd,(struct sockaddr*)&serv,sizeof(serv));
    
    printf("LISTEN\n");
    Listen(lfd,128);

    int nready;
    int cfd;
    
    struct sockaddr_in client;
    socklen_t client_len = sizeof(client);
    
    char buf[1024];
    int n = 0;

    printf("EPOLL 结构体\n");
    //创建epoll结构体
    struct epoll_event ev;
    ev.data.fd = lfd;
    ev.events = EPOLLIN | EPOLLET;
    struct epoll_event events[1024];


    printf("EPOLL 树\n");
    //创建一课EPOLL树
    int epfd = epoll_create(1024);
    if(epfd < 0)
    {
        perror("create epoll error\n");
        return -1;
    }
    
    //将监听文件描述符添加到树里面去
    epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, &ev);
    
    
    printf("EPOLL 循环\n");
    while(1)
    {   
        
        printf("EPOLL WAIT\n");
        nready = epoll_wait(epfd,events,1024,-1);
        if(nready < 0)
        {
            if(errno == EINTR)//被信号中断
            {
                printf("信号中断！\n");
                continue;
            }
            break; 
        }

        int k = 0;
        printf("EPOLL 处理\n");
        for(;k < nready; ++k)
        {
            //监听事件
            printf("EPOLL LISTEN\n");
            if(events[k].data.fd == lfd)
            {
                cfd = Accept(lfd,NULL,NULL);
                ev.data.fd = cfd;
                ev.events = EPOLLIN | EPOLLET;
                epoll_ctl(epfd,EPOLL_CTL_ADD,cfd,&ev);

                //设置cfd为非阻塞
                int flag = fcntl(cfd,F_GETFL);
                flag |= O_NONBLOCK;
                fcntl(cfd,F_SETFL,flag);
            }
            else//读取数据
            {
                printf("EPOLL READ\n");
                while(1)
                {

                    int sockfd = events[k].data.fd;
                    memset(buf,0x00,sizeof(buf));
                    n = Read(sockfd,buf,4);
                    if(n == -1) break;

                    if(n == 0){
                        printf("read error or client closed!\n");
                        Close(sockfd);
                        //将树上的事件删除
                        epoll_ctl(epfd,EPOLL_CTL_DEL,sockfd,NULL);
                        break;
                    }
                    else
                    {
                        printf("buf==[%s],n==[%d]\n",buf,n);
                        int p = 0;
                        for(;p < n; ++p)
                        {
                            buf[p] = toupper(buf[p]);
                        }
                        Write(sockfd,buf,n);
                    }
                }
                

            }
        }


    }
    Close(epfd);
    Close(lfd);
    return 0;
}