高级I/O函数pipe,dup,readv,splice,sendfile,tee,fcntl

最新推荐文章于 2024-08-19 22:55:45 发布
原创 最新推荐文章于 2024-08-19 22:55:45 发布 · 304 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Unix/Linux系统中用于进程间通信的pipe函数，以及dup和dup2函数如何实现标准输入/输出的重定向。示例代码展示了如何在服务器端通过dup将标准输出重定向到网络连接。此外，还详细讲解了sendfile函数在两个文件描述符间高效传输数据的零拷贝机制，以及splice函数在同一系统内两个文件描述符间移动数据的零拷贝方法。这些技术在提高程序性能和资源利用效率方面具有重要意义。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

pipe函数

用于创建一个管道，实现进程间通信。

#include<unistd.h>

int pipe(int fd[2]);

 dup函数和dup2函数

有时我们希望把标准输入重定向到一个文件，或者把标准输出重定向到一个网络连接（比如CGI编程），可以通过dup和dup2实现

 看个例子：

server.c

#include<sys/socket.h>
#include<netinet/in.h>
#include<arpa/inet.h>
#include<signal.h>
#include<unistd.h>
#include<stdlib.h>
#include<assert.h>
#include<stdio.h>
#include<errno.h>
#include<string.h>
#include<stdbool.h>
#include<libgen.h>
const int BUFFER_SIZE=1024;
int main(int argc,char* argv[])
{
    if(argc<=2)
    {
        printf("usage: %s ip_address port_number\n",basename(argv[0]));
        return 1;
    }
    const char* ip=argv[1];
    int port=atoi(argv[2]);

    int sock=socket(PF_INET,SOCK_STREAM,0);
    assert(sock>=0);

    // 创建一个ipv4地址
    struct sockaddr_in address;
    bzero(&address,sizeof(address));
    address.sin_family=AF_INET;
    inet_pton(AF_INET,ip,&address.sin_addr);
    address.sin_port=htons(port);

    int  ret=bind(sock,(struct sockaddr*)&address,sizeof(address));
    assert(ret!=-1);

    ret=listen(sock,5);
    assert(ret!=-1);

    struct sockaddr_in client;
    socklen_t client_addrlength=sizeof(client);
    int connfd=accept(sock,(struct sockaddr*)&client,&client_addrlength);
    if(connfd<0)
    {
        printf("errno is: %d\n",errno);
    }
    else
    {
        close(STDOUT_FILENO);
        dup(connfd);
        printf("abcd\n");
        close(connfd);
    }

    close(sock);
    return 0;
}

client.c

#include<sys/socket.h>
#include<netinet/in.h>
#include<arpa/inet.h>
#include<signal.h>
#include<unistd.h>
#include<stdlib.h>
#include<assert.h>
#include<stdio.h>
#include<errno.h>
#include<string.h>
#include<stdbool.h>
#include<libgen.h>
const int BUFFER_SIZE=512;
int main(int argc,char* argv[])
{
    if(argc<=2)
    {
        printf("usage: %s ip_address port_number send_buffer_size\n",basename(argv[0]));
        return 1;
    }
    const char* ip=argv[1];
    int port=atoi(argv[2]);

    int sockfd=socket(PF_INET,SOCK_STREAM,0);
    assert(sockfd>=0);

    // 创建一个ipv4地址
    struct sockaddr_in server_address;
    bzero(&server_address,sizeof(server_address));
    server_address.sin_family=AF_INET;
    inet_pton(AF_INET,ip,&server_address.sin_addr);
    server_address.sin_port=htons(port);

    if(connect(sockfd,(struct sockaddr*)&server_address,sizeof(server_address))<0)
    {
        printf("connection failed\n");
    }
    else
    {
        char buffer[BUFFER_SIZE];
        memset(buffer,'a',BUFFER_SIZE);
        send(sockfd,buffer,BUFFER_SIZE,0);
        memset(buffer,'\0',BUFFER_SIZE);
        int ret=recv(sockfd,buffer,BUFFER_SIZE,0);
        printf("get %d bytes content:%s\n",ret,buffer);
    }
    close(sockfd);
    return 0;
}

sendfile

sendfile函数在2个文件描述符之间直接传递数据(完全在内核中操作)，从而避免内核缓冲区和用户缓冲区之间的数据拷贝，效率很高，称之为零拷贝。

server.c

#include<sys/socket.h>
#include<netinet/in.h>
#include<arpa/inet.h>
#include<signal.h>
#include<unistd.h>
#include<stdlib.h>
#include<assert.h>
#include<stdio.h>
#include<errno.h>
#include<string.h>
#include<stdbool.h>
#include<libgen.h>
#include<sys/stat.h>
#include<fcntl.h>
#include<sys/sendfile.h>
const int BUFFER_SIZE=1024;
int main(int argc,char* argv[])
{
    if(argc<=3)
    {
        printf("usage: %s ip_address port_number filename\n",basename(argv[0]));
        return 1;
    }
    const char* ip=argv[1];
    int port=atoi(argv[2]);
    const char* file_name=argv[3];

    int filefd=open(file_name,O_RDONLY);
    assert(filefd>0);
    struct stat stat_buf;
    fstat(filefd,&stat_buf);

    int sock=socket(PF_INET,SOCK_STREAM,0);
    assert(sock>=0);

    // 创建一个ipv4地址
    struct sockaddr_in address;
    bzero(&address,sizeof(address));
    address.sin_family=AF_INET;
    inet_pton(AF_INET,ip,&address.sin_addr);
    address.sin_port=htons(port);

    int  ret=bind(sock,(struct sockaddr*)&address,sizeof(address));
    assert(ret!=-1);

    ret=listen(sock,5);
    assert(ret!=-1);

    struct sockaddr_in client;
    socklen_t client_addrlength=sizeof(client);
    int connfd=accept(sock,(struct sockaddr*)&client,&client_addrlength);
    if(connfd<0)
    {
        printf("errno is: %d\n",errno);
    }
    else
    {
        sendfile(connfd,filefd,NULL,stat_buf.st_size);
        close(connfd);
    }

    close(sock);
    return 0;
}

 

我用我的电脑telnet服务器，sendfile会把文件内容发送给客户端。

 

splice函数

splice函数用于在2个文件描述符之间移动数据，也是零拷贝。定义如下：

 

 

server.c

#define _GNU_SOURCE 1
#include<sys/socket.h>
#include<netinet/in.h>
#include<arpa/inet.h>
#include<signal.h>
#include<unistd.h>
#include<stdlib.h>
#include<assert.h>
#include<stdio.h>
#include<errno.h>
#include<string.h>
#include<stdbool.h>
#include<libgen.h>
#include<sys/stat.h>
#include<fcntl.h>
#include<sys/sendfile.h>
const int BUFFER_SIZE=1024;
int main(int argc,char* argv[])
{
    if(argc<=2)
    {
        printf("usage: %s ip_address port_number\n",basename(argv[0]));
        return 1;
    }
    const char* ip=argv[1];
    int port=atoi(argv[2]);

    int sock=socket(PF_INET,SOCK_STREAM,0);
    assert(sock>=0);

    // 创建一个ipv4地址
    struct sockaddr_in address;
    bzero(&address,sizeof(address));
    address.sin_family=AF_INET;
    inet_pton(AF_INET,ip,&address.sin_addr);
    address.sin_port=htons(port);

    int  ret=bind(sock,(struct sockaddr*)&address,sizeof(address));
    assert(ret!=-1);

    ret=listen(sock,5);
    assert(ret!=-1);

    struct sockaddr_in client;
    socklen_t client_addrlength=sizeof(client);
    int connfd=accept(sock,(struct sockaddr*)&client,&client_addrlength);
    if(connfd<0)
    {
        printf("errno is: %d\n",errno);
    }
    else
    {
        int pipefd[2];
        assert(ret!=-1);
        ret=pipe(pipefd);//创建管道
        // 将connfd上流入的客户数据定向到管道中
        ret=splice(connfd,NULL,pipefd[1],NULL,32768,SPLICE_F_MORE | SPLICE_F_MOVE);
        assert(ret!=-1);
        // 将管道的输出定向到connfd客户连接文件描述符
        ret=splice(pipefd[0],NULL,connfd,NULL,32768,SPLICE_F_MORE | SPLICE_F_MOVE);
        assert(ret!=-1);
        close(connfd);
    }

    close(sock);
    return 0;
}

 client.c

#include<sys/socket.h>
#include<netinet/in.h>
#include<arpa/inet.h>
#include<signal.h>
#include<unistd.h>
#include<stdlib.h>
#include<assert.h>
#include<stdio.h>
#include<errno.h>
#include<string.h>
#include<stdbool.h>
#include<libgen.h>
const int BUFFER_SIZE=512;
int main(int argc,char* argv[])
{
    if(argc<=2)
    {
        printf("usage: %s ip_address port_number send_buffer_size\n",basename(argv[0]));
        return 1;
    }
    const char* ip=argv[1];
    int port=atoi(argv[2]);

    int sockfd=socket(PF_INET,SOCK_STREAM,0);
    assert(sockfd>=0);

    // 创建一个ipv4地址
    struct sockaddr_in server_address;
    bzero(&server_address,sizeof(server_address));
    server_address.sin_family=AF_INET;
    inet_pton(AF_INET,ip,&server_address.sin_addr);
    server_address.sin_port=htons(port);

    if(connect(sockfd,(struct sockaddr*)&server_address,sizeof(server_address))<0)
    {
        printf("connection failed\n");
    }
    else
    {
        char buffer[BUFFER_SIZE];
        memset(buffer,'a',BUFFER_SIZE);
        send(sockfd,buffer,BUFFER_SIZE,0);
        memset(buffer,'\0',BUFFER_SIZE);
        int ret=recv(sockfd,buffer,BUFFER_SIZE,0);
        printf("get %d bytes content:%s\n",ret,buffer);
    }
    close(sockfd);
    return 0;
}

fcntl函数

正如其名字（file control)描述那样，提供了对文件描述符的各种控制操作。另一个常见的控制文件描述符属性和行为的系统调用是ioctl，而且ioctl比fcntl能够执行更多的控制。但是对于控制文件描述符常用的属性和行为，fcntl函数是由POSIX规范指定的首选方法。定义如下：

 

 

Linux高性能服务器编程｜阅读笔记：第6章 - 高级I/O函数
海到无边天作岸 山登绝顶我为峰
05-07 1244
Hello！ଘ(੭ˊᵕˋ)੭昵称：海轰标签：程序猿｜C++选手｜学生简介：因C语言结识编程，随后转入计算机专业，获得过国家奖学金，有幸在竞赛中拿过一些国奖、省奖…已保研学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！唯有努力💪本文仅记录自己感兴趣的内容文章仅作为个人学习笔记记录，记录从0到1的一个过程希望对您有一点点帮助，如有错误欢迎小伙伴指正。
Linux | 高级I/O函数
Jormungand_V的博客
10-21 472
文章目录创建文件描述符的函数pipe函数dup函数、dup2函数readv函数、writev函数 创建文件描述符的函数 pipe函数 不再赘述，详情见我的另一篇博客。 值得一提的是，socket 基础API中有一个 socketpair函数，能够方便地创建双向管道： #include<sys/types.h> #include<sys/socket.h> int socketpair(int domain, int type, int protocol, inf fd[2]); /
高阶函数
qq_41386300的博客
12-14 241
高阶函数 高阶函数 -实参是一个函数名 -函数的返回值是一个函数 函数本身也可以赋值给变量 变量可以指向函数 print(abs(-11)) f = abs print(f(-10))
pipe函数
luciusvorenus
03-30 3021
#include <unistd.h> int pipe(int pipefd[2]); 作用：创建管道 成功：0；失败：-1，设置errno 函数调用成功返回r/w两个文件描述符。无需open，但需手动close。规定：fd[0] → r； fd[1] → w。向管道文件读写数据其实是在读写内核缓冲区。且调用成功后的默认打开方式就是非阻塞打开方式...
常用高阶函数：柯里化、Compose与Pipe、防抖、节流
加强前端基础
05-06 467
常用高阶函数：柯里化、Compose与Pipe、防抖、节流
readv（）和write（）sendfile（）
weixin_30632899的博客
05-05 145
readv函数将文件描述符读取到分散的内存存快中，分散读，writev把分散的数据一并写入文件描述符中，集中写。 ssize_t readv(int fd,const struct iovec* vector,int count); ssize_t writev(int fd,const struct iovec* vector,int count); fd参数是被操作的目标文件描述符。ve...
高级I/O模型(2)--dup/dup2
u011029104的专栏
07-09 261
dup和dup2是两个非常有用的调用，它们的作用都是用来复制一个文件的描述符。它们经常用来重定向进程的stdin、stdout和stderr。 这两个函数的原形如下： 这里写图片描述 利用函数dup，我们可以复制一个描述符。 传给该函数一个既有的描述符，它就会返回一个新的描述符，这个新的描述符是传给它的描述符的拷贝。这意味着，这两个描述符共享同一个数据结构。 下面是用来说明dup函数使用方法的代码片段： int fd1, fd2; ... fd2 = dup( fd1 ); ...
Linux中的高级IO函数（二）readv & writev & sendfile & mmap & splice & tee
Lyajpunov的博客
04-22 1589
Linux提供了很多高级的I/O函数。它们并不像Linux基础I/O函数（比如open和read）那么常用（编写内核模块时一般要实现这些I/O函数），但在特定的条件下却表现出优秀的性能。这些函数大致分为三类：用于创建文件描述符的函数，包括pipe、socketpair、dup/dup2函数。用于读写数据的函数，包括readv/writev、sendfile、mmap/munmap、splice和tee函数。用于控制I/O行为和属性的函数，包括fcntl函数。本节接着介绍第二类。
5. 高级 I/O 函数
最新发布
Teriri_的博客
08-19 1160
char a[3];是一个存储字符的数组。char* a[3];是一个存储字符指针的数组，通常用于存储字符串的指针。
Linux中的高级IO函数（一）pipe & socketpair & dup
Lyajpunov的博客
04-22 1010
Linux提供了很多高级的I/O函数。它们并不像Linux基础I/O函数（比如open和read）那么常用（编写内核模块时一般要实现这些I/O函数），但在特定的条件下却表现出优秀的性能。这些函数大致分为三类：用于创建文件描述符的函数，包括pipe、socketpair、dup/dup2函数。用于读写数据的函数，包括readv/writev、sendfile、mmap/munmap、splice和tee函数。用于控制I/O行为和属性的函数，包括fcntl函数。本节先介绍第一类。
【Linux】进程通信篇Ⅰ：管道进程——pipe()、mkfifo()、open()、read()、write()、close()、unlink()
m0_67470729的博客
08-12 962
如题
APUE编程：30---高级I/O之（数据零拷贝：splice函数）
董哥的黑板报
11-04 564
一、函数介绍 #define _GNU_SOURCE /* See feature_test_macros(7) */ #include <fcntl.h> ssize_t splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out, size_t len, unsigned int ...
list::splice()函数详解
GNU'S Not Unix
06-04 3045
list::splice()函数详解entire list (1)void splice (const_iterator position, list& x); void splice (const_iterator position, list&& x);single element (2)void splice (const_iterator position, list& x, const_
JS高阶函数之柯里化
qq_39622896的博客
11-27 1895
JS高阶函数之柯里化 在最近项目中遇到了一个问题，字符串(0)(1)-(2)-(3)(4)代表具有(0)(1)(4)权限，-(2)-(3)代表被排除，这时候很快就联想到柯里化这个词的，之前还是在看一篇算法题提到函数柯里化（Currying），满满的音译既视感，实际了解之后才发现其实就是高阶函数的一个特殊用法。 柯里化是指这样一个函数（假设叫做createCurry），它能够接收函数A作为参数，运行后能够返回一个新的函数。并且这个新的函数能够处理函数A的剩余参数。 我们可以先看下函数式编程穷人版思路，举个栗子
linux网络编程九：splice函数，高效的零拷贝
eyucham的专栏
02-13 461
1. splice函数     #include &lt;fcntl.h&gt;     ssize_t splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out, size_t len, unsigned int flags); splice用于在两个文件描述符之间移动数据， 也是零拷贝。 fd_in参数是待输入描述符。如...
splice系统调用实现的TCP代理
互联网
12-01 381
正如Linus所说，splice实际上是内核空间的read/write，而tee则是内核空间的memcpy，至于sendfile，它只是一种特定的优化，该优化对于可以使用page cache的文件系统有效。 Linus反复强调buffer，用来回答关于“为何splice和tee都要依赖管道”，也就是说，文件描述符的IO依赖于一种buffer，至于说sendfile为何没有使用buffer，那是因为...
linux splice 的解释
cpucooler2011的专栏
03-01 2033
著作权归作者所有。 商业转载请联系作者获得授权，非商业转载请注明出处。 作者：蚂蚁 链接：https://www.zhihu.com/question/21705041/answer/36219654 来源：知乎 `splice`是 zero copy API 中最重要的一个，签名如下： ssize_t splice(int fd_in, loff_t *off_
linux编程之pipe()函数
铁头娃
11-21 3254
转自：https://www.cnblogs.com/kunhu/p/3608109.html
I/O重定向和管道：使用pipe、fork、exec详解。
热门推荐
yake25的专栏
04-10 1万+
I/O重定向和管道：使用pipe、fork、exec详解。 要使who|sort用程序实现，需进行I/O重定向，参考了Unix/Linux编程实践教程，画了几个图来理解这个程序，可能会更好。 1.      当运行pipe(pipe_id)以及fork之后，父进程和子进程共享stdin、stdout和管道，如图所示： 2. 我们知道，可以设定子进程写，父进程读，也就是子进程执行w
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值