逆向工程教程：深入理解Windows x64调用约定

原创于 2025-06-08 09:02:13 发布 · 1k 阅读

CC 4.0 BY-SA版权

逆向工程教程：深入理解Windows x64调用约定

前言

在逆向工程和底层程序分析中，理解函数调用约定(Calling Convention)是至关重要的基础知识。本文将深入探讨Windows x64平台下的fastcall调用约定，并简要介绍cdecl约定，帮助读者掌握函数调用时的参数传递、寄存器使用和栈操作等核心概念。

什么是调用约定

调用约定定义了函数调用时的一系列规则，包括：

参数如何传递（通过寄存器还是栈）
参数传递的顺序（从左到右还是从右到左）
谁负责清理栈空间（调用者还是被调用者）
返回值如何传递
哪些寄存器需要保存

在Windows x64环境中，默认使用fastcall调用约定，这也是我们重点讲解的内容。

Windows x64 fastcall详解

参数传递规则

前四个非浮点参数：通过RCX、RDX、R8和R9寄存器传递
前四个浮点参数：通过XMM0、XMM1、XMM2和XMM3寄存器传递
额外参数：通过栈传递，从右向左压栈
大参数处理：如果参数太大无法放入寄存器，则通过引用传递

重要特性

预留空间(Reserved Space)：即使参数通过寄存器传递，调用者也必须在栈上为前四个参数预留空间（共32字节）
返回值：整数类型通过RAX返回，浮点类型通过XMM0返回
this指针：对于成员函数，this指针作为隐含的第一个参数通过RCX传递
寄存器易失性：
- 易失寄存器(Volatile)：RAX、RCX、RDX、R8、R9、R10、R11（函数调用后值可能改变）
- 非易失寄存器(Non-volatile)：RBX、RBP、RDI、RSI、RSP、R12-R15（函数必须保存和恢复）

栈布局分析

理解栈布局对逆向工程至关重要：

1-4个参数：
- 参数通过寄存器传递
- 栈上预留32字节预留空间（RSP+0x00到RSP+0x18）
超过4个参数：
- 前四个通过寄存器传递
- 第五个参数从RSP+0x20开始
- 第六个参数在RSP+0x28，依此类推

实际示例分析

考虑以下汇编代码片段：

MOV DWORD PTR SS:[RSP + 0x38], 0x8  ; 第8个参数
MOV DWORD PTR SS:[RSP + 0x30], 0x7  ; 第7个参数
MOV DWORD PTR SS:[RSP + 0x28], 0x6  ; 第6个参数
MOV DWORD PTR SS:[RSP + 0x20], 0x5  ; 第5个参数
MOV R9D, 0x4                        ; 第4个参数
MOV R8D, 0x3                        ; 第3个参数
MOV EDX, 0x2                        ; 第2个参数
MOV ECX, 0x1                        ; 第1个参数
CALL function

这段代码清晰地展示了：