리버스 엔지니어링: 어셈블리 (함수)

까막눈이다.シ

이번 글에서는 리버싱에 필요한 어셈블리 내용 중 함수 부분을 다루고자 한다.

'강병탁, 『리버스 엔지니어링 바이블』, 위키북스, 2014, 1p-127p.'을 참고했다.

 

함수의 기본 구조

함수의 시작

push ebp
mov ebp, esp

 

ebp는 스택 베이스 포인터다.

push ebp는 지금까지의 베이스 주소를 스택에 보관하기 위해 필요하다.

이렇게 베이스 포인터를 백업한 뒤, mov ebp, esp를 통해 스택 포인터인 esp를 ebp로 바꾼다.

새로운 포인터를 베이스로 잡는다고 할 수 있다.

 

* 함수의 시작과 끝 중간에 rsp로 할당된 바이트만큼의 공간을 확보한다.

ex:) 'sub rsp, 0x100'

 

함수의 끝

mov esp, ebp
pop ebp

함수가 종료될 때는 지금까지 사용한 스택 위치를 원래대로 돌려놓아야 한다.

스택 포인터를 mov esp, ebp로 돌려놓고, pop ebp로 스택에서 ebp를 빼낸다.

 

 

함수와 스택프레임

 아래의 함수 호출이 포함되는 C언어 코드다.

#include<stdio.h>

int sum(int a, int b) {
	return a+b;
}

int main(void) {
	int c = sum(1, 2);
    return c;
}

호출한 함수는 main 함수이며 caller라고 부른다. 호출된 함수는 sum() 함수이며 callee라고 부른다.

어셈블리 코드로 바뀌었을 때 스택에서는 어떤 변화가 나타나는지 함수 호출 전후로 나누어 살펴보면,

 

함수 호출 전: main() 초반의 스택

caller 함수의 버퍼

main 함수의 변수, 위 예시에서는 'c'

RBP: caller 함수의 스택이 쌓이기 시작하는 Base Pointer, (여기부터 스택이 쌓일 것이라고 알려주는 역할)

RET: caller 함수의 Return Address, main()이 끝났을 때 돌아갈 위치

 

왼쪽 그림은 main() 초반의 스택프레임을

이미지화하여 나타낸 그림이다.

함수의 시작 단계에서 RBP와 RSP가

동일한 위치를 가지게 된다.

RSP에서 16이 빠져서 16만큼의 공간이 생긴다.

참고로, ESI는 32비트짜리 RSI, 

EDI는 32비트짜리 RDI이다.

 

 

 

 

 

함수 호출 후: sum() (호출된 함수) 초반의 스택

아래 표에서 밑줄 쳐진 부분이 스택 중 함수 호출로 추가로 생겨난 부분이다.

callee 함수의 버퍼

RBP: callee 함수의 Base Pointer

RET: callee 함수의 return address

callee 함수의 매개변수, 위의 예시에서는 y

callee 함수의 매개변수, 위의 예시에서는 x

caller 함수의 버퍼

main 함수의 변수

RPB: caller 함수의 스택이 쌓이기 시작하는 Base Pointer, 여기부터 스택이 쌓일 것이라고 알려주는 역할

RET: caller 함수의 Return Address, 메인이 끝났을 때 돌아갈 위치

 

그림에서 맨 위의 1, 2 부분을 보면

먼저 값 1과 2를

EDI, ESI 레지스터에 넣고

EDX, EAX 레지스터에도

1과 2를 넣은 뒤

계산해서 3이라는 반환값을

EAX에 저장해

EAX의 값을 반환한다.

이후 RBP 값을 빼내서 RET(Return Address)로 돌아간다.

 

 

 

 

이미지 출처: 동빈. “시스템 해킹 강좌 4강 - 레지스터의 용도와 시스템 콜 이해하기 (System Hacking Tutorial 2017 #4)” 2017. Video. https://www.youtube.com/watch?v=PsXXjNL_ogc.