Chapter 4. Notification Chains

Why notification chains?

• 커널 내에서 특정한 이벤트가 발생했을 때 이에 관심 있는 여러 서브 시스템에 효율적으로 전파할 방법이 필요
• 책의 예제. Network Topology가 달라져 Interface가 실패할 때 라우팅 서브시스템에 알리는 역할을 맡음
• Javascript의 addEventListener()와 유사한 방식

Overview

• Notified(알림을 받는 측): Notifier에 구독을 원하는 이벤트와 콜백 함수 제공
• Notifier(알림을 보내는 측): 해당 이벤트 발생 시 콜백 함수 호출

Chain Definition

struct notifier_block {
	int (*notifier_call)(struct notifier_block *nb, unsigned long action, void *data);
	struct notifier_block __rcu *next;
	int priority;
};

• Singly Linked-List 구조지만 우선순위가 있어 node insert 할 때 제자리를 찾아감

Chain Registration

기능	함수 프로토타입
등록	int notifier_chain_register(struct notifier_block **list, struct notifier_block *n) Wrappers inetaddr_chain register_inetaddr_notifier inet6addr_chain register_inet6addr_notifier netdev_chain register_netdevice_notifier
해제	int notifier_chain_unregister(struct notifier_block **nl, struct notifier_block *n) Wrappers inetaddr_chain unregister_inetaddr_notifier inet6addr_chain unregister_inet6addr_notifier netdev_chain unregister_netdevice_notifier
알림	int notifier_call_chain(struct notifier_block **n, unsigned long val, void *v)

• 각 체인마다 notifier_block는 우선순위에 의해 정렬된 리스트에 삽입됨
• 알림 체인에 대한 접근은 notifier_lock에 의해 보호됨

Event Notification

• linux/kernel/notifier.c에 정의된 notifier_call_chain()이 수행

static int notifier_call_chain(struct notifier_block **nl,
			       unsigned long val, void *v,
			       int nr_to_call, int *nr_calls)
{
	int ret = NOTIFY_DONE;
	struct notifier_block *nb, *next_nb;

	nb = rcu_dereference_raw(*nl);

	while (nb && nr_to_call) {
		next_nb = rcu_dereference_raw(nb->next);

		ret = nb->notifier_call(nb, val, v);

		if (nr_calls)
			(*nr_calls)++;

		if (ret & NOTIFY_STOP_MASK)
			break;
		nb = next_nb;
		nr_to_call--;
	}
	return ret;
}

• n: 알림 체인
• val: 이벤트 타입
• v: Custom Input Parameter. 어떤 데이터도 받을 수 있도록 void * 타입으로 선언

Return Code

• NOTIFIER_OK: 잘 처리됨
• NOTIFIER_DONE: 관심 없는 알림
• NOTIFIER_BAD: 문제 발생. 콜백 호출 중지.
• NOTIFIER_STOP: 잘 처리됨. 콜백 호출 중지.
• NOTIFIER_STOP_MASK: 콜백 호출 중지를 나타내는 Flag

Notification Chains Type

• Blocking Notifier Chain: 콜백이 프로세스 컨텍스트에서 실행 (Block/Sleep 가능)
• SRCU Notifier Chain: Blocking Notifier Chain과 유사하나 SRCU(Sleepable Read-Copy Update) 사용을 통해 실행 최적화 (관련 정보)
• Atomic Notifier Chain: 콜백이 인터럽트/원자적 컨텍스트에서 실행 (Spinlock 사용; Block/Sleep 불가능)
• Raw Notifier Chain: 콜백에서 Lock 없음. Caller 측에 동기화 책임

Notification Chains for Networking Subsystems

• inetaddr_chain: 로컬 인터페이스 IPv4 주소의 삽입, 삭제, 변경에 대한 알림 제공
• netdev_chain: 네트워크 장치의 등록 상태에 대한 알림 제공

Exercise

• 간단한 Character Device Driver를 커널 모듈 형태로 구현한다.
• Blocking Notifier Chain을 등록해 File I/O 시 이벤트를 발생시키고 커널 메시지를 통해 확인한다.
• 실행문 예시를 차례대로 따라해 본다.

Analysis

• Character Device는 Character Stream을 읽고 쓰기 위한 Device로, Random Access 구현이 필요 없기 때문에 간단한 구조
• 키보드, 스캐너, 프린터, 시리얼 모뎀 등이 해당
• 전체 소스 코드 lkm_example.c

static BLOCKING_NOTIFIER_HEAD(lkm_example_chain);

• blocking_notifier_head 구조체를 선언하고 초기화하는 매크로
• blocking_notifier_head는 include/linux/notifier.h에 선언

struct blocking_notifier_head {
	struct rw_semaphore rwsem;
	struct notifier_block __rcu *head;
};

• Lock을 담당하는 rw_semaphore와 notifier_block으로 구성

static int lkm_example_event(struct notifier_block *nb,
                            unsigned long event,
                            void *ptr)
{
    printk(KERN_INFO "Event %lu is fired!\n", event);

    return NOTIFY_STOP;
}

• 우리가 등록할 콜백. 어떤 이벤트가 불렸다고 커널 메시지로 출력
• NOTIFY_STOP을 통해 첫 notified에만 알림을 전달하고 끝냄
• 어차피 리스트에 notifier_block이 하나뿐이므로 큰 차이는 없음

static struct notifier_block lkm_example_notifier = {
    .notifier_call = lkm_example_event,
};

• 앞에서 본 notifier_chain_register()을 통한 notifier block 등록을 위해 콜백을 포함한 구조체 선언

static int __init lkm_example_init(void) {
    major_num = register_chrdev(0, "lkm_example", &file_ops);
    if (major_num < 0) {
        printk(KERN_ALERT "Could not register device: %d\n", major_num);
        return major_num;
    } else {
        printk(KERN_INFO "lkm_example module loaded with device major number %d\n", major_num);
        blocking_notifier_chain_register(&lkm_example_chain, &lkm_example_notifier);
        return 0;
    }
}

• 커널 모듈 초기화에서 Character Device 등록이 성공할 시 우리가 만든 notification chain도 함께 등록
• 리눅스 커널에서 Block 및 Chacter Device를 나타낼 때 MAJOR는 Device 종류, MINOR는 실제 Device를 나타냄 (같은 종류의 Device가 여러 개 존재할 수 있으므로; 관련 정보)

static struct file_operations file_ops = {
   .read = device_read,
   .write = device_write,
   .open = device_open,
   .release = device_release
};

• 유닉스에서 모든 것은 파일이고 이 Device에 파일 I/O를 시도했을 때 대응할 콜백을 등록

static ssize_t device_read(struct file *flip, char *buffer, size_t len, loff_t *offset) {
    blocking_notifier_call_chain(&lkm_example_chain, 1, NULL);

    return 0;
}

• Device를 읽을 시 임의로 Event 1을 발생

static ssize_t device_write(struct file *flip, const char *buffer, size_t len, loff_t *offset) {
    blocking_notifier_call_chain(&lkm_example_chain, 2, NULL);

    return -EINVAL;
}

• Device에 쓸 시 임의로 Event 2를 발생

Execution

• Ubuntu 16.04 기준

sudo apt install build-essential linux-headers-`uname -r`

• 먼저 커널 모듈 컴파일에 필요한 패키지를 설치

setproxy git clone https://github.com/super-learners/linux-network.git

• 소스 코드 git pull

cd linux-network/exercise/ch4

make

• 모듈 build

sudo -i

• 커널 모듈 삽입 및 제거에 필요한 root로 변신

insmod lkm_example.ko

dmesg

• 커널 모듈을 커널에 삽입 후 확인

...
[xxxx.xxxx] lkm example module loaded with device major number 236

• 이런 메시지가 나오면 성공
• MAJOR 번호는 뒤에서 필요하므로 잘 적어둠

mknod /dev/lkm_example c MAJOR 0

• Character Device의 파일 인터페이스를 /dev/lkm_example에 만듬
• c는 Character Device를 의미
• MAJOR에는 위의 번호를 적음

cat /dev/lkm_example

dmesg

• 우리가 만든 Character Device에 파일 읽기 요청
• 위에서 구현한 바라면 이벤트 1이 실행되어야 함

[xxxx.xxxx] Event 1 is fired!

• 이런 메시지가 나오면 성공

echo 1 > /dev/lkm_example

dmesg

• 우리가 만든 Character Device에 파일 쓰기 요청
• 위에서 구현한 바라면 이벤트 2가 실행되어야 함

[xxxx.xxxx] Event 2 is fired!

• 이런 메시지가 나오면 성공

rm /dev/lkm_example
rmmod lkm_example

• 파일 인터페이스 삭제, 커널 모듈 제거