[NetWork] RX #2 NIC, DMA, RX Ring, SK_buff

NIC은 기본적으로 모든 프레임을 읽고, 자신의 MAC, 브로드/멀티캐스트에 해당하는 프레임만 가져옵니다.
(Promiscuous mode 에서는 모든 프레임을 가져옵니다. ex. TCPDUMP, Wireshark)

일반 NIC은 프로세서가 없기에 NIC 자체 처리는 한계가 있고, 일단 프레임을 수신하면 저장을 해야 처리를 할 수 있습니다.
(프로세서·메모리·HW 가속기를 추가한 프로그래밍 가능한 Smart NIC 도 있습니다. )

NIC의 저장공간

RX Ring Descriptor

NIC이 부팅되면서 드라이버가 메모리에 페이지를 할당하고, 그 주소를 NIC 레지스터에 등록합니다. 이 페이지들의 배열을 Rx ring 이라고 합니다.

Rx Ring에 직접 데이터를 저장하는 것은 아니고, Rx Ring에는 패킷을 저장할 페이지의 주소, 길이, 플래그가 저장되어 있습니다. 패킷의 CRC를 확인하고 페이지에 저장하고 나면 플래그에 Done을 입력해서 알게 합니다.

왜 Ring 구조인가?

1. 패킷은 FIFO 구조로 데이터를 저장하고 처리합니다. 이 과정에서 가장 유리한 것이 원형 Queue 구조이기에 Ring 형태를 가지고 있습니다.

Ring이 꽉 차면 어떻게 되는가?

1. 기본적으로 네트워크의 속도보다 CPU의 속도가 월등히 빠르기에 괜찮지만, Ring이 꽉 차게 되면 다음 패킷들은 drop 됩니다.
2. Ring의 사이즈를 늘려서 조정할 수 있습니다.
   1. 패킷 drop 확인 방법: ethtool -S eth0 | grep -i drop

그럼 drop된 패킷들은 다음에 어떻게 하지?

1. Switch에서 flow control 설정으로 IEEE 802.3x (PAUSE) 프레임으로 전송을 줄일 수 있지만, 기본적으로 flow control은 "off" 상태이며 상위 계층에서 보내는 재전송 요청으로 처리합니다.

NIC에서 메모리에 직접 쓰는가?

1. DMA를 사용하면 직접 메모리에 쓸 수 있습니다. 기존에는 CPU가 공유 메모리로 직접 복사했는데, 이제는 DMA를 통해서 쓴 페이지를 공유하는 식으로 진행됩니다.
   (DMA는 장치가 BUS의 마스터가 되어 시스템의 메모리를 R/W 하는 과정입니다.)

왜 CPU가 직접 쓰지 않는가?

1. CPU가 메모리를 작성하는 과정(memcpy())은 CPU에서 연산은 적고 시간은 가장 오래걸리는 작업 중 하나입니다. 이 과정으로 리소스를 낭비하는 대신 DMA를 이용해서 병렬로 처리하는 것이 좋습니다.

sk_buff

RX ring은 DMA를 이용해서 직접 데이터를 복사했지요. RX ring의 플래그 값에 Done이후에 memcpy로 CPU가 skb를 만들게 됩니다. NAPI poll 에서 batch로 할당하기도 합니다.

만들어진 skb 값은 페이지에 대한 값과 패킷의 헤더를 찾기 위한 길이, 오프셋 등 메타데이터가 들어가게 됩니다. 보통 1 Rx descriptor -> 1 sk_buff로 descriptor, page, sk_buff는 재사용 됩니다.

DMA를 통해서 직접 sk_buff를 만들면 안돼?

1. 최신 드라이버에서는 이 기능을 지원하기도 합니다.

NAPI란?

1. 패킷이 많을 땐 Poll, 적을 땐 interupt로 자동 전환하여 CPU의 부하를 줄여주는 드라이버 프레임워크입니다.
2. DMA가 BUS의 Master가 되기 위해선 CPU에 IRQ(interupt request)를 보내서 권한을 얻어야 합니다. 그런데 IRQ를 패킷마다 보내게 되면 컨텍스트 스위칭에 시간이 많이 쓰이게 됩니다.
3. IRQ를 받고 IRQ 핸들러에서 napi를 호출하면 NIC의 IRQ를 끄고, softirq를 이용하여 Rx Ring을 배치 단위로 처리하기 시작합니다.
4. Ring이 텅 비거나 최대 사용량을 다 쓰면 napi를 종료하고 NIC IRQ를 사용합니다.

이렇게 저장된 sk_buff를 라우팅, NAT, netfilter, QoS, TCP 스택까지 전부 사용하게 됩니다.

고속 패킷 처리

NIC에서 저장한 DMA Data Buffer는 커널이 아닌 User(Bash,Python 등)에서 접근할 수 없어서 User 버퍼로 복사하는 과정이 하나 더 필요합니다.

이 과정 없이 유저 버퍼로 보내는 기술이 몇가지 있는데, AF_XDP zero-copy, io_uring ZC Rx, DPDK 입니다.
직접 구현하기 위해서는 프로토콜 처리, 보안/필터링, 메모리 접근 등의 처리가 필요합니다. 향후 다른 포스팅을 이용해서 작성하겠습니다.

마무리

NIC에서 받은 패킷들의 실제 데이터는 DMA Data Buffer에 저장되고, sk_buff에 위치, 크기 등 메타데이터를 가지고 있게 됩니다.