스위치 ASIC의 패킷 버퍼를 slice·pool·cell로 읽기

Cisco Nexus 사례로 egress 버퍼의 공유 범위와 큐 혼잡을 관측하는 방법을 설명합니다.

스위치의 여러 입력에서 같은 출력 포트로 패킷이 몰리면, 출력 링크가 한 번에 보낼 수 있는 양을 넘어서는 패킷은 egress 큐에서 기다립니다. 지연이나 손실을 조사하려면 먼저 그 포트의 큐가 실제로 어느 버퍼 자원을 공유하는지 확인합니다. 장비에 설치된 총 버퍼 크기만으로 특정 포트에 배정될 수 있는 용량을 알기 어렵습니다.

포트 큐가 어느 자원을 쓰는지 확인합니다

Cisco Nexus 9000의 일부 Cloud Scale ASIC을 예로 들면, 하나의 ASIC은 한 개 이상의 slice를 가집니다. 기본 구조에서 같은 slice에 속한 포트가 그 slice의 egress 버퍼를 사용합니다. 포트와 slice의 연결은 제품별로 다릅니다. 예를 들어 Cisco는 N9K-C9336C-FX2에 ASIC 하나와 slice 두 개가 있는 구성을 설명합니다. Cisco Nexus Cloud Scale 버퍼와 혼잡.

단위확인할 내용
Slice어느 ASIC 구간의 어떤 포트가 버퍼를 공유하는가
Pool-groupslice 안에서 자원이 어느 그룹으로 나뉘는가. 기본 구조에서 서로 다른 그룹에 배정된 cell은 공유되지 않습니다.
Pool해당 그룹 안에서 어떤 트래픽 등급 또는 유니캐스트·멀티캐스트 자원을 집계하는가
Cell버퍼 사용량과 한계를 세는 할당 단위
포트의 egress 큐어느 출력 포트의 어떤 큐에 패킷이 쌓였고 어느 정책으로 송신되는가

지원되는 Nexus 9300-FX2의 동적 공유는 별도 구성입니다. Cisco NX-OS 문서의 이 기능은 명시적으로 설정한 뒤 장비를 다시 시작해야 적용됩니다. 활성화된 구성에서는 일부 bank를 slice 사이에서 동적으로 배정합니다. 같은 문서에서 이 bank 예의 cell은 416바이트이고, 별도로 소개한 Broadcom ASIC 포트 모니터링 예의 cell은 208바이트입니다. 수치를 적용할 때 먼저 기종, ASIC, NX-OS 버전과 활성 설정을 확인합니다. Cisco NX-OS 10.6(x) 큐·스케줄링.

읽기·쓰기 합계가 2R인 모델

복제 없이 유니캐스트 패킷 한 사본만 저장하는 단순 모델을 가정합니다. 정상 상태에서 초당 R비트를 버퍼에 넣고 같은 속도로 읽습니다. 부가 전송 없이 저장하는 모든 비트에 전체 쓰기 한 번과 전체 읽기 한 번을 적용하면 메모리 인터페이스의 두 방향 트래픽 합계는 R + R = 2R입니다. 이 모델에서 저장률과 읽기율이 각각 1 Tb/s이면 합계는 2 Tb/s입니다.

이 계산의 범위는 버퍼 메모리 인터페이스입니다. 스위치 제품의 공칭 패브릭 대역폭은 제품 문서의 정의로 별도 확인합니다. 실제 메모리 전송량에는 cell 단위 올림, 메타데이터, 패킷 복제와 내부 처리 속도, 버퍼를 거치지 않는 경로 등 구현 조건이 영향을 줄 수 있습니다.

같은 시간 구간에서 큐와 discard를 맞춰 봅니다

  1. 혼잡이 의심되는 egress 포트와 큐를 식별하고, 해당 큐의 현재 점유와 관측 구간의 최대 점유를 기록합니다. 최대치가 언제부터 누적됐는지도 확인합니다.
  2. 같은 구간에 해당하는 pool 또는 slice의 임계값과 경고 시각을 기록합니다. 짧은 burst가 조회 사이에 지나가면 현재 점유만으로 놓칠 수 있습니다.
  3. 같은 구간의 output discard 카운터 증가량을 대조합니다. 해당 기종에서 카운터가 무엇을 포함하는지 확인하고 큐별 기록과 연결합니다. 임계값 경고만 발생한 경우에는 버퍼 압박으로 기록하고, 손실 판단은 discard 증가량이나 별도 패킷 관측을 근거로 남깁니다. Cisco의 임계값·output discard 해석.

호스트 안에서 NIC·RX descriptor·mbuf를 배치하는 문제는 별도의 경계입니다. DPDK NUMA 배치 · Linux socket·XDP·DPDK의 경계.

이 글은 Ravichandran Paramasivam의 스위치 버퍼 설명을 출발점으로 삼고 Cisco의 제품 문서로 구체화했습니다. 제품별 측정값은 새로 수집하지 않았으며 2R은 설명용 계산입니다.