← Hardware

Hardware 03 · Ethernet · Linux v6.18.37

Ethernet PHY, MDIO, Auto-Negotiation과 MAC

RJ45/magnetics와 MDI electrical 상태에서 PHY reset, MDIO register, auto-negotiation, RGMII/SGMII timing과 Linux phylib/phylink까지 올라갑니다.

분석 범위
보드에서 Linux까지 8단계
그림
4 boundary diagrams
원본 코드
3 excerpts · 201 lines
기준
Linux v6.18.37

케이블 연결 뒤 무엇을 확인할까요

interface가 DOWN인 이유가 cable/PHY link 문제인지, PHY-MAC interface timing 문제인지, Linux state machine 문제인지 어떻게 분리하는가?

PHY와 MAC이 맞춰야 할 조건

구분확인할 내용
입력PHY 전원과 reference clock, reset, magnetics/connector, MAC-PHY interface와 MDIO bus
출력speed/duplex/pause가 합의되고 MAC clock과 datapath가 같은 mode로 설정된 carrier-on net_device
소유권PHY는 line link와 negotiation, MAC은 frame/DMA, phylib/phylink는 두 hardware state의 Linux 동기화를 소유
완료 조건`ethtool` link detected와 실제 frame RX/TX counter가 모두 증가하고 error counter가 안정적

물리 신호에서 링크 상태까지

그림 1. 단계별 확인 지점
01
0. Board · PHY rail, reset, strap과 magnetics
START
02
1. MDI · link pulse, pair detect와 line coding
CHECKPOINT
03
2. MDIO · Clause 22/45 register 접근
CHECKPOINT
04
3. AN · Advertisement, partner ability와 resolved mode
CHECKPOINT
05
4. PHY-MAC · MII/RMII/RGMII/SGMII/USXGMII
CHECKPOINT
06
5. DT/ACPI · phy-mode, phy-handle와 fixed-link
CHECKPOINT
07
6. phylib · PHY state machine과 adjust link
CHECKPOINT
08
7. Linux · ethtool에서 실제 frame까지
LINUX / RESULT
01

0. Board · PHY rail, reset, strap과 magnetics

PHY analog/digital/I/O rail의 전압과 ramp 순서, crystal/clock, reset pulse를 확인한다. PHY address, interface mode, master/slave 같은 strap pin은 reset을 해제할 때 sampling된다. magnetics center tap과 termination, RJ45 pair mapping이 틀리면 MDIO는 살아 있어도 cable link가 생기지 않는다.

남길 증거: 전원/clock/reset scope, strap level, schematic과 PHY datasheet pin state

MDIO ID가 읽힌다고 해서 MDI analog path가 정상인 것은 아니다.

02

1. MDI · link pulse, pair detect와 line coding

10/100/1000BASE-T는 속도별 signaling과 pair 사용이 다르다. Auto MDI-X, cable diagnostics와 pair swap 기능도 PHY capability에 의존한다. 링크가 특정 cable 길이 또는 온도에서만 실패하면 Linux보다 return loss, clock jitter, magnetics와 PCB pair 품질을 먼저 본다.

남길 증거: PHY cable diagnostic, pair status, link pulse/eye measurement, symbol error counter

PHY가 signal detect를 못 하면 auto-negotiation state machine도 시작되지 않는다.

03

2. MDIO · Clause 22/45 register 접근

MDC/MDIO는 management bus이며 packet data path가 아니다. Clause 22는 5-bit PHY/reg address, Clause 45는 MMD device와 16-bit register address를 사용한다. pull-up, turnaround bit와 MDC frequency가 맞지 않으면 PHY ID가 0xffff/0x0000으로 보인다.

남길 증거: logic analyzer MDIO frame, BMCR/BMSR, PHYID1/2, MMD access 결과

BMSR link bit는 latch-low 특성이 있을 수 있어 두 번 읽는 규칙을 확인한다.

04

3. AN · Advertisement, partner ability와 resolved mode

양쪽이 advertisement를 교환해 공통 speed/duplex와 pause capability를 결정한다. 강제 speed와 autoneg 상대를 섞으면 parallel detection 때문에 duplex mismatch가 생길 수 있다. 1000BASE-T master/slave resolution과 EEE advertisement도 별도 상태다.

남길 증거: local/LP advertisement, AN complete, master/slave status, pause resolution

link bit 하나가 아니라 resolved speed, duplex, pause와 fault bit를 함께 본다.

05

4. PHY-MAC · MII/RMII/RGMII/SGMII/USXGMII

parallel interface는 data/clock edge와 trace delay가 중요하다. RGMII는 약 2ns internal/PCB delay 책임을 MAC, PHY, board 중 정확히 한 곳이 져야 한다. SGMII는 serial PCS auto-negotiation과 line rate가 copper PHY의 MDI negotiation과 별도일 수 있다.

남길 증거: interface clock, internal delay strap/register, PCS status, RX CRC/alignment error

carrier는 올라오는데 모든 frame이 CRC error면 RGMII timing과 MAC mode를 먼저 의심한다.

06

5. DT/ACPI · phy-mode, phy-handle와 fixed-link

Device Tree의 `phy-mode`, `phy-handle`, reset GPIO, delays, managed/fixed-link가 hardware 연결을 표현한다. `rgmii-id`, `rgmii-rxid`, `rgmii-txid`는 delay 책임을 명시한다. 잘못된 값은 probe 성공 뒤에 packet corruption으로 나타날 수 있다.

남길 증거: live DT와 schematic, PHY strap/register, MAC driver parsed mode

DT 문자열을 그대로 믿지 말고 실제 clock edge와 delay 설정을 대조한다.

07

6. phylib · PHY state machine과 adjust link

MDIO bus가 PHY를 발견하고 driver가 PHY ID로 bind된다. phylib가 autoneg, link polling/interrupt와 state transition을 관리하며 phylink는 MAC validate/config/link_up callback을 조정한다. carrier는 PHY link 결과와 MAC 설정 완료 뒤에 올려야 한다.

남길 증거: PHY driver bind, phylib state, phylink resolve log, netif_carrier state

PHY interrupt와 polling mode가 섞이지 않았는지, link-change event가 MAC callback까지 도달하는지 확인한다.

08

7. Linux · ethtool에서 실제 frame까지

`ethtool`의 advertised/supported/link partner 결과와 driver/PHY statistics를 먼저 저장한다. ping보다 먼저 MAC RX good frame, CRC, alignment, missed frame과 PHY symbol error를 본다. packet이 MAC에 도착한 뒤의 문제는 DMA/NAPI 글로 넘긴다.

남길 증거: `ethtool`, `ethtool -S`, `ip -s link`, PHY statistics와 packet capture

link, MAC frame counter, DMA descriptor와 socket 수신을 각기 다른 checkpoint로 둔다.

PHY와 MAC 사이의 신호 흐름

그림 2. Ethernet 실행 경로왼쪽부터 신호나 데이터를 처리하는 순서를 나타냅니다. 각 단계에서 확인할 항목을 함께 표시했습니다.
01 Rail/clock
02 Reset release
03 MDIO ID
04 Advertisement
05 AN complete
06 PHY link
그림 3. firmware와 Linux 번호 공간의 연결왼쪽부터 신호나 데이터를 처리하는 순서를 나타냅니다. 각 단계에서 확인할 항목을 함께 표시했습니다.
01 PHY resolved mode
02 phylink validate
03 MAC config
04 PCS sync
05 MAC link_up
06 carrier on
그림 4. 입력, 소유권, 완료 조건의 경계완료 조건을 충족하기 전에는 다음 계층이 해당 자원을 재사용하면 안 됩니다.
INPUT

PHY 전원과 reference clock, reset, magnetics/connector, MAC-PHY interface와 MDIO bus

OWNER

PHY는 line link와 negotiation, MAC은 frame/DMA, phylib/phylink는 두 hardware state의 Linux 동기화를 소유

OUTPUT

speed/duplex/pause가 합의되고 MAC clock과 datapath가 같은 mode로 설정된 carrier-on net_device

DONE

`ethtool` link detected와 실제 frame RX/TX counter가 모두 증가하고 error counter가 안정적

PHY, MDIO, PCS와 MAC 경계를 분해하는 상세 매뉴얼

링크 LED나 `ethtool` 한 줄만으로 PHY 경계를 통과했다고 판정하지 않습니다. 전원과 strap부터 Clause 22/45 관리 프레임, auto-negotiation 결과, RGMII clock-data skew, SGMII/PCS in-band status, phylib/phylink callback까지 동일한 link 사건을 이어서 확인합니다.

공개적으로 다시 확인할 수 있는 자료

공개되지 않은 제조사 레지스터나 제품별 오프셋은 추측하지 않았습니다. 아래의 제조사 자료, 아키텍처 문서, Linux v6.18.37 원본으로 확인할 수 있는 내용만 다뤘습니다.

Linux phylink

PHY, fixed-link, in-band PCS와 MAC callback의 관계

읽어야 할 상태와 해석

같은 동작에 대한 활성화 상태, 처리 상태, 자원 소유권, 완료 레지스터 값을 함께 기록합니다. 읽으면 지워지는 비트나 1을 써야 지워지는 비트가 있는지는 먼저 데이터시트에서 확인합니다.

레지스터/상태소유 블록검증할 의미
BMCRClause 22 reg 0reset, autoneg enable/restart, speed/duplex control
BMSRClause 22 reg 1link, AN complete, capability와 latch-low 처리
PHYID1/2reg 2/3MDIO address와 PHY driver match
ANAR/ANLPARreg 4/5local/partner 10/100과 pause advertisement
1000BASE-T Ctrl/Statreg 9/101000 capability와 master/slave resolution
MAC/PCS statusMAC specificresolved speed/duplex와 interface clock 상태

Linux v6.18.37 원본 코드와 줄별 해설

라인 번호를 고정해 외우는 대신 함수 선언을 기준으로 Linux v6.18.37 tree에서 다시 찾았습니다. 로컬 tree에 있는 파일은 실제 코드를 직접 싣고, 나머지는 원본 파일과 읽을 함수 좌표를 연결했습니다.

Linux v6.18.37 · 실제 원본 코드

stmmac이 MDIO 버스를 등록하고 펌웨어 설정에 따라 PHY 탐색을 결정하는 경로

drivers/net/ethernet/stmicro/stmmac/stmmac_mdio.c:577-716

577int stmmac_mdio_register(struct net_device *ndev)
578{
579	int err = 0;
580	struct mii_bus *new_bus;
581	struct stmmac_priv *priv = netdev_priv(ndev);
582	struct stmmac_mdio_bus_data *mdio_bus_data = priv->plat->mdio_bus_data;
583	struct device_node *mdio_node = priv->plat->mdio_node;
584	struct device *dev = ndev->dev.parent;
585	struct fwnode_handle *fixed_node;
586	struct fwnode_handle *fwnode;
587	int addr, found, max_addr;
588 
589	if (!mdio_bus_data)
590		return 0;
591 
592	stmmac_mdio_bus_config(priv);
593 
594	new_bus = mdiobus_alloc();
595	if (!new_bus)
596		return -ENOMEM;
597 
598	if (mdio_bus_data->irqs)
599		memcpy(new_bus->irq, mdio_bus_data->irqs, sizeof(new_bus->irq));
600 
601	new_bus->name = "stmmac";
602 
603	if (priv->plat->core_type == DWMAC_CORE_XGMAC) {
604		new_bus->read = &stmmac_xgmac2_mdio_read_c22;
605		new_bus->write = &stmmac_xgmac2_mdio_write_c22;
606		new_bus->read_c45 = &stmmac_xgmac2_mdio_read_c45;
607		new_bus->write_c45 = &stmmac_xgmac2_mdio_write_c45;
608 
609		if (priv->synopsys_id < DWXGMAC_CORE_2_20) {
610			/* Right now only C22 phys are supported */
611			max_addr = MII_XGMAC_MAX_C22ADDR + 1;
612 
613			/* Check if DT specified an unsupported phy addr */
614			if (priv->plat->phy_addr > MII_XGMAC_MAX_C22ADDR)
615				dev_err(dev, "Unsupported phy_addr (max=%d)\n",
616					MII_XGMAC_MAX_C22ADDR);
617		} else {
618			/* XGMAC version 2.20 onwards support 32 phy addr */
619			max_addr = PHY_MAX_ADDR;
620		}
621	} else {
622		new_bus->read = &stmmac_mdio_read_c22;
623		new_bus->write = &stmmac_mdio_write_c22;
624		if (priv->plat->core_type == DWMAC_CORE_GMAC4) {
625			new_bus->read_c45 = &stmmac_mdio_read_c45;
626			new_bus->write_c45 = &stmmac_mdio_write_c45;
627		}
628 
629		max_addr = PHY_MAX_ADDR;
630	}
631 
632	if (mdio_bus_data->needs_reset)
633		new_bus->reset = &stmmac_mdio_reset;
634 
635	snprintf(new_bus->id, MII_BUS_ID_SIZE, "%s-%x",
636		 new_bus->name, priv->plat->bus_id);
637	new_bus->priv = ndev;
638	new_bus->phy_mask = mdio_bus_data->phy_mask | mdio_bus_data->pcs_mask;
639	new_bus->parent = priv->device;
640 
641	err = of_mdiobus_register(new_bus, mdio_node);
642	if (err == -ENODEV) {
643		err = 0;
644		dev_info(dev, "MDIO bus is disabled\n");
645		goto bus_register_fail;
646	} else if (err) {
647		dev_err_probe(dev, err, "Cannot register the MDIO bus\n");
648		goto bus_register_fail;
649	}
650 
651	/* Looks like we need a dummy read for XGMAC only and C45 PHYs */
652	if (priv->plat->core_type == DWMAC_CORE_XGMAC)
653		stmmac_xgmac2_mdio_read_c45(new_bus, 0, 0, 0);
654 
655	/* If fixed-link is set, skip PHY scanning */
656	fwnode = priv->plat->port_node;
657	if (!fwnode)
658		fwnode = dev_fwnode(priv->device);
659 
660	if (fwnode) {
661		fixed_node = fwnode_get_named_child_node(fwnode, "fixed-link");
662		if (fixed_node) {
663			fwnode_handle_put(fixed_node);
664			goto bus_register_done;
665		}
666	}
667 
668	if (priv->plat->phy_node || mdio_node)
669		goto bus_register_done;
670 
671	found = 0;
672	for (addr = 0; addr < max_addr; addr++) {
673		struct phy_device *phydev = mdiobus_get_phy(new_bus, addr);
674 
675		if (!phydev)
676			continue;
677 
678		/*
679		 * If an IRQ was provided to be assigned after
680		 * the bus probe, do it here.
681		 */
682		if (!mdio_bus_data->irqs &&
683		    (mdio_bus_data->probed_phy_irq > 0)) {
684			new_bus->irq[addr] = mdio_bus_data->probed_phy_irq;
685			phydev->irq = mdio_bus_data->probed_phy_irq;
686		}
687 
688		/*
689		 * If we're going to bind the MAC to this PHY bus,
690		 * and no PHY number was provided to the MAC,
691		 * use the one probed here.
692		 */
693		if (priv->plat->phy_addr == -1)
694			priv->plat->phy_addr = addr;
695 
696		phy_attached_info(phydev);
697		found = 1;
698	}
699 
700	if (!found && !mdio_node) {
701		dev_warn(dev, "No PHY found\n");
702		err = -ENODEV;
703		goto no_phy_found;
704	}
705 
706bus_register_done:
707	priv->mii = new_bus;
708 
709	return 0;
710 
711no_phy_found:
712	mdiobus_unregister(new_bus);
713bus_register_fail:
714	mdiobus_free(new_bus);
715	return err;
716}

Linux v6.18.37 · 실제 원본 코드

속도·듀플렉스·링크 상태를 초기화한 뒤 MAC 설정 콜백을 호출하는 경로

drivers/net/phy/phylink.c:995-1016

phylink_link_up()

995static void phylink_mac_config(struct phylink *pl,
996			       const struct phylink_link_state *state)
997{
998	struct phylink_link_state st = *state;
999 
1000	/* Stop drivers incorrectly using these */
1001	linkmode_zero(st.lp_advertising);
1002	st.speed = SPEED_UNKNOWN;
1003	st.duplex = DUPLEX_UNKNOWN;
1004	st.an_complete = false;
1005	st.link = false;
1006 
1007	phylink_dbg(pl,
1008		    "%s: mode=%s/%s/%s adv=%*pb pause=%02x\n",
1009		    __func__, phylink_an_mode_str(pl->act_link_an_mode),
1010		    phy_modes(st.interface),
1011		    phy_rate_matching_to_str(st.rate_matching),
1012		    __ETHTOOL_LINK_MODE_MASK_NBITS, st.advertising,
1013		    st.pause);
1014 
1015	pl->mac_ops->mac_config(pl->config, pl->act_link_an_mode, &st);
1016}

Linux v6.18.37 · 실제 원본 코드

phylink_resolve() 후반: MAC 재설정과 링크 up/down 콜백 호출

drivers/net/phy/phylink.c:1680-1718

phylink_resolve() 전체

1680	if (pl->act_link_an_mode != MLO_AN_FIXED)
  1681		phylink_apply_manual_flow(pl, &link_state);
  1682 
  1683	if (mac_config) {
  1684		if (link_state.interface != pl->link_config.interface) {
  1685			/* The interface has changed, force the link down and
  1686			 * then reconfigure.
  1687			 */
  1688			if (cur_link_state) {
  1689				phylink_link_down(pl);
  1690				cur_link_state = false;
  1691			}
  1692			phylink_major_config(pl, false, &link_state);
  1693			pl->link_config.interface = link_state.interface;
  1694		}
  1695	}
  1696 
  1697	/* If configuration of the interface failed, force the link down
  1698	 * until we get a successful configuration.
  1699	 */
  1700	if (pl->major_config_failed)
  1701		link_state.link = false;
  1702 
  1703	if (link_state.link != cur_link_state) {
  1704		pl->old_link_state = link_state.link;
  1705		if (!link_state.link)
  1706			phylink_link_down(pl);
  1707		else
  1708			phylink_link_up(pl, link_state);
  1709	}
  1710	if (!link_state.link && retrigger) {
  1711		pl->link_failed = false;
  1712		queue_work(system_power_efficient_wq, &pl->resolve);
  1713	}
  1714	mutex_unlock(&pl->state_mutex);
  1715	if (phy)
  1716		mutex_unlock(&phy->lock);
  1717	mutex_unlock(&pl->phydev_mutex);
  1718}

Linux v6.18.37 · 원본 좌표

Documentation/devicetree/bindings/net/ethernet-controller.yaml

board wiring을 Linux firmware description으로 옮기는 binding

읽을 함수
phy-mode
읽을 함수
phy-handle
읽을 함수
fixed-link

Linux v6.18.37 원본 파일 열기 →

실제 장비에서 확인하는 순서

  1. Electrical

    실행 reset, MDC/MDIO와 RGMII/SGMII clock을 계측한다.

    통과 기준 datasheet timing과 voltage, MDC period가 범위 안이어야 한다.

  2. PHY

    실행 BMCR/BMSR/PHY ID와 AN advertisement를 raw로 저장한다.

    통과 기준 `ethtool` 결과가 raw resolution과 일치해야 한다.

  3. Interface

    실행 RGMII delay 설정과 실제 clock-data skew를 확인한다.

    통과 기준 delay가 0회 또는 정확히 1회 적용돼야 한다.

  4. Linux

    실행 `ethtool -S`와 `ip -s link`를 traffic 전후 비교한다.

    통과 기준 good frame과 error counter의 증가 위치로 PHY/MAC/DMA를 나눈다.

  5. Corner

    실행 cold boot, warm reset, cable reconnect, 10/100/1000 peer를 반복한다.

    통과 기준 각 mode 전환에서 carrier와 MAC mode가 같은 값으로 수렴해야 한다.

처음 끊긴 경계로 원인을 좁히기

관측 결과우선 의심할 경계다음 증거
PHY ID 0xffffMDIO pull-up/address/clock/reset 문제logic analyzer와 PHY reset
AN complete 안 됨cable/pair/advertisement/master-slave 문제BMSR, partner ability, PHY diagnostics
carrier는 ON, CRC 폭증RGMII delay/clock edge/MAC mode 불일치MAC CRC와 PHY symbol error 비교
한 속도에서만 실패interface clock 또는 pair/SI margin 문제속도별 clock과 error counter
link flappower/clock, EEE, PHY interrupt 또는 cable marginstate timestamp와 raw PHY status

핵심은 마지막 오류 메시지가 아니라 처음 기대값과 달라진 checkpoint입니다. 그보다 아래의 통과 증거와 그 지점의 실패 증거를 한 묶음으로 남겨야 수정의 효과도 검증할 수 있습니다.