2026-06-02

H.264 FU-A RTP 조각화 수정: RTSP 비디오가 손상된 이유(패킷 손실, NAL 재조립)

H.264 FU-A RTP 조각화로 인해 손상된 RTSP 비디오를 수정합니다. 누락된 조각, 시작/끝 비트 버그, NAL 재조립 실패, 패킷 손실, MTU 및 실제 진단 명령으로 디코더 오류를 해결합니다.

RTP를 통한 H.264는 디코더 버그처럼 보이지만 실제로는 패킷화 문제입니다. RTSP 세션이 작동합니다. DESCRIBE는 유효한 SDP를 반환합니다. 설정이 성공했습니다. PLAY는 200 OK를 반환합니다. RTP 패킷은 H.264에 매핑된 올바른 페이로드 유형으로 도착합니다. 그럼에도 불구하고 비디오에는 블록 손상, 정지, 블랙 프레임 또는 디코더 오류가 표시됩니다.

로그에 오류가 다음과 같이 표시됩니다.

[h264 @ 0x...] invalid NAL unit size
[h264 @ 0x...] missing picture in access unit
[h264 @ 0x...] non-existing PPS 0 referenced
[h264 @ 0x...] decode_slice_header error
[h264 @ 0x...] no frame!

The fast answer

Why fragmentation exists

The structure of an FU-A packet

Each FU-A RTP packet contains:

Byte 0: FU indicator
  bit 7: F (forbidden_zero_bit) — normally 0
  bits 6-5: NRI (nal_ref_idc) — priority
  bits 4-0: Type = 28 (FU-A)
Byte 1: FU header
  bit 7: S (Start) — 1 for first fragment
  bit 6: E (End) — 1 for last fragment
  bit 5: R (Reserved) — always 0
  bits 4-0: Type — original NAL unit type (1=non-IDR, 5=IDR, 7=SPS, 8=PPS)
Byte 2+: Fragment payload — the actual NAL unit data

하나의 NAL 단위에 대한 완전한 FU-A 시퀀스:

Packet 1: FU indicator (type=28) | FU header (S=1, E=0, type=5) | payload[0..N]
Packet 2: FU indicator (type=28) | FU header (S=0, E=0, type=5) | payload[N+1..M]
Packet 3: FU indicator (type=28) | FU header (S=0, E=0, type=5) | payload[M+1..P]
Packet 4: FU indicator (type=28) | FU header (S=0, E=1, type=5) | payload[P+1..END]

The RTP marker bit

Failure modes: what breaks and why

Failure 1: Missing middle fragment

Expected:  1000(S)  1001(M)  1002(M)  1003(E|marker)
Received:  1000(S)  1001(M)  [LOST]   1003(E|marker)

리어셈블러는 시작 조각, 중간 조각, 끝 조각을 확인하지만 페이로드 바이트는 연결되지 않습니다. 재조립된 NAL 유닛에 간격이 있습니다.

증상:

프레임 가로띠의 손상 차단
디코더가 "잘못된 NAL 단위 크기"를 보고합니다.
손상은 하나의 액세스 단위로 제한됩니다(다음 IDR에서 삭제됨)

실패 2: 시작 조각 누락

Expected:  1000(S)  1001(M)  1002(E)
Received:  [LOST]   1001(M)  1002(E)

Failure 3: Missing end fragment

Expected:  1000(S)  1001(M)  1002(E|marker)
Received:  1000(S)  1001(M)  [LOST]

리어셈블러는 끝 조각을 볼 수 없습니다. NAL 단위 경계는 확인되지 않습니다. 디코더는 도착하지 않는 추가 데이터를 기다립니다.

증상:

비디오가 멈춤
디코더가 "액세스 장치에 사진이 없음"을 보고함
다음 완전한 액세스 장치가 도착할 때까지 재생이 중단됩니다.

실패 4: 순서가 잘못된 조각

Expected:  1000(S)  1001(M)  1002(E)
Received:  1000(S)  1002(E)  1001(M)

Diagnostic workflow

Step 1: Confirm H.264 payload mapping

m=video 0 RTP/AVP 96
a=rtpmap:96 H264/90000
a=fmtp:96 packetization-mode=1;profile-level-id=4D0029;sprop-parameter-sets=...

packetization-mode=1은 비인터리브 모드(FU-A 지원)를 의미합니다.
packetization-mode=0은 단일 NAL 단위 모드(조각화 없음 - 매우 제한됨)를 의미합니다.

2단계: RTP 시퀀스 번호 추적

캡처에서 비디오 트랙의 RTP 시퀀스 번호를 확인하세요. 간격은 패킷 손실을 나타냅니다.

Seq 1000: FU-A Start, NAL type 5 (IDR)
Seq 1001: FU-A middle
Seq 1003: FU-A End, marker=1   ← gap at 1002

Step 3: Inspect FU-A headers

Byte 0 (FU indicator):
  0x7C = NRI=3, Type=28 (FU-A)

바이트 1(FU 헤더):
  0x85 = S=1, E=0, R=0, Type=5 (IDR 슬라이스) ← IDR의 시작 조각
  0x45 = S=0, E=0, R=0, 유형=5 ← 중간 조각
  0x65 = S=0, E=1, R=0, 유형=5 ← 끝 조각. 이 NAL이 액세스 유닛을 끝낼 때만 마커 설정

찾아야 할 잘못된 값:

시작되지 않은 패킷에서 S=1 → 리어셈블러 혼란
E=1 전에 마커 설정 → 잘못된 액세스 유닛 경계
뒤에 다른 NAL 유닛이 오면 E=1이고 마커가 없어도 올바를 수 있음
시퀀스 중간에 유형 변경 → 인코더 버그 또는 스트림 손상

4단계: 재조립이 완료되었는지 확인

각 NAL 단위에 대해:

시작 조각 찾기(S=1)
끝 조각(E=1)까지 연속된 시퀀스 번호를 따릅니다.
조각을 세어보세요. 시퀀스 간격이 없는지 확인
마커를 액세스 유닛 경계와 비교하고 모든 FU-A 끝 조각에 요구하지 마세요.
모든 조각의 타임스탬프와 NAL 유형이 동일한지 확인하세요.

5단계: 교통수단 비교

UDP 및 TCP 인터리브를 통해 동일한 스트림을 실행합니다. 비디오가 TCP에서는 깨끗하지만 UDP에서는 손상된 경우 문제는 인코더나 디코더 문제가 아니라 네트워크 패킷 손실입니다.

6단계: IDR과 비IDR 분석

IDR 프레임은 더 크고 NAL 단위당 더 많은 FU-A 조각이 필요합니다. 조각이 많을수록 패킷 손실에 더 많이 노출됩니다. 대부분 장면 변경 시 또는 몇 초마다(IDR 간격으로) 손상이 나타나는 경우 IDR 프레임이 피해자가 됩니다.

수정 옵션:

IDR 프레임 크기를 줄입니다(키프레임의 해상도 또는 비트 전송률을 줄입니다).
IDR 간격을 늘립니다(대형 프레임 수는 줄어들지만 손실 복구 속도는 느려짐).
인코더에서 FU-A에 대한 MTU 감소(조각이 많아지지만 각 조각은 더 작고 IP 조각화를 유발할 가능성이 낮음)

복구 전략

재조립기에서

디코더에 부분 데이터를 공급하는 대신 손상된 액세스 단위를 완전히 삭제합니다.
RTCP를 통해 새 IDR 프레임 요청(카메라에서 지원하는 경우)
다음 IDR 프레임을 기다립니다(디코더가 자동으로 복구됨).

인코더에서

액세스 단위당 조각을 줄이기 위해 NAL 단위 크기 제한을 낮춥니다.
전체 IDR 프레임(더 작은 키프레임) 대신 주기적인 내부 새로 고침을 사용합니다.
RTP 스택이 지원하는 경우 FEC(Forward Error Correction)를 활성화합니다.

네트워크에서

패킷 손실이 불가피한 경우 UDP에서 TCP 인터리브로 전환하세요.
경로 MTU 검색이 작동하는지 확인(IP 조각화 방지)
혼잡한 링크에서 RTP 트래픽 우선순위 지정

FU-A가 아닐 때

모든 H.264 손상이 FU-A 조각화인 것은 아닙니다. 확인하다:

SPS/PPS 누락: "존재하지 않는 PPS"와 같은 디코더 오류 — SDP sprop-parameter-sets를 확인하세요.
잘못된 프로필/레벨: 디코더가 스트림 복잡성을 처리할 수 없습니다.
인코더 버그: 인코더가 잘못된 NAL 단위 구문을 생성합니다.
소스의 비트스트림 손상: 네트워크가 아닌 카메라의 인코더가 손상되었습니다.

RTP 패킷이 완벽한 시퀀스 번호와 올바른 FU-A 헤더와 함께 도착했지만 디코더가 여전히 실패하는 경우 문제는 전송이 아니라 H.264 비트스트림 자체에 있는 것입니다.

“H.264 FU-A RTP 조각화 수정: RTSP 비디오가 손상된 이유(패킷 손실, NAL 재조립)”을 재현 가능하게 검증하는 방법

직접적인 답은 검은 화면이나 상태 코드 하나만으로 장애 위치를 증명할 수 없다는 것입니다. 신뢰할 수 있는 진단은 RTSP 요청과 응답, 합의된 Transport, 유효한 Session, 이어지는 RTP 시퀀스 번호와 타임스탬프, RTCP 근거를 하나의 시간선으로 연결합니다. “H.264 FU-A RTP 조각화 수정: RTSP 비디오가 손상된 이유(패킷 손실, NAL 재조립)”에서는 보이는 증상에 가까운 계층부터 시작하되 제어, 네트워크, 디코더 문제를 섞지 않도록 같은 기록 시계를 사용합니다.

카메라, 방화벽, VMS 설정을 바꾸기 전에 작은 기준 시험을 만드십시오. 비밀번호를 제거한 RTSP URL, 시험 시각, 경로, 요청 Transport, 서버 응답, 첫 미디어 패킷 도착 시각을 기록합니다. 장비가 지원하면 UDP와 TCP interleaved를 따로 시험합니다. 경로, 자격 증명, Transport를 동시에 바꾸면 두 번째 성공을 만든 변수를 알 수 없습니다.

검사 계층	보존할 근거	판단 질문
RTSP	메서드, 상태, 헤더, CSeq, Session	서버가 해당 작업을 수락했는가
SDP	control, payload type, clock rate, codec	기대한 트랙을 설명하는가
Transport	client_port, server_port, interleaved	양쪽이 같은 채널을 사용하는가
RTP	SSRC, sequence, timestamp, marker	미디어 단위가 설명 가능한 순서로 도착하는가
RTCP	sender report, CNAME, BYE	시계, 식별자, 종료를 추적할 수 있는가
Decoder	SPS/PPS/VPS, packetization mode	수신 payload로 초기화할 수 있는가

“미디어가 오지 않음”과 “미디어는 오지만 디코딩할 수 없음”을 분리합니다. SETUP과 PLAY가 성공했는데 RTP가 없으면 UDP 경로, NAT, 방화벽, Transport 응답을 확인합니다. 시퀀스 공백은 손실이나 재정렬을 증명합니다. 연속 RTP가 있는데 영상이 없으면 payload type, clock rate, 프레임 경계, H.264 또는 H.265 파라미터로 이동합니다. 이 경계가 플레이어의 일반 오류 문구보다 더 유용합니다.

인용 가능한 짧은 답은 어떻게 작성합니까

마지막 성공 작업, 처음 실패한 근거, 두 원인을 나누는 다음 시험을 세 문장으로 씁니다. 예: “DESCRIBE, SETUP, PLAY는 성공했다. 알린 클라이언트 포트에 RTP가 도착하지 않는다. TCP interleaved 재시험으로 UDP 차단과 미디어 경로 오류를 구분한다.” 응답이나 패킷 없이 카메라 또는 네트워크 전체를 원인으로 단정하지 마십시오.

재현에 필요한 최소 정보는 무엇입니까

OPTIONS, DESCRIBE, SETUP, PLAY, SDP, Transport 응답, 비밀을 제거한 Session을 보존합니다. RTP에는 SSRC, 첫 번째와 마지막 sequence, clock rate, 공백 수, 캡처 시간을 기록합니다. VLC나 다른 VMS의 성공 여부는 차이 시험이지만 성공한 클라이언트가 모든 규칙을 올바르게 처리한다는 증명은 아닙니다.

서버와 클라이언트 중 어디를 확인합니까

메서드 거부, 존재하지 않는 control URL, 호환되지 않는 Transport, 설명 없는 SSRC나 시계 변경은 서버를 확인합니다. 만료 nonce 재사용, Session 누락, 포트를 열지 않은 UDP 요청, 모든 NAL 끝을 access unit 끝으로 취급하는 동작은 클라이언트를 확인합니다. 중간 경로 문제라면 각 결론에 패킷과 시각을 붙입니다.

보고서를 전달하기 전에 무엇을 확인합니까

새 연결로 다시 시험하고 두 시간선을 첫 차이까지만 비교합니다. 비밀번호와 전체 Authorization 값을 제거하고 결론을 CSeq, sequence, timestamp에 연결합니다. 관련 RTSP 안내서에서 인접 단계를 확인하고 RTSP Inspector로 RTSP 스트림을 로컬에서 시험하십시오. 카메라 영상을 공개 서비스에 업로드할 필요가 없습니다.

재시험 결과에는 통과 조건도 적으십시오. 같은 URL과 자격 증명으로 제어 요청이 성공하고, 선택한 Transport에서 RTP가 연속적으로 도착하며, 필요한 코덱 파라미터 뒤에 실제 프레임이 복원되어야 통과입니다. 재연결 뒤 Session이나 SSRC가 바뀌는 것은 그 자체로 오류가 아니므로 이전 연결과 새 연결을 섞어 비교하지 마십시오. 남은 불확실성은 “카메라 문제”처럼 넓게 쓰지 말고 확인하지 못한 포트, 트랙, 시간 구간 또는 디코더 조건으로 제한합니다.

직접 답변과 인수 경계

“H.264 FU-A RTP 조각화 수정: RTSP 비디오가 손상된 이유(패킷 손실, NAL 재조립)”에 대한 짧은 답은 다음과 같습니다. H.264 FU-A RTP 조각화로 인해 손상된 RTSP 비디오를 수정합니다. 누락된 조각, 시작/끝 비트 버그, NAL 재조립 실패, 패킷 손실, MTU 및 실제 진단 명령으로 디코더 오류를 해결합니다. 이 문장을 모든 입력, 장치, 프로젝트, 환경에 대한 약속이 아니라 검증할 결과로 다루십시오. 완료된 결과에는 시작 상태, 정확한 작업, 보이는 출력, RTSP Inspector에서 작업이 끝났음을 증명하는 조건이 기록됩니다.

근거 우선 작업 절차

전체 프로젝트를 바꾸기 전에 작고 반복 가능한 사례에서 시작하십시오. 앱 버전, 운영체제, 입력 또는 장치 식별, 관련 설정과 예상 결과를 기록합니다. 한 가지 의도적인 작업을 실행하고 첫 예상 밖 전환을 보존하며 가능한 경우 정상 사례와 비교합니다. 여러 설정을 동시에 바꾸면 문제를 만든 조건이나 해결한 조건을 알 수 없습니다.

확인점 1: H.264 FU-A RTP 조각화 수정: RTSP 비디오가 손상된 이유(패킷 손실, NAL 재조립)

“H.264 FU-A RTP 조각화 수정: RTSP 비디오가 손상된 이유(패킷 손실, NAL 재조립)”은 가장 작고 대표적인 입력으로 검증합니다. 관련 없는 설정은 유지하고 같은 작업을 반복하며 다시 열거나 연결한 뒤에도 결과가 유지되는지 확인합니다. 한 장의 화면보다 입력, 설정, 작업, 출력, 시간이 포함된 기록이 강합니다.

확인점 2: H.264 FU-A RTP 조각화로 인해 손상된 RTSP 비디오를 수정합니다. 누락된 조각, 시작/끝 비트 버그, NAL 재조립 실패, 패킷 손실, MTU 및 실

“H.264 FU-A RTP 조각화로 인해 손상된 RTSP 비디오를 수정합니다. 누락된 조각, 시작/끝 비트 버그, NAL 재조립 실패, 패킷 손실, MTU 및 실제 진단 명령으로 디코더 오류를 해결합니다.”이 모호하면 조건을 맞춘 정상 사례와 실패 사례를 비교합니다. 이후의 모든 증상보다 처음 나타난 의미 있는 차이를 표시하십시오. 이 경계가 더 명확한 지원 요청과 안전한 다음 실험을 만듭니다.

확인점 3: The fast answer

“The fast answer”은 가장 작고 대표적인 입력으로 검증합니다. 관련 없는 설정은 유지하고 같은 작업을 반복하며 다시 열거나 연결한 뒤에도 결과가 유지되는지 확인합니다. 한 장의 화면보다 입력, 설정, 작업, 출력, 시간이 포함된 기록이 강합니다.

확인점 4: Why fragmentation exists

“Why fragmentation exists”이 모호하면 조건을 맞춘 정상 사례와 실패 사례를 비교합니다. 이후의 모든 증상보다 처음 나타난 의미 있는 차이를 표시하십시오. 이 경계가 더 명확한 지원 요청과 안전한 다음 실험을 만듭니다.

확인점 5: The structure of an FU-A packet

“The structure of an FU-A packet”은 가장 작고 대표적인 입력으로 검증합니다. 관련 없는 설정은 유지하고 같은 작업을 반복하며 다시 열거나 연결한 뒤에도 결과가 유지되는지 확인합니다. 한 장의 화면보다 입력, 설정, 작업, 출력, 시간이 포함된 기록이 강합니다.

확인점 6: The RTP marker bit

“The RTP marker bit”이 모호하면 조건을 맞춘 정상 사례와 실패 사례를 비교합니다. 이후의 모든 증상보다 처음 나타난 의미 있는 차이를 표시하십시오. 이 경계가 더 명확한 지원 요청과 안전한 다음 실험을 만듭니다.

확인점 7: Failure modes: what breaks and why

“Failure modes: what breaks and why”은 가장 작고 대표적인 입력으로 검증합니다. 관련 없는 설정은 유지하고 같은 작업을 반복하며 다시 열거나 연결한 뒤에도 결과가 유지되는지 확인합니다. 한 장의 화면보다 입력, 설정, 작업, 출력, 시간이 포함된 기록이 강합니다.

확인점 8: Failure 1: Missing middle fragment

“Failure 1: Missing middle fragment”이 모호하면 조건을 맞춘 정상 사례와 실패 사례를 비교합니다. 이후의 모든 증상보다 처음 나타난 의미 있는 차이를 표시하십시오. 이 경계가 더 명확한 지원 요청과 안전한 다음 실험을 만듭니다.

확인점 9: 실패 2: 시작 조각 누락

“실패 2: 시작 조각 누락”은 가장 작고 대표적인 입력으로 검증합니다. 관련 없는 설정은 유지하고 같은 작업을 반복하며 다시 열거나 연결한 뒤에도 결과가 유지되는지 확인합니다. 한 장의 화면보다 입력, 설정, 작업, 출력, 시간이 포함된 기록이 강합니다.

확인점 10: Failure 3: Missing end fragment

“Failure 3: Missing end fragment”이 모호하면 조건을 맞춘 정상 사례와 실패 사례를 비교합니다. 이후의 모든 증상보다 처음 나타난 의미 있는 차이를 표시하십시오. 이 경계가 더 명확한 지원 요청과 안전한 다음 실험을 만듭니다.

인수 매트릭스

확인점	보존할 근거	통과 조건
H.264 FU-A RTP 조각화 수정: RTSP 비디오가 손상된 이유(패킷 손실, NAL 재조립)	시작 상태, 한 작업, 결과 상태	두 번째 담당자가 같은 결과를 재현한다
H.264 FU-A RTP 조각화로 인해 손상된 RTSP 비디오를 수정합니다. 누락된 조각, 시작/끝 비트 버그, NAL 재조립 실패, 패킷 손실, MTU 및 실제 진단 명령으로 디코더 오류를 해결합니다.	시작 상태, 한 작업, 결과 상태	두 번째 담당자가 같은 결과를 재현한다
The fast answer	시작 상태, 한 작업, 결과 상태	두 번째 담당자가 같은 결과를 재현한다
Why fragmentation exists	시작 상태, 한 작업, 결과 상태	두 번째 담당자가 같은 결과를 재현한다
The structure of an FU-A packet	시작 상태, 한 작업, 결과 상태	두 번째 담당자가 같은 결과를 재현한다
The RTP marker bit	시작 상태, 한 작업, 결과 상태	두 번째 담당자가 같은 결과를 재현한다

실패 분리, 복구, 인계

처음 실패한 경계에서 멈추십시오. 소스, 프로젝트, 세션 또는 캡처를 보존하고 파괴적 편집 전에 복사하며 실험마다 한 변수만 변경합니다. 여러 변경 뒤 전체 흐름을 반복해 결과가 달라져도 원인은 설명되지 않습니다.

근거가 없는 것과 없다는 근거를 구분하십시오. 빈 화면은 잘못된 입력, 범위, 필터, 권한, 장치, 시간대 또는 프로젝트 상태일 수 있습니다. decoder, 편집기, 보고서, 내보내기를 해석하기 전에 획득 또는 가져오기 경로를 확인합니다.

인계 전에 결과물을 다시 열어 시작, 판단 지점, 끝을 확인합니다. 버전, 플랫폼, 설정, 기대, 관찰, 최소 재현을 기록합니다. 민감한 내용을 제거하거나 가리고 수신자의 권한을 확인합니다.

질문과 답변

가장 빠르고 신뢰할 수 있는 시작 방법은 무엇입니까?

가장 작고 대표적인 사례를 사용하고 예상 결과를 적은 뒤 한 변수만 바꿉니다. 필터, 효과, 편집, 자동화 또는 큰 소스를 추가하기 전에 기본 경로를 확인합니다.

어떤 근거를 저장해야 합니까?

입력 식별, 버전, 플랫폼, 설정, 정확한 작업, 첫 예상 밖 전환, 최종 출력을 보존합니다. 프로젝트, 세션, 보고서 또는 내보내기는 닫고 다시 열어 확인합니다.

언제 절차를 반복해야 합니까?

앱, 운영체제, driver, firmware, 모델, 소스 또는 작업 흐름의 변경이 결과에 영향을 줄 수 있을 때입니다. 이전에 통과한 사례를 변경하지 않은 기준선으로 유지합니다.

언제 인계할 수 있습니까?

권한 있는 다른 사람이 입력을 식별하고 작업을 반복하여 같은 결과를 보고 남은 제한을 이해하며 기록되지 않은 로컬 상태 없이 결과물을 열 수 있을 때입니다.