Исправление фрагментации H.264 FU-A RTP: почему ваше RTSP-видео не работает (потеря пакетов, повторная сборка NAL)

H.264 через RTP дает сбои, которые выглядят как ошибки декодера, но на самом деле являются проблемами пакетизации. Сеанс RTSP работает. DESCRIBE возвращает действительный SDP. НАСТРОЙКА прошла успешно. PLAY возвращает 200 ОК. Пакеты RTP поступают с правильным типом полезной нагрузки, сопоставленным с H.264. Тем не менее, на видео видны повреждения блоков, зависания, черные кадры или ошибки декодера.

В ваших журналах ошибки выглядят следующим образом:

[h264 @ 0x...] invalid NAL unit size
[h264 @ 0x...] missing picture in access unit
[h264 @ 0x...] non-existing PPS 0 referenced
[h264 @ 0x...] decode_slice_header error
[h264 @ 0x...] no frame!

The fast answer

Why fragmentation exists

The structure of an FU-A packet

Each FU-A RTP packet contains:

Byte 0: FU indicator
  bit 7: F (forbidden_zero_bit) — normally 0
  bits 6-5: NRI (nal_ref_idc) — priority
  bits 4-0: Type = 28 (FU-A)
Byte 1: FU header
  bit 7: S (Start) — 1 for first fragment
  bit 6: E (End) — 1 for last fragment
  bit 5: R (Reserved) — always 0
  bits 4-0: Type — original NAL unit type (1=non-IDR, 5=IDR, 7=SPS, 8=PPS)
Byte 2+: Fragment payload — the actual NAL unit data

Полная последовательность FU-A для одного блока NAL:

Packet 1: FU indicator (type=28) | FU header (S=1, E=0, type=5) | payload[0..N]
Packet 2: FU indicator (type=28) | FU header (S=0, E=0, type=5) | payload[N+1..M]
Packet 3: FU indicator (type=28) | FU header (S=0, E=0, type=5) | payload[M+1..P]
Packet 4: FU indicator (type=28) | FU header (S=0, E=1, type=5) | payload[P+1..END]

The RTP marker bit

Failure modes: what breaks and why

Failure 1: Missing middle fragment

Expected:  1000(S)  1001(M)  1002(M)  1003(E|marker)
Received:  1000(S)  1001(M)  [LOST]   1003(E|marker)

Повторный ассемблер видит начальный фрагмент, один средний фрагмент, затем конечный фрагмент, но байты полезной нагрузки не соединяются. В собранном блоке NAL имеется зазор.

Симптомы:

• Блок коррупции в горизонтальной полосе кадра
• Декодер сообщает «неверный размер блока NAL».
• Коррупция ограничена одной единицей доступа (сбрасывается при следующем РДЭ)

Ошибка 2: отсутствует начальный фрагмент.

Expected:  1000(S)  1001(M)  1002(E)
Received:  [LOST]   1001(M)  1002(E)

Failure 3: Missing end fragment

Expected:  1000(S)  1001(M)  1002(E|marker)
Received:  1000(S)  1001(M)  [LOST]

Переассемблер никогда не видит конечный фрагмент. Граница подразделения NAL никогда не подтверждается. Декодер ожидает новых данных, которые так и не приходят.

Симптомы:

• Видео зависает
• Декодер сообщает: «Отсутствует изображение в блоке доступа»
• Воспроизведение останавливается до прибытия следующего устройства полного доступа.

Ошибка 4: фрагменты не в порядке

Expected:  1000(S)  1001(M)  1002(E)
Received:  1000(S)  1002(E)  1001(M)

Diagnostic workflow

Step 1: Confirm H.264 payload mapping

m=video 0 RTP/AVP 96
a=rtpmap:96 H264/90000
a=fmtp:96 packetization-mode=1;profile-level-id=4D0029;sprop-parameter-sets=...

• packetization-mode=1 означает режим без чередования (поддерживается FU-A)
• packetization-mode=0 означает режим одного блока NAL (без фрагментации — очень ограничено)

Шаг 2. Отслеживание порядковых номеров RTP

При захвате посмотрите на порядковые номера RTP для видеодорожки. Пробелы указывают на потерю пакетов:

Seq 1000: FU-A Start, NAL type 5 (IDR)
Seq 1001: FU-A middle
Seq 1003: FU-A End, marker=1   ← gap at 1002

Step 3: Inspect FU-A headers

Byte 0 (FU indicator):
  0x7C = NRI=3, Type=28 (FU-A)

Байт 1 (заголовок FU):
  0x85 = S=1, E=0, R=0, Type=5 (срез IDR) ← начальный фрагмент IDR
  0x45 = S=0, E=0, R=0, Type=5 ← средний фрагмент
  0x65 = S=0, E=1, R=0, Type=5 ← конечный фрагмент; маркер только если эта NAL завершает единицу доступа

Неправильные значения для поиска:

• S=1 в незапускаемом пакете → путаница переассемблера
• Маркер установлен до E=1 → ложная граница единицы доступа
• E=1 без маркера может быть допустимым, если далее следует другая единица NAL
• Тип меняется в середине последовательности → ошибка кодировщика или повреждение потока.

Шаг 4. Проверьте полную сборку.

Для каждой единицы NAL:

1. Найти стартовый фрагмент (S=1)
2. Следуйте последовательным номерам последовательности до конечного фрагмента (E=1).
3. Сосчитайте фрагменты; проверить отсутствие пробелов в последовательности
4. Сопоставьте маркер с границей единицы доступа; не требуйте его для каждого конечного фрагмента FU-A.
5. Убедитесь, что все фрагменты имеют одинаковую метку времени и тип NAL.

Шаг 5. Сравните виды транспорта

Запустите один и тот же поток через UDP и TCP с чередованием. Если видео чистое по TCP, но поврежденное по UDP, проблема заключается в потере сетевых пакетов, а не в проблемах с кодером или декодером.

Шаг 6. Анализ РДЭ и не-РДЭ

Кадры IDR больше и требуют большего количества фрагментов FU-A на единицу NAL. Больше фрагментов = больше риска потери пакетов. Если искажения появляются в основном при смене сцен или каждые несколько секунд (с интервалом IDR), жертвой становятся кадры IDR.

Варианты исправления:

• Уменьшите размер кадра IDR (уменьшите разрешение или битрейт для ключевых кадров).
• Увеличьте интервал IDR (меньше больших кадров, но медленнее восстановление после потери)
• Уменьшите MTU для FU-A в кодере (больше фрагментов, но каждый меньше и с меньшей вероятностью вызовет фрагментацию IP).

Стратегии восстановления

На сборщике

• Отбрасывайте поврежденные блоки доступа полностью, а не подавайте частичные данные в декодер.
• Запросить новый кадр IDR через RTCP (если поддерживается камерой)
• Подождите следующего кадра IDR (декодер восстановится автоматически)

At the encoder

• Уменьшите предел размера единицы NAL, чтобы уменьшить количество фрагментов на единицу доступа.
• Используйте периодическое внутреннее обновление вместо полных кадров IDR (меньшие ключевые кадры).
• Включите FEC (прямое исправление ошибок), если стек RTP его поддерживает.

В сети

• Переключитесь с UDP на TCP с чередованием, если потеря пакетов неизбежна.
• Убедитесь, что обнаружение MTU пути работает (избегайте фрагментации IP)
• Приоритизация трафика RTP на перегруженных каналах

Когда это не ФУ-А

Не все повреждения H.264 являются фрагментацией FU-A. Проверять:

• Отсутствует SPS/PPS: Ошибки декодера, например «несуществующий PPS» — проверьте наборы параметров SDP sprop.
• Неправильный профиль/уровень: Декодер не справляется со сложностью потока.
• Ошибка кодировщика: Кодер выдает неверный синтаксис единицы NAL.
• Повреждение битового потока в источнике: Неисправен кодер камеры, а не сеть.

Если пакеты RTP приходят с правильными порядковыми номерами и правильными заголовками FU-A, но декодер все равно выходит из строя, проблема заключается в самом битовом потоке H.264, а не в транспорте.

<!-- rtsp-localized-evidence-foundation-v1:start -->

Воспроизводимая проверка темы «Исправление фрагментации H.264 FU-A RTP: почему ваше RTSP-видео не работает (потеря пакетов, повторная сборка NAL)»

Краткий ответ: чёрный экран или одиночный код не доказывает источник сбоя. Надёжная диагностика связывает запрос и ответ RTSP, согласованный Transport, действующую Session, а затем номера последовательности RTP, временные метки и данные RTCP. Для «Исправление фрагментации H.264 FU-A RTP: почему ваше RTSP-видео не работает (потеря пакетов, повторная сборка NAL)» начните с уровня, ближайшего к симптому, но сохраняйте единую временную шкалу, чтобы не смешать управление, сеть и декодирование.

До изменения камеры, межсетевого экрана или VMS создайте небольшой базовый тест. Запишите RTSP URL без пароля, время, путь, запрошенный Transport, ответ сервера и момент первого медиапакета. Проверяйте UDP и TCP interleaved отдельно, если устройство поддерживает оба режима. Не меняйте одновременно путь, учётные данные и транспорт: иначе успешная вторая попытка не покажет решающую переменную.

Уровень	Сохраняемое доказательство	Вопрос
RTSP	метод, статус, заголовки, CSeq и Session	Сервер принял именно эту операцию?
SDP	control, payload type, clock rate и codec	Описана ожидаемая дорожка?
Transport	client_port, server_port или interleaved	Обе стороны используют один канал?
RTP	SSRC, sequence, timestamp и marker	Медиаданные идут в объяснимом порядке?
RTCP	sender report, CNAME и BYE	Часы, идентичность и конец прослеживаются?
Decoder	SPS/PPS/VPS и packetization mode	Полученный payload позволяет инициализацию?

Разделяйте «медиа не пришло» и «медиа пришло, но не декодируется». Отсутствие RTP после успешных SETUP и PLAY ведёт к проверке UDP, NAT, firewall и ответа Transport. Пробелы последовательности доказывают потерю или перестановку. Непрерывный RTP без изображения переводит расследование к payload type, clock rate, границам кадра и параметрам H.264 или H.265. Эта граница полезнее общего сообщения проигрывателя.

Как написать цитируемый ответ?

Используйте три предложения: последняя успешная операция, первое отсутствующее доказательство и следующий разделяющий тест. Пример: «DESCRIBE, SETUP и PLAY успешны; RTP не приходит на объявленные порты клиента; проверка TCP interleaved отделит блокировку UDP от неверного медиапути». Не обвиняйте камеру или сеть без ответа либо пакета, подтверждающего границу.

Что делает случай воспроизводимым?

Сохраните OPTIONS, DESCRIBE, SETUP и PLAY, SDP, ответ Transport и очищенный Session. Для RTP запишите SSRC, первый и последний sequence, clock rate, число пробелов и длительность. Результат VLC или другой VMS используйте как дифференциальный тест, а не как доказательство правильной реализации всех правил успешным клиентом.

Когда проверять сервер или клиент?

Проверяйте сервер при отказе метода, несуществующем control URL, несовместимом Transport или необъяснимой смене SSRC или часов. Проверяйте клиент при повторном старом nonce, потере Session, запросе UDP без открытых портов или трактовке каждого конца NAL как конца access unit. Для промежуточной неисправности каждому выводу нужны пакет и время.

Как проверить отчёт?

Повторите тест с нового соединения и сравните временные шкалы до первого отличия. Удалите пароли и полные Authorization. Свяжите выводы с CSeq, sequence или timestamp. Используйте связанный справочник RTSP, а RTSP Inspector — для локальной проверки RTSP-потока и сбора доказательств без загрузки видео в публичный сервис.

Добавьте явный критерий приёмки. На том же URL и с теми же учётными данными управляющие запросы должны завершиться ожидаемыми статусами, RTP — непрерывно идти по выбранному Transport, а после нужных параметров кодека должен восстановиться реальный кадр. Смена Session или SSRC после нового подключения сама по себе не является ошибкой; не объединяйте пакеты старой и новой сессии. Оставшуюся неопределённость формулируйте как непроверенный порт, трек, интервал времени или условие декодера, а не как общий «сбой камеры».

<!-- rtsp-localized-evidence-foundation-v1:end --><!-- rtsp-localized-layer-verdicts-v1:start -->

От наблюдения к проверяемому послойному выводу

Для «Исправление фрагментации H.264 FU-A RTP: почему ваше RTSP-видео не работает (потеря пакетов, повторная сборка NAL)» сначала запишите наблюдение, затем интерпретацию. Наблюдение другой инженер может найти в захвате: статус RTSP с CSeq, значение SDP, ответ Transport, пробел последовательности, смена SSRC или разница RTP timestamp и RTCP sender report. «Сервер медленный» или «кодек несовместим» остаётся гипотезой, пока конкретное доказательство не объяснит результат лучше альтернатив.

Разделите путь на границы. Сначала открывается TCP, затем принимается OPTIONS или DESCRIBE. SDP описывает рабочую дорожку, control URL, payload type и clock rate. SETUP требует совместимого Transport, PLAY — действующей Session. После этого проверяются приход RTP, порядок, время и готовность декодера. Остановитесь на первой границе без доказательства успеха.

В сравнении сохраняйте источник и интервал. UDP и TCP interleaved проверяйте с одним путём и учётными данными. Main stream и sub stream — одним клиентом и транспортом. При сравнении VLC с VMS запишите реальные методы, заголовки и URL. Разница control URL, Authorization, Session или keepalive иногда объясняет результат лучше названия программы.

Матрица исключения

Начните с двух гипотез. При отсутствии медиа UDP может блокироваться или сервер может отправлять на другие порты. TCP interleaved проверяет первую; сравнение предложения и ответа Transport, IP и портов — вторую. При повреждённом изображении RTP sequence отделяет потери от неполной инициализации, а SPS/PPS/VPS перед первым frame проверяет параметры codec.

Для гипотезы запишите подтверждающее и опровергающее доказательство. Утверждение, которое нельзя опровергнуть пакетом, слишком широко. «NAT удаляет UDP» опровергается RTP на порту клиента. «Нет параметров H.264» опровергается действительными SPS и PPS перед IDR. Отчёт становится приоритетным выводом, а не списком вариантов.

Не смешивать время

RTSP CSeq упорядочивает транзакции, RTP sequence — пакеты, RTP timestamp — время выборки, capture clock — приход в точку наблюдения. Это разные часы. Неравномерный приход не доказывает drift; скачок timestamp без sequence не доказывает потерю. RTCP sender report связывает часы RTP аудио и видео с общей опорой.

Пакет приёмки

Закройте случай, когда исправление повторяется в новом соединении с одним документированным изменением. Укажите входы, последнюю успешную границу, первое отсутствующее доказательство, изменение, результат и открытые тесты. Приложите короткий transcript или статистику. Скройте секреты, но сохраните CSeq, очищенную Session, SSRC и интервал.

Устранение неполадок RTSP помогает повторить порядок, а отчёты RTSP Inspector передают доказанную границу команде камеры, сети или VMS.

<!-- rtsp-localized-layer-verdicts-v1:end -->