2026-06-03

Отладка RTCP CNAME и синхронизации аудио/видео по RTSP: временные метки RTP, отчеты отправителей, синхронизация губ и смещение трека

Как отлаживать RTCP CNAME, сопоставление временных меток RTP, отчеты отправителя, синхронизацию аудио/видео, смещение синхронизации губ и проблемы с синхронизацией многодорожечной камеры RTSP.

Потоки RTSP, содержащие как аудио, так и видео, могут успешно соединяться, но при этом оставаться непригодными для использования, если аудио и видео расходятся. Когда воспроизведение начинается, но время кажется неправильным, пользователи ищут «аудио-видео RTSP не синхронизировано», «синхронизация губ RTCP CNAME», «дрейф временной метки RTP», «задержка звука камеры», «синхронизация отчета отправителя RTCP» и «видео RTSP впереди звука».

Инспектор RTSP полезен, поскольку это проблема синхронизации протокола. Важными доказательствами являются не только расшифрованные носители информации. Это взаимосвязь между временными метками RTP, отчетами отправителей RTCP, значениями SSRC, значениями CNAME, часами отслеживания и временем прибытия.

Почему одних временных меток RTP недостаточно

Временные метки RTP относятся к каждому тактовому сигналу мультимедиа. Видеодорожка может использовать тактовую частоту 90 кГц. Звуковая дорожка может использовать частоту 8 кГц, 16 кГц, 44,1 кГц или 48 кГц в зависимости от кодека и SDP.

Это значит, что этого недостаточно:

video RTP timestamp: 900000
audio RTP timestamp: 480000

What RTCP Sender Reports provide

A useful report should show:

What CNAME is for

Failures include:

Lip sync drift

Immediate offset suggests:

Gradual drift suggests:

Wrong clock rate in SDP

Evidence:

RTCP blocked by transport path

Symptoms:

Gateway and restreamer issues

Problems include:

Debug checklist

Use this workflow:

Final diagnosis

Воспроизводимая проверка темы «Отладка RTCP CNAME и синхронизации аудио/видео по RTSP: временные метки RTP, отчеты отправителей, синхронизация губ и смещение трека»

Краткий ответ: чёрный экран или одиночный код не доказывает источник сбоя. Надёжная диагностика связывает запрос и ответ RTSP, согласованный Transport, действующую Session, а затем номера последовательности RTP, временные метки и данные RTCP. Для «Отладка RTCP CNAME и синхронизации аудио/видео по RTSP: временные метки RTP, отчеты отправителей, синхронизация губ и смещение трека» начните с уровня, ближайшего к симптому, но сохраняйте единую временную шкалу, чтобы не смешать управление, сеть и декодирование.

До изменения камеры, межсетевого экрана или VMS создайте небольшой базовый тест. Запишите RTSP URL без пароля, время, путь, запрошенный Transport, ответ сервера и момент первого медиапакета. Проверяйте UDP и TCP interleaved отдельно, если устройство поддерживает оба режима. Не меняйте одновременно путь, учётные данные и транспорт: иначе успешная вторая попытка не покажет решающую переменную.

Уровень	Сохраняемое доказательство	Вопрос
RTSP	метод, статус, заголовки, CSeq и Session	Сервер принял именно эту операцию?
SDP	control, payload type, clock rate и codec	Описана ожидаемая дорожка?
Transport	client_port, server_port или interleaved	Обе стороны используют один канал?
RTP	SSRC, sequence, timestamp и marker	Медиаданные идут в объяснимом порядке?
RTCP	sender report, CNAME и BYE	Часы, идентичность и конец прослеживаются?
Decoder	SPS/PPS/VPS и packetization mode	Полученный payload позволяет инициализацию?

Разделяйте «медиа не пришло» и «медиа пришло, но не декодируется». Отсутствие RTP после успешных SETUP и PLAY ведёт к проверке UDP, NAT, firewall и ответа Transport. Пробелы последовательности доказывают потерю или перестановку. Непрерывный RTP без изображения переводит расследование к payload type, clock rate, границам кадра и параметрам H.264 или H.265. Эта граница полезнее общего сообщения проигрывателя.

Как написать цитируемый ответ?

Используйте три предложения: последняя успешная операция, первое отсутствующее доказательство и следующий разделяющий тест. Пример: «DESCRIBE, SETUP и PLAY успешны; RTP не приходит на объявленные порты клиента; проверка TCP interleaved отделит блокировку UDP от неверного медиапути». Не обвиняйте камеру или сеть без ответа либо пакета, подтверждающего границу.

Что делает случай воспроизводимым?

Сохраните OPTIONS, DESCRIBE, SETUP и PLAY, SDP, ответ Transport и очищенный Session. Для RTP запишите SSRC, первый и последний sequence, clock rate, число пробелов и длительность. Результат VLC или другой VMS используйте как дифференциальный тест, а не как доказательство правильной реализации всех правил успешным клиентом.

Когда проверять сервер или клиент?

Проверяйте сервер при отказе метода, несуществующем control URL, несовместимом Transport или необъяснимой смене SSRC или часов. Проверяйте клиент при повторном старом nonce, потере Session, запросе UDP без открытых портов или трактовке каждого конца NAL как конца access unit. Для промежуточной неисправности каждому выводу нужны пакет и время.

Как проверить отчёт?

Повторите тест с нового соединения и сравните временные шкалы до первого отличия. Удалите пароли и полные Authorization. Свяжите выводы с CSeq, sequence или timestamp. Используйте связанный справочник RTSP, а RTSP Inspector — для локальной проверки RTSP-потока и сбора доказательств без загрузки видео в публичный сервис.

Добавьте явный критерий приёмки. На том же URL и с теми же учётными данными управляющие запросы должны завершиться ожидаемыми статусами, RTP — непрерывно идти по выбранному Transport, а после нужных параметров кодека должен восстановиться реальный кадр. Смена Session или SSRC после нового подключения сама по себе не является ошибкой; не объединяйте пакеты старой и новой сессии. Оставшуюся неопределённость формулируйте как непроверенный порт, трек, интервал времени или условие декодера, а не как общий «сбой камеры».

От наблюдения к проверяемому послойному выводу

Для «Отладка RTCP CNAME и синхронизации аудио/видео по RTSP: временные метки RTP, отчеты отправителей, синхронизация губ и смещение трека» сначала запишите наблюдение, затем интерпретацию. Наблюдение другой инженер может найти в захвате: статус RTSP с CSeq, значение SDP, ответ Transport, пробел последовательности, смена SSRC или разница RTP timestamp и RTCP sender report. «Сервер медленный» или «кодек несовместим» остаётся гипотезой, пока конкретное доказательство не объяснит результат лучше альтернатив.

Разделите путь на границы. Сначала открывается TCP, затем принимается OPTIONS или DESCRIBE. SDP описывает рабочую дорожку, control URL, payload type и clock rate. SETUP требует совместимого Transport, PLAY — действующей Session. После этого проверяются приход RTP, порядок, время и готовность декодера. Остановитесь на первой границе без доказательства успеха.

В сравнении сохраняйте источник и интервал. UDP и TCP interleaved проверяйте с одним путём и учётными данными. Main stream и sub stream — одним клиентом и транспортом. При сравнении VLC с VMS запишите реальные методы, заголовки и URL. Разница control URL, Authorization, Session или keepalive иногда объясняет результат лучше названия программы.

Матрица исключения

Начните с двух гипотез. При отсутствии медиа UDP может блокироваться или сервер может отправлять на другие порты. TCP interleaved проверяет первую; сравнение предложения и ответа Transport, IP и портов — вторую. При повреждённом изображении RTP sequence отделяет потери от неполной инициализации, а SPS/PPS/VPS перед первым frame проверяет параметры codec.

Для гипотезы запишите подтверждающее и опровергающее доказательство. Утверждение, которое нельзя опровергнуть пакетом, слишком широко. «NAT удаляет UDP» опровергается RTP на порту клиента. «Нет параметров H.264» опровергается действительными SPS и PPS перед IDR. Отчёт становится приоритетным выводом, а не списком вариантов.

Не смешивать время

RTSP CSeq упорядочивает транзакции, RTP sequence — пакеты, RTP timestamp — время выборки, capture clock — приход в точку наблюдения. Это разные часы. Неравномерный приход не доказывает drift; скачок timestamp без sequence не доказывает потерю. RTCP sender report связывает часы RTP аудио и видео с общей опорой.

Пакет приёмки

Закройте случай, когда исправление повторяется в новом соединении с одним документированным изменением. Укажите входы, последнюю успешную границу, первое отсутствующее доказательство, изменение, результат и открытые тесты. Приложите короткий transcript или статистику. Скройте секреты, но сохраните CSeq, очищенную Session, SSRC и интервал.

Устранение неполадок RTSP помогает повторить порядок, а отчёты RTSP Inspector передают доказанную границу команде камеры, сети или VMS.

Журнал изменения и регрессионная проверка

Превратите исправление в воспроизводимый журнал. Укажите прежнее и новое значение, место настройки, время нового соединения и ожидаемое изменение пакетов. Для TCP interleaved недостаточно фразы «изображение появилось»: медиа больше не должно зависеть от отдельных UDP-портов и должно идти по согласованным interleaved-каналам. При смене control URL запрос SETUP использует новый путь, а PLAY и keepalive сохраняют одну Session.

Если это безопасно, выполните отрицательный контроль. В тестовой среде временно верните старое значение или сравните предыдущий захват с теми же входами. Должна снова отказать та же граница. Так случайный перезапуск, кэш или недокументированное изменение сети не будет принято за решение. На производственной камере не вызывайте сбой намеренно; используйте исторический захват с известным временем и входами.

Держите соединение дольше обычных интервалов keepalive и Session timeout. Следите за OPTIONS или GET_PARAMETER, ростом CSeq и постоянством Session. Для RTP сравнивайте потери, дубликаты, перестановку и смены SSRC на окнах одинаковой длительности до и после исправления. Сравнение простого числа пакетов на разных интервалах вводит в заблуждение.

Изменение codec проверяйте на полностью новом соединении: SDP, начальные параметры, первый IDR и последующие кадры должны появиться в ожидаемом порядке. Уже инициализированный decoder может скрыть отсутствие SPS/PPS/VPS в начале. Для аудио и видео записывайте payload type и clock rate отдельно и используйте RTCP sender report для общей временной опоры.

Ограничьте вывод. «Main stream проверен по TCP десять минут этим клиентом» точнее, чем «RTSP исправлен». Назовите проверенные track, Transport, codec, клиент и длительность. Аудио, sub stream или восстановление после разрыва сети оставьте открытыми, если они не проверялись.

Разделите факты и рекомендацию. Факты — ответы, пакеты и измерения. Рекомендация предлагает изменить камеру, firewall, VMS или клиент. Другая команда должна принять факты, даже если выберет иной способ устранения.

В конце укажите владельца следующего действия и условие закрытия. Команда камеры может исправить Transport, VMS — повторить воспроизведение в новой сборке, сеть — проверить объявленный диапазон UDP. Передайте очищенный короткий интервал и основания вывода по руководству отчётов RTSP Inspector.

Проведите последнюю проверку по экспортированной копии отчёта, а не по памяти. Другой инженер должен по временному диапазону, именам полей и внутренним ссылкам найти последнюю успешную операцию, первый пакет, изменивший вывод, и причину исключения альтернативы. Запишите известные версии камеры и клиента, но не объявляйте одну версию причиной. Обязательно укажите точку захвата: пакет, отсутствующий рядом с клиентом, может существовать на выходе сервера. Если результаты двух точек различаются, следующим объектом становится путь между ними. Учтите разницу часов и фильтров захвата. Завершите запись датой, длительностью соединения, Transport и однозначным статусом: пройдено, не пройдено или не решено с указанной причиной. Повторно проверьте экспорт на секреты: имя пользователя в URL, полный Authorization, исходный Session и внутренние адреса должны передаваться только при необходимости. Заменяйте чувствительные значения устойчивыми псевдонимами, чтобы одинаковый узел оставался узнаваемым во всём отчёте, но таблицу соответствия храните отдельно в защищённом канале. Выполните тот же сценарий ещё раз. Начальные CSeq, Session или SSRC могут измениться в новом соединении, но последовательность успешных границ, выбранный Transport, приход медиа и критерий приёмки должны повториться. Несовпадение означает не закрытый дефект, а пока неподтверждённую воспроизводимость; укажите, на каком шаге два запуска разошлись. Добавьте имя проверяющего и время подтверждения.