2026-06-02

Исправление смещения метки времени RTSP: несоответствие тактовой частоты RTP, синхронизация аудио/видео и ошибки синхронизации кадров

Исправлено смещение временной метки RTSP, приводящее к потере синхронизации аудио/видео. Устранено несоответствие тактовой частоты RTP, дрожание, синхронизация кадров, немонотонные временные метки и нестабильность воспроизведения потока камеры.

Поток камеры RTSP может успешно подключаться, правильно аутентифицироваться, возвращать действительный SDP, отправлять пакеты RTP и при этом вести себя плохо. Видео может постепенно отставать от реального времени. Аудио и видео могут рассинхронизироваться. Кадры могут приходить, но воспроизводиться неравномерно. Диктофон может создавать файлы странной продолжительности. Игрок может отображать предупреждения о дрожании, заикании, «немонотонной временной метке», «недопустимом DTS», «скачке временной метки RTP» или «несоответствии тактовой частоты».

Пользователи ищут «дрейф метки времени RTP», «синхронизация аудио-видео камеры RTSP», «неправильная тактовая частота RTP», «метка времени заикания потока RTSP» и «проблема с синхронизацией кадров потока камеры», когда сетевое соединение работает, а временная шкала мультимедиа — нет.

Это именно та проблема, когда тест только для игроков слишком поверхностен. Игрок может скрыть временную шкалу пакетов за буферизацией и декодированием. Инспектор RTSP полезен, поскольку время RTP является свидетельством протокола: тип полезной нагрузки, временная метка RTP, порядковый номер, бит маркера, тактовая частота SDP, отчеты отправителя RTCP, джиттер и отображение настенных часов — все это имеет значение.

Временные метки RTP не являются временными метками настенных часов.

Временная метка RTP — это значение часов мультимедиа, а не временная метка Unix. Для видео H.264 SDP часто заявляет тактовую частоту 90 кГц:

a=rtpmap:96 H264/90000

90000 / 30 = 3000

Для видео со скоростью 25 кадров в секунду шаг обычно составляет 3600:

90000 / 25 = 3600

SDP clock rate is the first clue

m=video 0 RTP/AVP 96
a=rtpmap:96 H264/90000
m=audio 0 RTP/AVP 97
a=rtpmap:97 MPEG4-GENERIC/48000/2

Если SDP сообщает, что H.264 использует 90000, клиент должен интерпретировать временные метки видео RTP с этими часами. Если SDP отсутствует, имеет неверный формат или несовместим с поведением полезной нагрузки, клиент может сделать неправильное предположение.

Общие проблемы с синхронизацией SDP включают в себя:

Отсутствует a=rtpmap для динамического типа полезных данных.
Неправильная тактовая частота звука.
Тип полезной нагрузки повторно используется непоследовательно.
Прошивка камеры объявляет 90000, но отправляет приращения метки времени, которые не соответствуют частоте кадров.
Конфигурация AAC не соответствует фактической частоте дискретизации.
Несколько дорожек используют запутанные или повторяющиеся атрибуты управления.

Инспектор RTSP должен помочь сохранить SDP наряду с доказательствами RTP, поскольку без них временная шкала RTP не может быть правильно интерпретирована.

Порядковый номер и временная метка

Порядковые номера и временные метки RTP отвечают на разные вопросы.

Порядковый номер помогает обнаружить потерю пакетов и упорядочить их:

Пакет 1024 пришел?
Пакет 1025 пришел?
Пакет 1026 прибыл раньше 1025?
Пакеты отсутствуют?

Временная метка RTP помогает интерпретировать время мультимедиа:

Какие пакеты принадлежат одному и тому же видеокадру?
Сколько медиа-времени прошло между кадрами?
Камера прыгнула вперед или назад?
Звук продвигается с ожидаемой скоростью?
Соответствует ли время мультимедиа времени на настенных часах?

Поток может иметь идеальную непрерывность последовательности и при этом иметь нарушенные временные метки. Также может произойти некоторая потеря пакетов, в то время как временные метки в остальном остаются согласованными.

Маркерный бит и границы видеокадра

Для многих полезных данных видео RTP бит маркера указывает границу кадра. В H.264 несколько пакетов RTP могут содержать фрагменты одного видеокадра. Они имеют одну и ту же временную метку RTP, и бит маркера часто появляется в последнем пакете устройства доступа.

Если временные метки меняются слишком часто или недостаточно часто или поведение маркера непоследовательно, реконструкция кадра может стать нестабильной.

Симптомы включают в себя:

Видео заикается без видимой потери пакетов.
Декодер получает неполные кадры.
Рекордер создает неправильную длительность кадра.
Воспроизведение ускоряется или замедляется.
Временные метки кадров немонотонны.

Вот почему диагностический инструмент должен отображать метаданные RTP на уровне пакетов, а не только декодированные кадры.

Дрейф синхронизации аудио/видео

Синхронизация аудио и видео зависит от сопоставления временной метки RTP каждой мультимедийной дорожки с общей временной базой. Для этого часто используются отчеты отправителей RTCP. Отчет отправителя может сопоставить временную метку RTP со временем NTP:

RTCP SR:
NTP timestamp: wall-clock reference
RTP timestamp: media timestamp at that reference

Audio/video drift can happen when:

Timestamp jumps

Look for:

Questions to separate them:

Checklist for RTP timestamp drift

Use this workflow:

What to include in a useful report

Final diagnosis

Воспроизводимая проверка темы «Исправление смещения метки времени RTSP: несоответствие тактовой частоты RTP, синхронизация аудио/видео и ошибки синхронизации кадров»

Краткий ответ: чёрный экран или одиночный код не доказывает источник сбоя. Надёжная диагностика связывает запрос и ответ RTSP, согласованный Transport, действующую Session, а затем номера последовательности RTP, временные метки и данные RTCP. Для «Исправление смещения метки времени RTSP: несоответствие тактовой частоты RTP, синхронизация аудио/видео и ошибки синхронизации кадров» начните с уровня, ближайшего к симптому, но сохраняйте единую временную шкалу, чтобы не смешать управление, сеть и декодирование.

До изменения камеры, межсетевого экрана или VMS создайте небольшой базовый тест. Запишите RTSP URL без пароля, время, путь, запрошенный Transport, ответ сервера и момент первого медиапакета. Проверяйте UDP и TCP interleaved отдельно, если устройство поддерживает оба режима. Не меняйте одновременно путь, учётные данные и транспорт: иначе успешная вторая попытка не покажет решающую переменную.

Уровень	Сохраняемое доказательство	Вопрос
RTSP	метод, статус, заголовки, CSeq и Session	Сервер принял именно эту операцию?
SDP	control, payload type, clock rate и codec	Описана ожидаемая дорожка?
Transport	client_port, server_port или interleaved	Обе стороны используют один канал?
RTP	SSRC, sequence, timestamp и marker	Медиаданные идут в объяснимом порядке?
RTCP	sender report, CNAME и BYE	Часы, идентичность и конец прослеживаются?
Decoder	SPS/PPS/VPS и packetization mode	Полученный payload позволяет инициализацию?

Разделяйте «медиа не пришло» и «медиа пришло, но не декодируется». Отсутствие RTP после успешных SETUP и PLAY ведёт к проверке UDP, NAT, firewall и ответа Transport. Пробелы последовательности доказывают потерю или перестановку. Непрерывный RTP без изображения переводит расследование к payload type, clock rate, границам кадра и параметрам H.264 или H.265. Эта граница полезнее общего сообщения проигрывателя.

Как написать цитируемый ответ?

Используйте три предложения: последняя успешная операция, первое отсутствующее доказательство и следующий разделяющий тест. Пример: «DESCRIBE, SETUP и PLAY успешны; RTP не приходит на объявленные порты клиента; проверка TCP interleaved отделит блокировку UDP от неверного медиапути». Не обвиняйте камеру или сеть без ответа либо пакета, подтверждающего границу.

Что делает случай воспроизводимым?

Сохраните OPTIONS, DESCRIBE, SETUP и PLAY, SDP, ответ Transport и очищенный Session. Для RTP запишите SSRC, первый и последний sequence, clock rate, число пробелов и длительность. Результат VLC или другой VMS используйте как дифференциальный тест, а не как доказательство правильной реализации всех правил успешным клиентом.

Когда проверять сервер или клиент?

Проверяйте сервер при отказе метода, несуществующем control URL, несовместимом Transport или необъяснимой смене SSRC или часов. Проверяйте клиент при повторном старом nonce, потере Session, запросе UDP без открытых портов или трактовке каждого конца NAL как конца access unit. Для промежуточной неисправности каждому выводу нужны пакет и время.

Как проверить отчёт?

Повторите тест с нового соединения и сравните временные шкалы до первого отличия. Удалите пароли и полные Authorization. Свяжите выводы с CSeq, sequence или timestamp. Используйте связанный справочник RTSP, а RTSP Inspector — для локальной проверки RTSP-потока и сбора доказательств без загрузки видео в публичный сервис.

Добавьте явный критерий приёмки. На том же URL и с теми же учётными данными управляющие запросы должны завершиться ожидаемыми статусами, RTP — непрерывно идти по выбранному Transport, а после нужных параметров кодека должен восстановиться реальный кадр. Смена Session или SSRC после нового подключения сама по себе не является ошибкой; не объединяйте пакеты старой и новой сессии. Оставшуюся неопределённость формулируйте как непроверенный порт, трек, интервал времени или условие декодера, а не как общий «сбой камеры».

От наблюдения к проверяемому послойному выводу

Для «Исправление смещения метки времени RTSP: несоответствие тактовой частоты RTP, синхронизация аудио/видео и ошибки синхронизации кадров» сначала запишите наблюдение, затем интерпретацию. Наблюдение другой инженер может найти в захвате: статус RTSP с CSeq, значение SDP, ответ Transport, пробел последовательности, смена SSRC или разница RTP timestamp и RTCP sender report. «Сервер медленный» или «кодек несовместим» остаётся гипотезой, пока конкретное доказательство не объяснит результат лучше альтернатив.

Разделите путь на границы. Сначала открывается TCP, затем принимается OPTIONS или DESCRIBE. SDP описывает рабочую дорожку, control URL, payload type и clock rate. SETUP требует совместимого Transport, PLAY — действующей Session. После этого проверяются приход RTP, порядок, время и готовность декодера. Остановитесь на первой границе без доказательства успеха.

В сравнении сохраняйте источник и интервал. UDP и TCP interleaved проверяйте с одним путём и учётными данными. Main stream и sub stream — одним клиентом и транспортом. При сравнении VLC с VMS запишите реальные методы, заголовки и URL. Разница control URL, Authorization, Session или keepalive иногда объясняет результат лучше названия программы.

Матрица исключения

Начните с двух гипотез. При отсутствии медиа UDP может блокироваться или сервер может отправлять на другие порты. TCP interleaved проверяет первую; сравнение предложения и ответа Transport, IP и портов — вторую. При повреждённом изображении RTP sequence отделяет потери от неполной инициализации, а SPS/PPS/VPS перед первым frame проверяет параметры codec.

Для гипотезы запишите подтверждающее и опровергающее доказательство. Утверждение, которое нельзя опровергнуть пакетом, слишком широко. «NAT удаляет UDP» опровергается RTP на порту клиента. «Нет параметров H.264» опровергается действительными SPS и PPS перед IDR. Отчёт становится приоритетным выводом, а не списком вариантов.

Не смешивать время

RTSP CSeq упорядочивает транзакции, RTP sequence — пакеты, RTP timestamp — время выборки, capture clock — приход в точку наблюдения. Это разные часы. Неравномерный приход не доказывает drift; скачок timestamp без sequence не доказывает потерю. RTCP sender report связывает часы RTP аудио и видео с общей опорой.

Пакет приёмки

Закройте случай, когда исправление повторяется в новом соединении с одним документированным изменением. Укажите входы, последнюю успешную границу, первое отсутствующее доказательство, изменение, результат и открытые тесты. Приложите короткий transcript или статистику. Скройте секреты, но сохраните CSeq, очищенную Session, SSRC и интервал.

Устранение неполадок RTSP помогает повторить порядок, а отчёты RTSP Inspector передают доказанную границу команде камеры, сети или VMS.

Журнал изменения и регрессионная проверка

Превратите исправление в воспроизводимый журнал. Укажите прежнее и новое значение, место настройки, время нового соединения и ожидаемое изменение пакетов. Для TCP interleaved недостаточно фразы «изображение появилось»: медиа больше не должно зависеть от отдельных UDP-портов и должно идти по согласованным interleaved-каналам. При смене control URL запрос SETUP использует новый путь, а PLAY и keepalive сохраняют одну Session.

Если это безопасно, выполните отрицательный контроль. В тестовой среде временно верните старое значение или сравните предыдущий захват с теми же входами. Должна снова отказать та же граница. Так случайный перезапуск, кэш или недокументированное изменение сети не будет принято за решение. На производственной камере не вызывайте сбой намеренно; используйте исторический захват с известным временем и входами.

Держите соединение дольше обычных интервалов keepalive и Session timeout. Следите за OPTIONS или GET_PARAMETER, ростом CSeq и постоянством Session. Для RTP сравнивайте потери, дубликаты, перестановку и смены SSRC на окнах одинаковой длительности до и после исправления. Сравнение простого числа пакетов на разных интервалах вводит в заблуждение.

Изменение codec проверяйте на полностью новом соединении: SDP, начальные параметры, первый IDR и последующие кадры должны появиться в ожидаемом порядке. Уже инициализированный decoder может скрыть отсутствие SPS/PPS/VPS в начале. Для аудио и видео записывайте payload type и clock rate отдельно и используйте RTCP sender report для общей временной опоры.

Ограничьте вывод. «Main stream проверен по TCP десять минут этим клиентом» точнее, чем «RTSP исправлен». Назовите проверенные track, Transport, codec, клиент и длительность. Аудио, sub stream или восстановление после разрыва сети оставьте открытыми, если они не проверялись.

Разделите факты и рекомендацию. Факты — ответы, пакеты и измерения. Рекомендация предлагает изменить камеру, firewall, VMS или клиент. Другая команда должна принять факты, даже если выберет иной способ устранения.

В конце укажите владельца следующего действия и условие закрытия. Команда камеры может исправить Transport, VMS — повторить воспроизведение в новой сборке, сеть — проверить объявленный диапазон UDP. Передайте очищенный короткий интервал и основания вывода по руководству отчётов RTSP Inspector.