（信号与信息处理专业论文）基于sip协议的视频监控.pdf

独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果 据我所知 除了文中特别加以标注和致谢的地方外 论文中不包含其 他人已经发表或撰写过的研究成果 也不包含为获得 或其他教育机构 的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意 学位论文作者签名 签字日期 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解 有关保留 使用学位论文的规定 有权保留并向国家有关部门或机构送交论文的复印件和磁盘 允许论文被查阅和 借阅 本人授权 可以将学位论文的全部或部分内容编入有关数据库进行 检索 可以采用影印 缩印或扫描等复制手段保存 汇编学位论文 保密的学位论文在解密后适用本授权书 学位论文作者签名 导师签名 签字日期 年 月 日 签字日期 年 月 日 学位论文作者毕业去向 工作单位 电话 通讯地址 邮编 摘 要 i 摘摘 要要 随着网络技术的不断发展以及人们安全意识的普遍提高 人们对视频监控产 品的要求也越来越高 会话初始化协议 sip session initiation protocol 是一种信 令控制协议 作为下一代网络的核心协议 它提供了用户定位 媒体参数协商等 基本的会话管理功能 通过把 sip 协议应用到视频监控终端 可以形成一个开放 的 智能的监控系统 使随时随地的监控变为可能 鉴于此 本文基于 z228 硬件平台和嵌入式 linux 操作系统 设计并实现了 基于 sip 协议的视频监控终端 该终端具备 sip 用户代理的基本功能 能够发起 接收及终止呼叫并完成媒体参数的协商 同时它还完成终端的视频数据的采集 mpeg 4 压缩编码及传输等功能 本文首先对 sip 协议 软交换平台 实时传输协议 rtp real time transport protocol 及 mpeg 4 视频压缩标准做了介绍 接着介绍了系统的硬件平台及软件 架构 然后给出了视频监控系统的总体设计及模块划分 在重点研究 sip 协议的 基础上 设计并实现了终端系统上 sip 模块 此外 本文还较为详细的介绍了终 端系统上视频数据的采集 压缩及传输等模块的设计与实现 最后对终端系统进 行了测试并给出了测试结果 关键词 视频监控 z228 linux 会话初始化协议 实时传输协议 mpeg 4 abstract ii abstract with the continuous development of network technology and the general raise of people s safety consciousness people are requesting for higher quality video monitoring equipments session initiation protocol is a signaling control protocol as the core protocol of next generation network it can provide basic session management functions such as users positioning media parameters consultations etc by using the sip protocol to video monitoring terminal we can form an open intelligent monitoring system and make the monitoring at any time and in any place can be true in view of above basing on the z228 hardware platform and embedded linux os this thesis designs and implements a video monitoring terminal that supports sip protocol the terminal has the basic functionalities that a sip ua should have it can initiate and accept a session terminate a session that already exits and determine the media and the media parameters to be used it can also capture video data from the camera encode the data with mpeg 4 and transport the data to monitoring center the sip protocol soft switch platform rtp protocol mpeg 4 standard are introduced at first following the system s hardware platform and software architecture are introduced and then the system s overall design and module division are given secondly basing on detailed analyse of the sip protocol the thesis designs and achieves the sip module furthermore the designs and implementations of the video data collection compression and transmission modules on terminal are detailedly introduced too at last the thesis explains how to test the system and lists the result of the test keywords video monitoring z228 linux sip rtp mpeg 4 目 录 iii 目目 录录 第一章 序论 i 1 1 视频监控系统概述 1 1 2 国内外市场状况 2 1 3 研究目的及意义 2 1 4 本文的主要内容及组织结构 3 第二章 视频监控系统的相关技术 5 2 1 软交换技术 5 2 1 1 软交换简述 5 2 1 2 软交换的体系结构 5 2 1 3 软交换的主要协议 6 2 2 sip 协议 8 2 2 1 sip 协议背景和功能 8 2 2 2 sip 的网络结构 8 2 2 3 sip 的分层结构 9 2 2 4 sip 的消息格式 10 2 2 5 sip 会话流程 11 2 3 mpeg 4 编码标准 12 2 3 1 mpeg 4 标准概述 12 2 3 2 mpeg 4 标准构成 13 2 3 3 mpeg 4 标准实现过程 14 2 4 rtp 协议 15 2 4 1 rtp 协议概述 15 2 4 2 实时传输协议 16 2 4 3 实时传输控制协议 17 第三章 硬件平台及软件架构 18 3 1 系统硬件平台 18 3 1 1 arm 微处理器概述 18 3 1 2 z228 硬件平台 18 目 录 iv 3 2 系统软件架构 20 3 2 1 嵌入式及 linux 概述 20 3 2 2 嵌入式系统软件组成 22 3 2 3 z228 嵌入式系统开发 22 第四章 终端系统的设计与实现 25 4 1 总体设计及模块划分 25 4 1 1 监控系统的总体设计 25 4 1 2 终端系统的模块划分 26 4 2 sip 模块的实现 27 4 2 1 sip 协议栈 27 4 2 2 sip 模块具体实现 29 4 3 视频处理模块的实现 36 4 3 1 视频处理模块的设计 36 4 3 2 视频数据的采集 37 4 3 3 视频数据的编码 41 4 4 视频传输模块的实现 44 4 4 1 视频传输模块的设计 44 4 4 2 视频传输模块的实现 45 第五章 系统测试 48 5 1 测试环境 48 5 2 功能测试 48 5 2 1 系统简要介绍 48 5 2 2 系统测试过程 49 5 3 互通性测试 52 第六章 总结与展望 55 参考文献 56 致 谢 58 作者攻读学位期间发表的论文 59 第一章 序 论 1 第一章第一章 序序 论论 1 1 视频监控系统概述视频监控系统概述 视频监控系统是安全防范系统的组成部分 它是一种防范能力较强的综合系 统 视频监控以其直观 方便 信息内容丰富而广泛应用于许多场合 随着计算 机 网络以及图像处理等技术的发展 视频监控系统大致经历了模拟视频监控系 统 模拟 数字混合视频监控系统和网络化视频监控系统等三个发展阶段 第一代模拟视频监控系统也叫闭路电视监控系统 其特点是全部通过模拟方 式将摄像机的视频信号传输到监控中心 监控中心通过视频分配和合成设备将一 部分视频信号在电视机等模拟显示设备上输出 并通过磁带录像设备进行录像或 保存 第一代产品存在许多局限性 首先 有线模拟视频信号的传输对距离十分 敏感 当传输距离大于一千米时 信号容易产生衰耗 畸变 群延时 并且易受 干扰 使图像质量下降 其次 有线模拟视频监控无法联成网络 只能以点对点 的方式监视现场 使到布线工程量极大 另外 有线模拟视频信号数据的存储会 耗费大量的存储介质 如录像带 而且录像资料的保存和查询工作十分烦琐 第二代模拟 数字混合视频监控系统 是从上个世纪 90 年代中期开始出现 以数字硬盘录像 dvr 为主 替代了原来的模拟录像机 将原来的磁带存储模式 转变成数字存储录像 解决了监控的模拟转数字录像和显示 集合了录像机 画 面分割器等功能 跨出数字监控的第一步 第二代产品的缺陷在于监控点到监控 中心的数据传输仍然采用模拟方式 要实现远距离视频传输需要铺设 租用 光 缆 在光缆两端安装视频光端机设备 系统建设成本高 不易维护 且维护费用 较大 目前 视频监控系统已经发展到以数字化 网络化为核心的第三代 与第一 代传统闭路电视监控系统及第二代模拟 数字混合视频监控系统相比 第三代监 控系统基于 tcp ip 网络协议 以分布式的概念出现 将监控模式拓展为分散与 集中的相辅相成 拓展了监控的范围 与传统的视频监控系统相比 基于网络化 的视频监控系统具有如下优点 1 数字化视频可以在计算机网络 局域网或广域网 上传输图像数据 基 基于 sip 协议的视频监控终端的研究与实现 2 本上不受距离限制 信号不易受干扰 可大幅度提高图像品质和稳定性 2 数字视频可利用计算机网络联网 网络带宽可复用 无须重复布线 3 数字化存储成为可能 经过压缩的视频数据可存储在磁盘阵列中或保存在 光盘中 查询十分简便快捷 1 1 2 国内外国内外市场市场状况状况 据诺达咨询公司发布的 2007 网络视频监控业务研究报告 显示 2006 年 中国网络视频监控市场规模达 18 24 亿元 2007 年中国网络视频监控市场规模将 达到 26 36 亿元 未来 5 年内 网络视频监控将保持约 38 的年增长率 预计 2011 年将达86 61亿元 而且会有越来越多的网络视频监控系统采用完全数字化技术 特别是在银行 交通 工业 零售业等行业市场 以数字化视频监控为基础的智 能视频监控技术将获得长足发展 今年以来 网络视频监控在物流 海关 卫生 检疫 能源 金融 防汛减灾等领域应用广泛 随着 国家应急体系 平安城 市 平安建设 科技强警 等重大工程项目在全国不断推进以及未来将在中 国举办的奥运会 世博会等重要国际活动持续拉动 市场前景一片看好 而国外视频监控业务主要应用在公共领域 行业用户和个人用户 在公共场 所 国外设置了众多监控设备 以加强对公共领域安全的控制能力 另外 在交 通 银行 大型连锁超市 居民住宅等领域都已经得到了广泛应用 在美 英等 国 个人使用视频监控主要是应用于住宅的安全防范和财产的监控 目前 国内外比较知名的网络监控开发商有杭州的海康威视 松下电子 三 星电子等公司 1 3 研究目的及意义研究目的及意义 网络化数字视频监控系统作为一种全新的视频监控系统 从根本上解决了以 往视频监控系统所存在的问题 使监控系统的监控范围和监控质量都有了很大的 提高 但作为一种新兴的视频监控系统 网络视频监控系统也有着一些诸如图像 质量问题 安全问题 服务质量问题等不足之处 而制约着网络视频监控系统发 展的最大问题在于其标注化 其中包括信令控制协议标准化问题 比如遵循标准 的 sip 协议 http 协议 rtp 协议 流媒体转发协议等 音频压缩 视频压缩 第一章 序 论 3 的标准化问题 dvr dvs ipcam 等接入平台的标准化问题 球机 云台 矩阵等设备控制协议的标准化问题 鉴于以上网络视频监控系统所存在的问题 本文提出了一种以 sip 协议为信 令控制协议的嵌入式网络视频监控终端的设计方案 该系统的网络是以下一代网络 ngn next generation network 为基础 系 统采用嵌入式系统作为监控终端的图像采集及压缩编码 呼叫的建立与连接采用 sip 协议 使整个监控系统具有清晰流畅的图像 安全性能好 服务质量好的特 点 真正意义上实现了全数字全网络的视频监控系统 该系统的设计与研发的意义在于 1 采用 ngn 架构 ngn 具有支持快速灵活的新业务生成能力 这无疑将 是电信业关注的焦点 而安防用途的视频监控正是 ngn 可以提供的业务 2 利用软交换平台对网络监控进行管理和通信 增加了网络的安全性及终 端的智能性 为下一代网络的视频监控系统指明了方向 3 sip 协议是一种比较先进的会话管理协议 将 sip 协议运用到视频监控系 统 有利于拓展 sip 协议的使用范围 同时也加速其标准化过程 4 嵌入式是当前研究的热点之一 将嵌入式运用于视频监控领域对其普及 和发展也起到了一定的作用 1 4 本文的主要内容及组织结构本文的主要内容及组织结构 本课题主要结合安徽四创电子股份有限公司研发中心的 基于 ngn 架构的 视频监控终端系统的研究与实现 项目而展开的 在该项目中作者对 ngn 及软 交换架构做了深入的学习和理解 在此基础上分析了将 sip 协议应用到视频监控 终端的可行性 并结合图像处理理论 计算机网络技术及嵌入式系统开发的原理 完成对视频监控系统的总体分析 并最终开发出基于 sip 协议的视频监控终端系 统 最后搭建了系统的测试环境 对一些主要模块进行了测试 本文主要组织结构如下 第一章 序论 介绍了视频监控系统的发展概况 国内外市场状况及本文的 研究目的和意义 第二章 视频监控系统的相关技术 介绍了视频监控系统的相关技术 主要 基于 sip 协议的视频监控终端的研究与实现 4 介绍了信令控制协议 网络传输协议 ngn 软交换技术及视频编解码算法 第三章 对现有的监控平台做了基本介绍 介绍了本课题所基于的硬件平台 的总体架构及各模块电路特点 并在此基础上给出了系统的软件架构 第四章 视频监控终端的实现过程 该章是本文的核心所在 在分析终端系 统的软件架构的基础上 重点阐述了 sip 协议在视频监控终端的实现过程 mpeg 4 视频编码算法标准及 rtp 协议在终端平台上的设计与实现 第五章 系统测试 搭建了产品的测试环境 对产品的一些主要指标进行了 测试 第六章 总结全文并展望下阶段的工作任务 第二章 视频监控系统的相关技术 5 第二章第二章 视频监控视频监控系统的系统的相关技术相关技术 2 1 软交换技术软交换技术 随着计算机和通信技术的不断发展 通过在一个公共的分组网络中承载语 音 数据和图像等多种业务已经被越来越多的运营商和设备制造商所认同 在这 样的业务驱动和网络融合的趋势下 诞生了 ngn 模型 实现在分组网络中 采 用分布式的网络结构 有效承载话音 数据和多媒体业务 而作为 ngn 的核心 技术 软交换技术的发展因而受到越来越多的关注 2 2 1 1 软交换简述软交换简述 软交换是 ngn 的控制功能实体 是 ngn 呼叫与控制的核心 为 ngn 具有 实时性要求的业务提供呼叫控制和连接控制功能 现阶段的软交换至少应具备以 下三个基本特点 1 集成分组网世界和电路交换网世界 2 具备汇接局和端局能力 3 呼叫控制与媒体层和业务层分离 在 ngn 模型中 软交换设备位于控制层 提供多种业务的连接控制 路由 网络资源管理 计费 认证等功能 软交换设备与各种媒体网关 终端 应用服 务器 其他软交换设备间采用标准协议相互通信 所以 简单的看 软交换是实 现传统程控交换机的 呼叫控制 功能的实体 但传统的 呼叫控制 功能是和 业务结合在一起的 不同的业务所需要的呼叫控制功能不同 这要求软交换提供 的呼叫控制功能是各种业务的基本呼叫控制 2 2 1 2 软交换的体系结构软交换的体系结构 随着 ip 网的迅速发展 软交换体系将以 ip 网为骨干 在各种网络相互融合 的基础上 以一种统一的方式灵活地提供业务是目前颇受推崇的面向网络融合的 新一代多媒体业务整体解决方案 它从功能上可以分为业务平面 控制平面 传 基于 sip 协议的视频监控终端的研究与实现 6 输平面和接入平面 它的网络体系如图 2 1 所示 图 2 1 软交换的网络体系结构 接入平面 提供各种网络和设备接入到核心骨干网的方式和手段 主要包括 信令网关 媒体网关 接入网关等多种接入设备 传输平面 负责提供各种信令和媒体流传输的通道 网络的核心传输网将是 ip 分组网络 控制平面 主要提供呼叫控制 连接控制 协议处理等能力 并为业务平面 提供访问底层各种网络资源的开放接口 该平面的主要组成部分是软交换设备 应用平面 利用底层的各种网络资源为用户提供丰富多样的网络业务 主要 包括应用服务器 application server 策略 管理服务器 policy server aaa 服务器 authority authentication and accounting server 等 可以看出 软交换所采用的是分层 开放的体系结构 并将传统交换机的功 能模块分离成独立的网络实体 各实体间采用开放的协议或 api 接口 从而打破 了传统电信网封闭的格局 实现了多种异构网络间的融合 这种网络的体系通过 将业务与呼叫控制分离 呼叫控制与承载分离 来实现相对独立的业务体系 使 得上层业务与底层的异构网络无关 灵活 有效地实现业务的提供 从而能够满 足用户多样的 不断发展的业务需求 2 3 2 1 3 软交换的主要协议软交换的主要协议 软交换技术的目标是建设一个能够提供话音 数据 多媒体等多种业务的 第二章 视频监控系统的相关技术 7 集通信 信息 电子商务 娱乐于一体 满足自由通信的分组融合网络 为了实 现这一目标 ietf itu t isc ipcc 制定并不断完善系列标准协议 如 h 248 megaco sip bicc sigtran h 323 等 下面对几个主要协议做一简单介绍 1 h 248 megaco h 248和megaco协议均称为媒体网关控制协议 应用在媒体网关和h 248 megaco 与软交换设备之间 两个协议的内容基本相同 只是 h 248 是由 itu 提出来的 而 megaco 是由 ietf 提出来的 且是双方共同推荐的协议 它们 引入了 termination 终端 和 context 关联 两个抽象概念 在 termination 终 端 中 封装了媒体流的参数 modem 和承载能力参数 而 context 关联 则表明了在一些 termination 终端 之间的相互连接关系 h 248 megaco 通 过 add modify subtract move 等 7 个命令完成对 termination 终端 和 context 关联 之间的操作 从而完成了呼叫的建立和释放 2 3 2 媒体网关控制协议 mgcp 媒体网关控制协议 mgcp 是由 ietf 提出来的 是简单网关控制协议 sgcp 和 ip 设备控制协议 ipdc 相结合的产物 megaco 协议是对 mgcp 协议的进一步改进 完善和提高 mgcp 协议可以说是一个比较成熟的协议 协 议的内容与 megaco 协议比较相似 目前软交换系统设备大都支持该协议 其 不足也慢慢表现出来 将来可能要被 h 248 megaco 协议所取代 在软交换系统中 mgcp 协议与 h 248 megaco 协议一样 应用在媒体网 关和 mgcp 终端与软交换设备之间 通过此协议来控制媒体网关和 mgcp 终端 上的媒体 控制流的连接 建立和释放 2 3 3 会话初始化协议 sip 会话初始化协议 sip 是 ietf 提出的在 ip 网上进行多媒体通信的应用层 控制协议 以 internet 协议 http 为基础 遵循 internet 的设计原则 基于对 等工作模式 利用 sip 可实现会话的连接 建立和释放 并支持单播 组播和可 移动性 此外 sip 如果与 sdp 配合使用 可以动态地调整和修改会话属性 如 通话带宽 所传输的媒体类型及编解码格式 其具体内容可参见 ietf rfc 2543 在软交换系统中 sip 协议主要应用于软交换与 sip 终端之间 也有的厂家 基于 sip 协议的视频监控终端的研究与实现 8 将sip协议应用于软交换与应用服务器之间 提供基于sip协议实现的增值业务 总的来说 sip 协议主要应用于语音和数据相结合的业务 以及多媒体业务之间 的呼叫建立与释放 特别是 sip 协议以其简单 灵活的特点 使作为移动通信标 准化组织的 3gpp 已经决定在其基础上建立第三代移动通信的全 ip 网络 并要 求未来的 3g 终端必须支持 sip 协议 3 2 2 sip 协议协议 2 2 1 sip 协议背景和功能协议背景和功能 sip session initiation protocol 即会话初始化协议 最初是由 ietf 工作组 于 1999 年提出的在基于 ip 网络中实现实时通信应用的一种信令协议标准 它是 一个应用层的控制协议 可以用来建立 修改和终止多媒体会话进程 4 sip 协议的开发目的是用来帮助提供因特网的高级电话业务 而网络电话 ip 电话 正在向一种正式的商业电话模式演进 sip 就是用来确保这种演进实 现而需要的 ngn 系列协议中重要的成员之一 也是 ip 多媒体子系统的核心协议 之一 总的来说 sip 从以下五个方面支持多媒体会话 1 用户定位 判断通信终端的位置 2 用户可用性 判断通信终端是否愿意参与会话 3 用户能力 判断将要使用的多媒体类型和媒体参数 4 会话建立 在通信双方建立会话的所有参数 5 会话管理 包括传输和中止会话 修改会话参数 请求各种服务 5 2 2 2 sip 的网络结构的网络结构 sip 协议定义了两类网络元素 sip 用户代理 user agent ua 和 sip 用户服 务器 user server us 用户代理是呼叫的终端系统元素 而用户服务器是处理 与多个呼叫相关联的网络设备 其基本结构如图 2 2 所示 第二章 视频监控系统的相关技术 9 图 2 2 sip 网络结构 用户代理是一个用于和用户交互的 sip 实体 又称为 sip 终端 根据 ua 在 会话中扮演角色的不同又可分为用户代理客户机 uac user agent client 和用户 代理服务器 uas user agent server 两种 其中前者用于发送呼叫请求 后者用 于响应呼叫请求 一个 sip 终端通常需要包括 uac 和 uas 6 服务器主要功能为地址解析和用户定位 分为代理服务器 proxy server 重 定向服务器 redirect server 注册服务器 register server 三种 1 代理服务器 可以当作一个客户端或者一个服务器 具有解析能力 负 责接收用户代理发来的请求 根据网络策略将请求发给相应的服务器 并根据应 答对用户做出相应 也可以将收到的消息改写后再发出 2 重定向服务器 负责规划 sip 呼叫路由 它将获得的呼叫的下一跳地址 信息告诉呼叫方 呼叫方由此地址直接向下一跳发出申请 而重定向服务器则退 出这个呼叫控制过程 3 注册服务器 用来完成 uas 的登录 在 sip 系统中所有的 uas 都要在 网络上注册 登录 以便 uac 通过服务器能找到 它的作用就是接收用户端的 请求 完成用户地址的注册 5 6 2 2 3 sip 的的分层结构分层结构 sip 协议按照逻辑来划分 从下到上可以分为四层 第一层是语法和编码层 编码方式是采用扩展的 backus naur form grammar bnf 范式 第二层是传输层 它定义了一个客户端如何发送请求和接收应答 以及一个 服务器如何接收请求和发送应答 所有的 sip 要素都包含一个通讯层 基于 sip 协议的视频监控终端的研究与实现 10 第三层是事务层 事务是 sip 的基本组成部分 一个事务是客户发送的一个 请求事务 通过通讯层 发送到一个服务器事务 连同服务器事务的所有的该请 求的应答发送回客户端事务 事务层处理应用服务层的重发 匹配请求的应答 以及应用服务层的超时 任何一个用户代理客户端 user agent client uac 完成 的事情都是由一组事务构成的 用户代理包含一个事务层 来实现有状态的代理 服务器 无状态的代理服务器并不包含事务层 事务层包含一个客户元素 可以 认为是一个客户事务 和一个服务器元素 可以认为是一个服务器事务 他们 都可以用一个有限状态机来处理特定的请求 第四层是事务用户层 tu 在事务层之上 每一个 sip 实体 除了无状 态代理 都是一个事务用户 当一个 tu 发出一个请求 它首先创建一个客户事 务实例 client transaction instance 并且和请求一起发送 这包括了目标 ip 地址 端口号 以及发送请求的设备 tu 可以创建客户事务 也可以取消客户事务 当客户取消一个事务 它请求服务器终止正在处理的事务 并且返回状态到该事 务开始前的状态 并且产生指定的该事务的错误报告 这是由 cancel 请求完 成的 这个请求有自己的事务 并且包含一个被取消的事务 7 8 2 2 4 sip 的消息格式的消息格式 sip 是一个基于文本的协议 sip 消息有两种 客户机到服务器的请求 request 服务器到客户机的响应 response sip 消息由一个起始行 start line 一个或多个字段 field 组成的消息头 一 个标志消息头结束的空行 crlf 以及作为可选择的消息体 message body 组 成 起始行又分为请求行 request line 和状态行 status line 两种 其中 请求行是请求消息的起始行 状态行是响应消息的起始行 其格式如下 generic message start line message header crlf message body 请求行以方法 method 标记开始 后面是 request uri 和协议版本 sip version 最后以回车键结束 各个元素间用空格键字符间隔 即 第二章 视频监控系统的相关技术 11 request line method sp request uri sp sip version crlf sip 定义了以下几种请求消息 invite 用于初始化一个呼叫 通常通过 sdp 协议携带会话的描述信息 从而可以在通话双方间进行媒体协商 option 客户端通过发送该请求获取某一主机的性能参数 ack 由客户端发出 用来向服务器确认它已经收到服务器的最后响应 bye 用于结束会话 客户端可以用次请求向服务器表明它想释放呼叫 register 主要用于客户端向服务器登记注册当前的位置 cancel 用于在接受到对方发出的响应前 取消已经发出的请求 与请求消息相对应 sip 定义了一下六种状态码 1xx informational 表示发出的请求已被对方接受 正在处理 2xx uccess 表示对方已经成功接收 解析和接受请求 3xx redirection 表示为完成呼叫请求 需要重定向请求 4xx client error 表示客户端出现错误 5xx server error 表示服务器端出错 不能执行合法请求 6xx global failure 表示出现了全局故障 任何服务器都不能执行请求 9 2 2 5 sip 会话流程会话流程 一个多媒体会话就是一组媒体提供者和接受者及从提供者到接受者之间的 媒体数据流 一个典型的 sip 会话流程如图 2 3 所示 sip 协议以统一资源定位符 uri 来标识用户 称为 sip uri 它的形式和 emali 的形式相似 包括一个用户名和一个主机名 在本例子中 bob 的 sip uri 为 sip bob b 其中 bob 是 bob 的注册用户名 而 b 是 bob 的 sip 服务提供者的域名 类似的 alice 的 sip uri 是 sip alice a 若 alice 要和 bob 进行会话 由于 alice 并不知道 bob 的当前服务器地址 所以 alice 把他的 invite f1 请求发送至其所在域的代理服务器 a proxy 代理服务器把 alice 的 invite f2 请求转发给 bob 所在域的代理服务器 b proxy 并返回给 alice 一个 100 trying f3 消息 b proxy 收到 请求后 它把请求消息转发给 bob 并返回给 a proxy 一个 100 trying 基于 sip 协议的视频监控终端的研究与实现 12 f5 消息 bob 收到 invite f4 请求后 首先产生一个 180 ringing f6 消息并发 送给代理服务器 a 代理服务器负责把 180 ringing f8 消息转发给 alice 如果 bob 决定接收 alice 的请求 他便产生一个 200 ok f9 消息 并通 过代理服务器传输给 alice 当 alice 收到 bob 的 200ok f11 消息后 她再给 bob 发送一个 ack f12 消息 这样会话就建立起来了 双方可以进行媒体交互 此 后由于会话双方都已经知道了对方的联系地址 所以 alice 可以直接把 ack 消 息发送给 bob 而不需要通过代理服务器转发 最后当会话中的其中一个参与者 想结束会话时 在本例中为 bob 他直接给对方发送一个 bye f13 消息 alice 收到 bye 消息后 他给 bob 发送一个 200 ok f14 消息 这样会话就结束了 3 8 图 2 3 sip 会话流程 2 3 mpeg 4 编码标准编码标准 2 3 1 mpeg 4 标准概述标准概述 运动图像专家组 mpeg 于 1999 年 2 月正式公布了 mpeg 4 iso iec14496 标准第一版本 同年年底 mpeg 4 第二版亦告底定 且于 2000 年年初正式成为 国际标准 10 mpeg 4 与 mpeg 1 和 mpeg 2 有很大的不同 mpeg 4 不只是具体压缩算 法 它是针对数字电视 交互式绘图应用 影音合成内容 交互式多媒体 www 第二章 视频监控系统的相关技术 13 资料撷取与分散 等整合及压缩技术的需求而制定的国际标准 mpeg 4 标准将 众多的多媒体应用集成于一个完整的框架内 旨在为多媒体通信及应用环境提供 标准的算法及工具 从而建立起一种能被多媒体传输 存储 检索等应用领域普 遍采用的统一数据格式 mpeg 4 标准同以前标准的最显著的差别在于它是采用基于对象的编码理 念 即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象 分别编码后 再经过复用传输到接收端 然后再对不同的对象分别解码 从而组 合成所需要的视频和音频 这样既方便我们对不同的对象采用不同的编码方法和 表示方法 又有利于不同数据类型间的融合 并且这样也可以方便的实现对于各 种对象的操作及编辑 10 11 2 3 2 mpeg 4 标准构成标准构成 1 dmif dmif 即多媒体传送整体框架 它主要解决交互网络中 广播环境下以及磁 盘应用中多媒体应用的操作问题 通过 dmif mpeg 4 可以建立具有特殊品质 服务 qos quality of service 的信道和面向每个基本流的带宽 2 数据平面 mpeg 4 中的数据平面可以分为两部分 传输关系部分和媒体关系部分 为 了使基本流和 av 对象在同一场景中出现 mpeg 4 引用了对象描述 od 和流 图桌面 smt 的概念 od 传输与特殊 av 对象相关的基本流的信息流图 桌 面把每一个流与一个 cat channel association tag 相连 cat 可实现该流的 顺利传输 3 缓冲区管理和实时识别 mpeg 4 定义了一个系统解码模式 sdm 该解码模式描述了一种理想的 处理比特流句法语义的解码装置 它要求特殊的缓冲区和实时模式 通过有效的 管理 可以更好地利用有限的缓冲区空间 4 音频编码 mpeg 4 的优越之处在于 它不仅支持自然声音 而且支持合成声音 mpeg 4 的音频部分将音频的合成编码和自然声音的编码相结合 并支持音频的 基于 sip 协议的视频监控终端的研究与实现 14 对象特征 5 视频编码 与音频编码类似 mpbg 4 也支持对自然和合成的视觉对象的编码 合成的 视觉对象包括 2d 3d 动画和人面部表情动画等 6 场景描述 mpeg 4 提供了一系列工具 用于组成场景中的一组对象 主要用于描述各 av 对象在一具体 av 场景坐标下 如何组织与同步等问题 一些必要的合成信 息就组成了场景描述 10 12 2 3 3 mpeg 4 标准实现过程标准实现过程 如图 2 4 所示的 mepg 4 的视频编码过程中 mpeg 4 除了继承第一代视频 编码算法以外 还主要出现了针对视频对象平面 vop video object profile 的形 状编码以及纹理编码和运动信息等编码方式 13 14 dct 逆量化 量化 idct 预 测 开 关 预测1 预测2 预测3 帧 存 运 动 纹 理 编 码 视 频 多 路 合 成 运动估值 形状编码 任意形状视频 mpeg 4视频流 图 2 4 mepg 4 的视频编码过程 我们将原始视频序列每一帧中的人 物或是计算机生成的 2d 3d 图形等作 为个视频对象 vo video object vo 的表面虽然往往是不规则和千变万化的 但可将其视为一定视角下 n 个形状规则的 具有一定纹理的剖面组合的连续运 动 这些剖面的组合就称为 vop 它描述的是 vo 在一定视角条件下的表面特 性 按图 2 4 所示的过程 原始视频帧进入编码系统后 经分析确认出 n 个视觉 目的对象为编码对象 将其作为 n 个 vo 将每个 vo 进行形状 纹理和运动预 第二章 视频监控系统的相关技术 15 测编码后 形成各个 vo 的 vop 数据流 与只能处理矩形帧序列的第一代视频 编码所不同的是 mpeg 4 编码标准中的 vop 可以具有任意的形状 当然也包 括了矩形 若 vop 为矩形 编码系统就无须处理形状信息而退化为类似于 mpeg 1 mepg 2 的传统编码系统 从而也实现了与传统编码系统的兼容 原 始视频帧中未被作为 vo 的背景信息 仍然采用传统的矩形 dct 变换编码 而 vo 自身的一些诸如 vo 间位置 逻辑关系等 vo 场景描述信息也要进行单独的 编码 最后和 vop 数据流以及背景编码信息一同在视频复用器中进行合成 产 生 mepg 4 数据流 mpeg 4 数据流提供了视觉场景的分级描述 从上往下分别是 视觉对象序 列 vs visual object 明 sequence 视频对象 vo video object 视频对象层 vol video object layer 视频对象平面组 gov group of vop 和视觉对象 平面 vop video object profile 这样的分级编码方式可以根据带宽或者系统的 运算能力来有选择地产生 mpeg 4 视频流 也便于对 mpeg 4 数据流实现随机 访问和编辑 14 15 16 2 4 rtp 协议协议 2 4 1 rtp 协议概述协议概述 rtp real time protocol 实时传输协议 它是由 ietf 的音频视频传输工作 组 avt 负责开发的 并于 1996 年成为 rfc 正式文档 它主要用于音频 视频等实时流媒体的传送 17 rtp 为交互式音频 视频等具有实时特性的数据提供端到端的传送服务 在 ip 网络上 一般是在 udp 之上运行 rtp 协议 如果支持它的网络能提供组 播功能 则 rtp 也可用组播将数据送给多个目的用户 rtp 包括两个关系十分密切的子协议 实时传输协议 rtp 用于传输实时数据 实时控制协议 rtcp 用于监视网络的服务质量 并传递与会者会话中的 信息 基于 sip 协议的视频监控终端的研究与实现 16 2 4 2 实时传输协议实时传输协议 rtp 协议提供具有实时特征的 端到端的数据传送服务 可用来传送声音 和运动图像数据 在这项数据传送服务中包含了装载数据的标识符 序列计数 时间戳和传送监视 通常 rtp 的协议元是用 udp 协议元来装载的 并利用 udp 的复用和校验和来实现 rtp 的复用 rtp 报文的报头是固定的 有效数据可以是音频或视频数据 固定报头的 rtp 报文结构如图 2 5 所示 图 2 5 固定报头的 rtp 报文 rtp 报头中各字段的含义如下 版本 v 用来标识 rtp 协议的版本 长度为 2 bit 当前版本为 2 填充 p 用于标记 长度为 1 bit 置 1 表示用户数据最后加有填充位 扩展 x 置 1 表示 rtp 报头后紧随一个扩展报头 长度为 1 bit csrc 计数 cc 表示在定长的 rtp 报头后的 csrc 标识符的数量 长 度为 4bit 标记 m 该标记的含义对于不同的有效负荷类型有不同的意义 由 rtp 配置文件对它进行定义和使用 其长度为 1bit 载荷类别 pt 它指示在用户数据字段中承载数据的载荷类别 长度为 7bit 序号 sn 每发送一个 rtp 数据包该序号增加 1 该序号在接收方可用来 发现丢失的数据包和对到来的数据包进行排序 长度为 16bit 时间戳 ts 它用来表示 rtp 包中用户数据段的第一个字节的采样时刻 时间戳的时间表示应为线性单调递增的 以便完成同步实现和抖动的计算 长度 为 32bit 同步源标识符 ssrc 用来标识一个同步源 此标识符是随机选择的 但 要保证同一 rtp 会话中的任意两个 ssrc 各不相同 rtp 必须检测并解决冲 突 长度为 32bit 第二章 视频监控系统的相关技术 17 提供源标识符 csrc 它可有 0 15 项标识符 每一项长度为 32 bit 其 项数由 cc 字段来确定 如果提供源多于 15 个 则只有 15 个被标识 17 18 2 4 3 实时传输控制协议实时传输控制协议 实时传输控制协议 rtcp real time control protocol 是 rtp 的控制协议 它用于监视网络的服务质量和在正在进行的与会者会话中传递信息 rtcp 协议需要与 rtp 协议一起配合使用 当应用程序启动一个 rtp 会话 时将同时占用两个端口 分别供 rtp 和 rtcp 使用 rtp 本身并不能为按序传 输数据包提供可靠的保证 也不提供流量控制和拥塞控制 这些都由 rtcp 来负 责完成 通常 rtcp 会采用与 rtp 相同的分发机制 向会话中的所有成员周期 性地发送控制信息 应用程序通过接收这些数据 从中获取会话参与者的相关资 料 以及网络状况 分组丢失概率等反馈信息 从而能够对服务质量进行控制或 者对网络状况进行诊断 rtcp 协议的功能是通过不同的 rtcp 数据报来实现的 主要有如下几种类 型 sr 发送端报告 所谓发送端是指发出 rtp 数据报的应用程序或者终端 发送端同时也可以是接收端 rr 接收端报告 所谓接收端是指仅接收但不发送 rtp 数据报的应用程 序或者终端 sdes 源描述 主要功能是作为会话成员有关标识信息的载体 如用户名 邮件地址 电话号码等 此外还具有向会话成员传达会话控制信息的功能 bye 通知离开 主要功能是指示某一个或者几个源不再有效 即通知会 话中的其他成员自己将退出会话 app 由应用程序自己定义 解决了 rtcp 的扩展性问题 并且为协议的 实现者提供了很大的灵活性 rtcp 数据报携带有服务质量监控的必要信息 能够对服务质量进行动态 的调整 并能够对网络拥塞进行有效的控制 由于 rtcp 数据报采用的是多播方 式 因此会话中的所有成员都可以通过 rtcp 数据报返回的控制信息 来了解其 他参与者的当前情况 17 18 基于 sip 协议的视频监控终端的研究与实现 18 第三章第三章 硬件平台硬件平台及软件架构及软件架构 3 1 系统硬件平台系统硬件平台 3 1 1 arm 微处理器概述微处理器概述 arm advanced risc machines 公司成立于 1991 年 它是全球领先的 16 32 位嵌入式 risc 微处理器解决方案的供应商 向全球各大领先电子公司提供高 性能 低成本和高效率的 risc 处理器 外设和系统芯片技术授权 其中包括 intel ibm lg 半导体 nec sony 菲利浦和国民半导体这样的大公司 arm 的微处理器核技术广泛用于便携式通信产品 手持运算 多媒体和嵌入式 解决方案等领域 已成为 risc 标准 arm 微处理器目前包括 arm7 arm9 arm9e 和 arm10 等四个通用处 理器系列 每个系列都提供一套相对独特的性能来满足不通应用领域的需求 由 于其具有内核耗电少 成本低 功能强等特点而被广泛应用于移动通信 手持计 算和数据处理等嵌入式产品中 已经成为业界系统开发首选方案之一 19 20 3 1 2 z228 硬件平台硬件平台 本课题所选用的硬件平台是以上海杰得微电子公司的 z228 微处理器为核心 的嵌入式系统 z228 是上海杰得微电子公司自主开发的多媒体应用处理器 是 中国第一款 0 13 微米的高度集成的低功耗的具有强大多媒体处理能力的 soc 芯片 z228 单芯片包含了 arm926ej cpu 和 mpeg