即时通讯 音视频开发解决方案.doc

AnyChatAnyChat音视频应用解决方案音视频应用解决方案 广州佰锐网络科技有限公司 AnyChat 音视频应用解决方案佰锐科技 版权所有 2 目录目录 一 产品介绍一 产品介绍 4 二 二 AnyChatAnyChat 核心功能核心功能 4 1 实时音视频交互 4 2 跨平台互联互通 5 3 回音消除 噪音抑制 5 4 P2P 技术 6 5 文件传输 6 6 数据通信 6 7 网络服务质量 Qos 7 8 双机热备 7 9 分层架构设计 7 10 开放接口 8 11 安全 可靠 8 12 音视频录制 拍照 8 13 服务器录制 8 14 IP 组播 8 15 文字聊天 9 16 外部音视频输入 9 三 三 AnyChatAnyChat 技术特点技术特点 9 1 先进的视频编码技术 H 264 9 2 优化的音频编码技术 AAC 10 3 复杂网络环境的服务质量 QoS 10 4 动态扩容与负载均衡 11 5 特定网络环境下的利器 IP 组播 11 6 P2P 通信技术 11 7 跨平台的解决方案 12 8 开放的接口 12 9 全景录像 13 10 全方位的安全保障机制 14 四四 AnyChatAnyChat 系统架构系统架构 15 1 拓扑结构图 15 2 AnyChat 软硬件配置参考 16 五 五 AnyChatAnyChat 技术指标技术指标 17 六 行业对比六 行业对比 18 1 支持 P2P 技术 18 2 低带宽占用 18 3 支持高并发 18 AnyChat 音视频应用解决方案佰锐科技 版权所有 3 4 可扩展性 19 5 高安全性 19 AnyChat 音视频应用解决方案佰锐科技 版权所有 4 一一 产品介绍 产品介绍 AnyChat 即时通讯平台 是一套跨平台的即时通讯解决方案 基于先进 的 H 264 视频编码标准 AAC 音频编码标准与 P2P 技术 支持高清视频 整合 了佰锐科技在音视频编码 多媒体通讯领域领先的开发技术和丰富的产品经验 而设计的高质量 宽适应性 分布式 模块化的网络音视频互动平台 AnyChat 即时通讯平台 包含了音视频处理模块 采集 编解码 流媒 体管理模块 丢包重传 抖动平滑 动态缓冲 流媒体播放模块 多路混音 音视频同步 以及 P2P 网络模块 NAT 穿透 UPnP 支持 IP 组播支持 等多个 子模块 封装了底层的硬件操作 音视频采集 播放 封装了流媒体处理 编 解码 网络传输 等非常专业和复杂的技术 为上层应用提供简单的 API 控制 接口 可以在极短的开发周期 以及极少的人力资源投入下为客户的现有平台 增加音视频即时通讯 多方会议的功能 AnyChat 即时通讯平台 分为客户端 SDK 和服务器 SDK 两大部分 其中 客户端 SDK 用于实现语音 视频的交互以及其它客户端相关的功能 而服务器 SDK 主要实现业务层逻辑控制 以及与第三方平台的互联等 客户端 SDK 和服 务器 SDK 均支持 C C VB Net 以及 Delphi 等开发语言 通过 AnyChat 即时通讯平台 可以开发具有企业特色的即时通讯系统 视频游戏系统 视频会议系统 网络教学系统 语音视频聊天系统 专家咨询 平台以及政府应急指挥平台等 系统的功能 界面完全由企业定制 AnyChat 是国内知名音视频互动开发平台 经过长达九年之久的广泛应用 和复杂化环境的检测 AnyChat SDK 系统在兼容性 安全性 稳定性 易用性 方面具有较高的声誉 AnyChat 是佰锐科技全力打造的核心产品 二 二 AnyChatAnyChat 核心功能核心功能 1 实时音视频交互实时音视频交互 AnyChat 即时通讯平台 支持 一对一 一对多 以及 多对多 等多 AnyChat 音视频应用解决方案佰锐科技 版权所有 5 种模式的音频 视频交互 在交互过程中 上层应用可以控制只传音频 或只 传视频 或是音视频同时传输 音频数据流由内核自动播放 上层应用通过简单的 API 调用即可实现双方 的语音交流 当有多路音频需要播放时 内核会自动进行混音处理 同时也可 以通过回调将原始的音频数据 PCM 回调给上层应用 视频数据流由内核解码后 可由内核自动显示 WIN32 平台需要预先设定显 示窗口句柄 ANDROID 平台需要预先设定显示的 SURFACE 也可以通过回调的 方式 将原始的视频数据 YUV RGB 回调给上层应用 由上层应用来显示视 频 音视频数据走 UDP 通道传输 优先 P2P 通道 当两个用户之间的 P2P 通道 不通时 将会通过服务器转发 2 跨平台互联互通跨平台互联互通 AnyChat 支持跨平台的应用 服务器支持 Windows Linux Unix 等所有主 流服务器操作系统 客户端目前支持 Windows Linux x86 ARM Android 以 及 iOS iPhone iPad 平台等 目前正在研发 Win Phone8 等平台 AnyChat 的 跨平台特性 为客户提供了广阔的应用空间 如实现 Windows 桌面用户的语音 视频交互的同时 还可以定制嵌入式硬件解决方案 实现嵌入式硬件与 Windows 桌面应用的互联互通 在部队远程指挥 政府应急系统 数字化家庭 移动视频监控 专家咨询 在线客服 呼叫中心以及移动音视频采集等领域有 广泛的应用空间 3 回音消除 噪音抑制回音消除 噪音抑制 优化的音频信号处理算法 消除环境噪音和回声 实现全双工顺畅沟通 AnyChat 的噪音抑制技术原理是将实时采样的数字信号进行频谱分析 这样 我们就能分析背景噪声响应的强度和频谱分布 然后根据这个模型就能设计一 个滤波器 当有人讲话的时候 同时做信号分析 根据分析 ANC 就能分析出 AnyChat 音视频应用解决方案佰锐科技 版权所有 6 讲话者的频谱 那么根据这些背景噪音和讲话者的频谱 这个滤波器根据两个 信号的对比实时的改变 让讲话者声音频谱通过 对背景噪声的频谱进行抑制 降低其能量 比如说降低 15 到 20 个分贝 就很明显可以感觉体验到噪音抑制 的效果 4 P2P 技术技术 AnyChat 针对可不经过服务器中转的音视频应用 采用了 P2P 通信技术 该 技术的核心在于防火墙的穿越 使用 P2P 通信技术 可以大大的减轻系统服务 器的负荷 并成几何倍数的扩大系统的容量 且并不会因为在线用户数太多而 导致服务器的网络阻塞 支持 UPNP 协议 自动搜索网络中的 UPNP 设备 主动打开端口映射 提高 P2P 通信效率 5 文件传输文件传输 AnyChat 即时通讯平台 支持文件传输功能 可实现客户端向客户端 客 户端向服务器 或是服务器向客户端发送文件 文件传输过程中内核会自动分包传输 接收端组包 校验 对方接收到文 件之后 将会触发对应的回调函数 通过处理回调函数 便可知晓文件传输完 成 文件传输采用 UDP 通道 可 P2P 传输 内核会自动进行流量控制 达到不 同网络带宽下的最佳传输效率 文件传输过程中可实时查询传输进度 传输码率等信息 方便实现界面上 的传输进度条 增强系统的用户体验 6 数据通信数据通信 提供透明通道接口 实现客户端之间 客户端与服务器之间的缓冲区数据 实时传输 透明通道 顾名思义就是 AnyChat 即时通讯平台 为上层应用提 AnyChat 音视频应用解决方案佰锐科技 版权所有 7 供的一个传输数据的通道 由于 AnyChat 即时通讯平台 并不关心所传输的 内容 即所传输的数据相对于平台来说是 透明 的 便称为 透明通道 上层应用可以利用 AnyChat 即时通讯平台 提供的透明通道来扩展业务 传输的内容没有限制 可以为任意数据类型缓冲区 如可以利用透明通道传输 业务层自定义的指令 接收方收到数据后 会产生透明通道数据回调 在回调 函数里面进行指令的解析 并进行对应的业务逻辑处理 透明通道数据传输走 TCP 通道 内核保障数据传输的可靠性 7 网络服务质量 网络服务质量 Qos 满足 3G 卫星 WiFi ADSL 光纤 局域网等复杂网络环境下的音视频应 用 抗丢包率达 21 8 双机热备双机热备 服务器可配置为主 从工作模式 主服务器宕机后 从服务器自动接管 提高系统的容灾能力 与第三方集群管理软件配合可实现主 从服务器的自动 切换 从服务器启动之后 需要与主服务器建立通信连接 等待主服务器的激活 从服务器被激活之前 不能对外提供服务 当从服务器被激活 且主服务器宕机之后 从服务器将会立即开始服务 接受客户端连接 从服务器被激活之后 可以连续工作 30 天 过期必须重新与 主服务器建立通信连接 重新被激活 从服务器被激活之后 系统重启后可继 续提供服务 当从服务器被激活 且正在提供服务时 若主服务器启动 则从服务器停 止提供服务 不接受客户端的网络连接 之前已成功连接从服务器的客户端不 受影响 网络连接不会被断开 AnyChat 音视频应用解决方案佰锐科技 版权所有 8 9 分层架构设计分层架构设计 核心服务器 业务服务器互相独立 适合二次开发 业务逻辑清晰 支持 分布式部署 10 开放接口开放接口 提供客户端 SDK 服务器 SDK 自主设计软件界面和业务逻辑 支持 C Delphi Java C VB OBJ C 等主流开发语言 11 安全 可靠安全 可靠 通信数据加密传输 隐私数据安全无忧 服务器认证密码保护 防止非授 权客户端连接 支持 Linux 服务器 12 音视频录制 拍照音视频录制 拍照 AnyChat 即时通讯平台 提供 API 接口用于实现图像抓拍和音视频的录制 拍照保存的文件格式为 JPEG 录像保存的文件格式为 MP4 拍照与录像均在客户端完成 可设定录像的音视频质量 也可以单独录制 音频 或视频 或是音视频一起录制均有 API 进行设定 拍照 或是录像完成之后 将会产生对应的回调函数 在回调函数中告知 上层应用录像文件名及路径 13 服务器录制服务器录制 支持在服务器端录像 集中保存 录像任务可由客户端发起 也可由业务 服务器发起 录像完成之后 将录像文件名反馈给业务服务器 业务服务器可 保存到数据库中便于集中维护 录像保存路径可设置 AnyChat 音视频应用解决方案佰锐科技 版权所有 9 14 IP 组播组播 音视频数据可通过 IP 组播方式发送 接受 IP 组播技术需要三层交换机 或路由器支持 通常应用于专用网络 如 教育网 广电网以及企业内部网等 使用 IP 组播技术可以极大的降低数据发送方的带宽要求 最大的好处是可以让 数据接收方的数量成千上万 而不会造成网络的阻塞 15 文字聊天文字聊天 AnyChat 即时通讯平台 可以实现 一对一 和 一对多 的文字聊天 即可以只向指定用户发送文字消息 也可以向整个房间广播文字消息 文字消息在内核会加密传输 走 TCP 通道传输 所传输数据将会传递一份 副本给业务层服务器 业务层服务器可集中保存 实现一些特殊的需求 文字消息发送后 将会触发对方的回调函数 由上层应用将文字消息显示 在界面上呈现给用户 16 外部音视频输入外部音视频输入 主要满足一些特殊应用场合下的需求 通常普通用户不会使用到 使用该 功能 可以由上层应用程序输入视频数据 音频数据到 AnyChat 然后 AnyChat 再对这些数据进行编码 传输 即使用上层应用的数据做为数据源 而不使用 AnyChat 从本地声卡 摄像头采集的音视频数据 通过外部音视频数据输入功能 可以让 AnyChat 客户端的音视频数据来源 更加广泛 默认情况下 AnyChat 都是对本地的声卡 摄像头进行采集 把采 集后的音频 视频数据再进行编码 传输 而如果视频数据并不是从标准的音 视频硬件设备采集 则默认的采集功能将不能满足要求 如果上层应用希望对音视频数据进行一系列的处理 然后将处理后的数据 在远程显示出来 则就必须使用外部音视频数据输入功能 AnyChat 音视频应用解决方案佰锐科技 版权所有 10 三 三 AnyChatAnyChat 技术特点技术特点 1 先进的视频编码技术先进的视频编码技术 H 264 H 264 是国际标准化组织 ISO 和国际电信联盟 ITU 共同提出的继 MPEG4 之后的新一代数字视频压缩格式 H 264 最大的优势是具有很高的数据压 缩比率 在同等图像质量的条件下 H 264 的压缩比是 MPEG 2 的 2 倍以上 是 MPEG 4 的 1 5 2 倍 AnyChat 即时通讯平台 优化了标准的 H 264 算法 实现较低的码率承 载较高的视频质量 视频质量动态可调节 可满足不同客户 不同网络环境下 的多种需求 AnyChat 即时通讯平台 采用先进去马赛克技术 保障在视频通讯过程中 不出现花屏 马赛克等现象 AnyChat 即时通讯平台 的视频编码质量默认由服务器配置 也可以针对 不同的客户端设置不同的视频质量 包括视频采集分辨率 帧率 编码输出码 率 质量因子等参数 可动态调节 2 优化的音频编码技术优化的音频编码技术 AAC AAC 是 MPEG1 2 Audio 的下一代有损音频编码 并且是 MPEG 4 使用的音 频编码 AAC 采用了感知子带技术 perceptual sub band technology 与 MP3 等其它编码器相比 AAC 编码器很大程度地改善了数据压缩率和声音品质 AAC 同时支持多达 48 个音轨 15 个低频音轨 更多种采样 率和比特率 多种语言 的兼容能力 更高的解码效率 AnyChat 即时通讯平台 采用先进的 AAC Advanced Audio Coding 语音 编码体系 支持静音检测 VAD 噪音抑制 NS 自动增益 AGC 以及回音 消除 AEC 等音效处理 极大提高用户体验 AnyChat 音视频应用解决方案佰锐科技 版权所有 11 3 复杂网络环境的服务质量复杂网络环境的服务质量 QoS AnyChat 即时通讯平台 采用动态缓冲技术 会根据不同的网络状况实时 调节缓冲区的大小 在实时性和流畅性之间保持平衡 当网络状况较好时 AnyChat 会减小缓冲区的容量 提高音视频的实时性 当网络状况较差时 AnyChat 会增大缓冲区的容量 这样会带来一些延迟的 增加 但是能保障音视频的流畅性 有效消除网络抖动对音视频播放质量的影 响 4 动态扩容与负载均衡动态扩容与负载均衡 AnyChat 即时通讯平台 采用 1 N 的模式 即一套核心服务器与 N 套 房间服务器组成服务器集群为用户提供服务 核心服务器集中管理房间服务器 可实现动态的增 减 实现动态扩容 同时也为后期维护提供便利 房间服务器为最终用户提供音视频服务 核心服务器可实时了解每台房间服务器的负载状况 并发访问用户数 网 络流量 CPU 以及内存等系统资源占用状况等 核心服务器内置的负载均衡模 块将动态进行策略调整 新用户的请求将分配到负载较轻的房间服务器进行服 务 5 特定网络环境下的利器特定网络环境下的利器 IP 组播组播 AnyChat 即时通讯平台 支持 IP 组播技术 当在有三层交换机或路由器 支持的专用网络 如 教育网 广电网以及企业内部网等 使用 IP 组播技术可 以极大的降低数据发送方的带宽要求 最大的好处是可以让数据接收方的数量 成千上万 而不会造成网络的阻塞 6 P2P 通信技术通信技术 AnyChat 即时通讯平台 针对可不经过服务器中转的音视频应用 采用了 AnyChat 音视频应用解决方案佰锐科技 版权所有 12 P2P 通信技术 该技术的核心在于防火墙的穿越 使用 P2P 通信技术 可以大 大的减轻系统服务器的负荷 并成几何倍数的扩大系统的容量 且并不会因为 在线用户数太多而导致服务器的网络阻塞 支持 UPNP 协议 自动搜索网络中的 UPNP 设备 主动打开端口映射 提高 P2P 通信效率 支持 UDP TCP 的网络穿透 AnyChat 即时通讯平台 采用多种策略尝试 NAT 的穿透 多年以来在 P2P 技术领域积累的丰富经验是穿透成功率的保障 7 跨平台的解决方案跨平台的解决方案 AnyChat 即时通讯平台 支持跨平台的应用 服务器支持 Windows Linux Unix 等所有主流服务器操作系统 客户端目前支持 Windows Linux Android Web iOS 等平台 目前正在做 WP7 平台的移植 AnyChat 的跨平台特性 为客户提供了广阔的应用空间 如实现 Windows 桌面 用户的语音视频交互的同时 还可以定制嵌入式硬件解决方案 实现嵌入式硬 件与 Windows 桌面应用的互联互通 在部队远程指挥 政府应急系统 数字化 家庭 移动视频监控以及移动音视频采集等领域有广泛的应用空间 8 开放的接口开放的接口 AnyChat 即时通讯平台 分为客户端 SDK AnyChat Platform Core SDK 和服务器端 SDK AnyChat Server SDK 两大部分 其中客户端 SDK 用于 实现语音 视频的交互以及其它客户端相关的功能 而服务器 SDK 主要实现业 务层逻辑控制 以及与第三方平台的互联等 客户端 SDK 和服务器 SDK 均支持 C C VB Net 以及 Delphi 等开发语言 AnyChat 即时通讯平台 采用模块化技术体系 良好的平台兼容性与可扩 展性 丰富的 API 函数 为上层应用提供了开放的应用接口 AnyChat 音视频应用解决方案佰锐科技 版权所有 13 9 全景录像全景录像 音视频录制是音视频解决方案中最重要的功能特性之一 特别是一些行业 应用中音视频录制是最基本的功能需求 AnyChat 作为业界一流的跨平台音视 频解决方案 在音视频录制方面也提供了非常完善的整体解决方案 可针对单个用户的音频 视频进行录制 也可针对通话双方的音频 视频 合成录制 支持画中画 并列模式等多种合成方式 可以自定义录制参数 包 括录制码率 视频分辩率等 录制的视频格式可自定义 支持 MP4 默认 WMV FLV MP3 等 可以在客户端录制 也可以在中心服务器录制 可以在客 户端进行音视频合成 中心服务器对合成音视频流录制 录像服务器支持高并 发 客户端录制支持的平台包括 Windows Web Android iOS Linux 服务 器录制支持的平台包括 Windows Linux x86 x64 提供客户端录制 API 服务器录制 API 接口 与上层业务无缝集成 AnyChat 音视频应用解决方案佰锐科技 版权所有 14 10 全方位的安全保障机制全方位的安全保障机制 AnyChat 即时通讯平台 从设计之初就注重系统的安全保障 防止恶意用 户的入侵与破坏 概括的说 AnyChat 即时通讯平台 的安全保障措施主要由 如下几部分组成 a 服务器端口可以自定义 服务器所使用的 TCP UDP 服务端口均可自定 义 在服务器的 ini 文件中配置 实现服务的隐藏 b 服务器与客户端之间的底层通信协议均加密传输 防止非 AnyChat 客户 端连接服务器 采用 128bit 高强度加密算法 为系统提供一道安全的屏障 c 服务器可设置连接认证密码 防止非授权 AnyChat 客户端连接服务器 e 服务器内部还设置有安全检测机制 一旦检测到当前连接的客户端有非 法操作嫌疑 如内部通信协议没有按既定的步骤进行 时 将会主动断开该客 户端的连接 并记录该连接的 IP 地址 在一段时间内不允许重新连接 f 上层应用可以使用服务器 SDK Filter Plus 编程接口或是 AnyChat AnyChat 音视频应用解决方案佰锐科技 版权所有 15 Server SDK 实现用户身份的认证 认证过程完全开放给上层应用 四四 AnyChatAnyChat 系统架构系统架构 1 拓扑结构图拓扑结构图 功能说明功能说明 a 中心服务器 主要负责服务器集群的管理 负载均衡 任务调度等任务 同时还负责与业务层服务器进行交互 将 AnyChat 即时通讯平台 的用户相 关请求传递给业务服务器进行处理 并将处理结果反馈给对应的用户 起中间 桥梁作用 b 业务服务器 采用 AnyChat Server SDK 开发的独立服务器 负责整 个系统业务流程的管理 包括用户身份鉴权认证以及业务流的控制等 起到与 第三方系统互联互通的桥梁作用 c 房间服务器 负责处理终端用户在房间内的相关任务请求 转发流媒体 AnyChat 音视频应用解决方案佰锐科技 版权所有 16 数据 协助用户之间 P2P 穿透 房间服务器可动态增 减 当新的房间服务器 向中心服务器注册成功之后 中心服务器的负载均衡机制便会将部分用户的请 求调用给新加入的房间服务器处理 减轻其它房间服务器的压力 d PC 用户 运行 ANYCHAT 客户端软件 提供二次开发接口 SDK 软件界 面可由用户自行开发 支持多种开发语言 包括 VC Delphi VB Net C 等 封装为 ActiveX 插件之后可以集成到 IE 浏览器进行访问 e 移动智能终端用户 目前支持嵌入式 Linux Android Mobile 等平台 提供二次开发接口 SDK 实现跨平台访问 同时可与硬件平台紧密结合 实 现硬件的编码 解码 需要根据具体的硬件进行定制开发 默认采用软件方式 进行编码与解码 2 AnyChat 软硬件配置参考软硬件配置参考 在整个平台中转换服务器与流媒体服务器的负载最大 需要配置较高性能 的服务器 而中心服务器与业务服务器主要是管理 或是任务调度等 没有大 量的计算工作 所以配置没有特殊的要求 下面的软硬件配置仅供参考 在实 际项目实施的过程中可根据整个系统的负载容量来确定实际的配置参数 中心服务器 房间服务器均支持 Win32 Linux 等平台 可根据实际情况进 行部署 业务服务器需要定制开发 所运行的软件平台需要综合考虑多种因素 方能确定 推荐硬件配置如下 CPU Intel E5506 2 13GHz 8M 四核 RAM DDR3 RDIMM 4G HD SAS 146 GB 10K RPM 网卡 2 x 1000M 以太网卡 显卡 标配 AnyChat 音视频应用解决方案佰锐科技 版权所有 17 五 五 AnyChatAnyChat 技术指标技术指标 项目列表项目列表技术参数技术参数 视频编码器视频编码器 H 264 AVC 视频分辨率视频分辨率 160 120 1280 1024 可动态调节 视频帧率视频帧率 1 30 fps 可动态调节 音频编码器音频编码器 AAC AMR WB SPEEX CELT 音频采样率音频采样率 8000 Hz 44100 Hz 音频采样声道音频采样声道 Mono Stereo 目标码率目标码率 音频 8kbps 128kbps 可动态调节 视频 10kbps 10Mkbps 可动态调节 P2PP2P UDP over NAT TCP over NAT UPnP 传输协议传输协议 RTP RTCP RFC 3550 3551 IETF SIDD0064 0065 RTSP RFC 2326 语音增强处理语音增强处理 回音消除 AEC 噪音抑制 NS 自动增益 AGC 静音检测 VAD 支持的操作系统支持的操作系统 Windows 98 2K XP Vista Windows 7 Windows 8 Linux Web Android ios 音视频延迟指标音视频延迟指标 网络状态较好时 无丢包 网络延迟 10ms 100ms 网络状态一般时 无丢包 网络延迟 50ms 100ms 网络状态较差时 丢包率 5 网络延迟 100ms 250ms 网络状态很差时 丢包率 20 网络延迟 500ms 1100ms AnyChat 音视频应用解决方案佰锐科技 版权所有 18 房间最大并发用户数房间最大并发用户数 800 用户 房间 房间服务器最高并发房间服务器最高并发 核心服务器最高并发 P2PP2P 连接成功率连接成功率 局域网 100 互联网 82 音视频相关参数与硬件相关 音视频延迟指标为发言模式下的测试值 如采用放歌模式 则内核为了保障 播放的流畅性 会适当增加缓冲区大小 导致延迟增大 P2P 连接成功率为综合网络测试平均值 六 六 行业对比行业对比 AnyChat 与 Adobe 公司的 Flash 解决方案进行对比 1 支持支持 P2P 技术技术 AnyChat 支持 P2P 技术 在视频通话时语音视频流优先 P2P 传输 即当两个 客户端之间的 P2P 通道可用时 语音视频流直接通过 P2P 通道传输 不经过中 心服务器 不占用中心服务器的带宽资源 当 P2P 不通时才经过服务器转