Unity Sockect实现画面实时传输案例原理解析

第UnitySockect实现画面实时传输案例原理解析目录前言一、Socket通信原理二、画面传输设计1.逻辑设计图2.Unity服务端3.Unity客户端4.最终效果

前言

提示：这里可以添加本文要记录的大概内容：

例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

提示：以下是本篇文章正文内容，下面案例可供参考

一、Socket通信原理

Socket是比较常用的一种通信方式。有关介绍可以点击查看Socket通信原理

二、画面传输设计

1.逻辑设计图

2.Unity服务端

首先创建一个Unity工程，然后新建Server场景，用于接受数据，展示画面。

然后再场景中创建一个RawImage并设置为全屏。

如图：

然后创建一个脚本，命名为UnityServer，再创建一个UnityServer.cs

在Start函数中创建Socket服务器，并开启一个线程用于接受数据。

这里要注意一点，不能在接受数据线程中处理数据，需要在主线程中进行处理。

因为Unity主线程里面的资源不允许其他线程进行访问。

在Update函数中处理数据，并展示图片。

UnityServer.cs代码如下：

usingSystem;

usingSystem.Collections.Generic;

usingSystem.IO;

usingSystem.Net;

usingSystem.Net.Sockets;

usingSystem.Threading;

usingUnityEngine;

usingUnityEngine.UI;

publicclassUnityServer:MonoBehaviour{

Socketsocket=null;

Threadthread=null;

byte[]buffer=null;

boolreceState=true;

intreadTimes=0;

publicRawImagerawImage;

privateQueuebyte[]datas;

voidStart(){

buffer=newbyte[1024*1024*10];

//创建服务器,以Tcp的方式

socket=newSocket(AddressFamily.InterNetwork,SocketType.Stream,ProtocolType.Tcp);

socket.Connect(IPAddress.Parse("7"),10002);

//开启一个线程,用于接受数据

thread=newThread(newThreadStart(Receive));

thread.Start();

datas=newQueuebyte[]

privatevoidReceive()

while(thread.ThreadState==ThreadState.Runningsocket.Connected)

//接受数据Buffercount是数据的长度

intcount=socket.Receive(buffer);

if(receStatecount0)

receState=false;

BytesToImage(count,buffer);

MemoryStreamms=null;

publicvoidBytesToImage(intcount,byte[]bytes)

ms=newMemoryStream(bytes,0,count);

datas.Enqueue(ms.ToArray());//将数据存储在一个队列中，在主线程中解析数据。这是一个多线程的处理。

readTimes++;

if(readTimes5000)

readTimes=0;

GC.Collect(2);//达到一定次数的时候，开启GC，释放内存

catch

receState=true;

voidUpdate()

if(datas.Count0)

//处理纹理数据，并显示

Texture2Dtexture2D=newTexture2D(Screen.width,Screen.height);

texture2D.LoadImage(datas.Dequeue());

rawImage.texture=texture2D;

voidOnDestroy()

if(socket!=null)

socket.Shutdown(SocketShutdown.Both);

catch{}

if(thread!=null)

thread.Abort();

catch{}

datas.Clear();

}

然后在场景中创建一个GameObject，将脚本挂载上，并将创建的RawImage拖拽到Inspector面板上对应的位置。

如图：

3.Unity客户端

然后我们创建一个客户端工程，创建一个Client场景。

选中MainCamera，用Ctrl+D复制一个摄像机，放在MainCamera下面。

设置localPosition和localRotation为零。

这个相机的主要作用抓取屏幕渲染纹理。

如图：

然后再创建一个脚本，命名为UnityClient.cs脚本。在Start中开启Socket，然后开启一个线程发送数据。

将其挂载在MainCamera上面，并将渲染摄像机拖拽到相应的位置。

UnityClient.cs代码如下：

usingSystem;

usingSystem.Collections.Generic;

usingSystem.Net;

usingSystem.Net.Sockets;

usingSystem.Threading;

usingUnityEngine;

publicclassUnityClient:MonoBehaviour{

publicCameracam;

publicintport=10002;

RenderTexturecameraView=null;

Socketsocket=null;

Threadthread=null;

boolsuccess=true;

Dictionarystring,Clientclients=newDictionarystring,Client

Vector3old_position;//旧位置

Quaternionold_rotation;//旧旋转

voidStart(){

cameraView=newRenderTexture(Screen.width,Screen.height,24);

cameraView.enableRandomWrite=true;

cam.targetTexture=cameraView;

old_position=transform.position;

old_rotation=transform.rotation;

//开启Socket

socket=newSocket(AddressFamily.InterNetwork,SocketType.Stream,ProtocolType.Tcp);

socket.Bind(newIPEndPoint(IPAddress.Parse("7"),port));

socket.Listen(100);

//开启一个线程发送渲染数据

thread=newThread(newThreadStart(OnStart));

thread.Start();

intisNewAdd=0;

voidOnStart()

Debug.Log("Socket创建成功");

while(thread.ThreadState==ThreadState.Running)

Socket_socket=socket.Accept();

if(clients.ContainsKey(_socket.RemoteEndPoint.ToString()))

clients[_socket.RemoteEndPoint.ToString()].socket.Shutdown(SocketShutdown.Both);

catch

clients.Remove(_socket.RemoteEndPoint.ToString());

Clientclient=newClient

socket=_socket

clients.Add(_socket.RemoteEndPoint.ToString(),client);

isNewAdd=1;

voidUpdate()

if(successclients.Count0)

success=false;

SendTexture();

if(isNewAdd0)

isNewAdd=0;

SendTexture(1);

voidOnGUI()

GUI.DrawTexture(newRect(10,10,240,135),cameraView,ScaleMode.StretchToFill);

voidOnApplicationQuit()

socket.Shutdown(SocketShutdown.Both);

catch{}

thread.Abort();

catch{}

Texture2DscreenShot=null;

intgc_count=0;

voidSendTexture(intisInt=0)

if((!old_position.Equals(transform.position)||!old_rotation.Equals(transform.rotation))||isInt==1)

if(null==screenShot)

screenShot=newTexture2D(Screen.width,Screen.height,TextureFormat.RGB24,false);

//读取屏幕像素进行渲染

RenderTexture.active=cameraView;

screenShot.ReadPixels(newRect(0,0,cameraView.width,cameraView.height),0,0);

RenderTexture.active=null;

byte[]bytes=screenShot.EncodeToJPG(100);

foreach(varvalinclients.Values)

val.socket.Send(bytes);

catch

if(!val.socket.Connected)

clients.Remove(val.socket.RemoteEndPoint.ToString());

gc_count++;

if(gc_count5000)

gc_count=0;

GC.Collect(2);

Debug.Log("发送数据:"+(float)bytes.Length/1024f