基于wince的网络音视频通信(简单易明版)

由于这个学期的期末将至，因此期末大作业也要开始做了。这次做的是N个月前就做过的网络音视频通信，不过这次做了不少改进。
   在这里，先要感谢一下 MacintoshM 大侠，他的帖子给我提供了最原始的源代码，我现在的代码也是在他代码的基础上做出修改的。
OK，现在进入主题，先来介绍一下这个东东：
  •    下位机为 mini2440 ，其操作系统是WINCE 5.0，需要在下位机上插入USB摄像头（中星微301，驱动为15分钟限制版），以及插入麦克风耳机；
  •    上位机为普通的PC，需要插入麦克风耳机；
  •    上位机和下位机的开发环境为Visual Studio 2005。
接下来，说说这个东东的功能，和工作原理：
  • 网络视频传输，首先把mini2440与USB摄像头连接在一起，通过USB摄像头捕捉图像(320 x 240，15fps)，然后通过UDP协议发送至PC端，在PC屏幕上以15fps的速度显示。
  • 网络音频传输，首先在mini2440和PC上都插入麦克风耳机，两者都同时录音，并以G.726编码，然后把压缩包通过UDP协议发送至对方，而在录音的同时，也对来自对方的压缩包用G.726解码，然后再在耳机播放音频。
最后，说说这个版本相对于以前的改进：
  • 把以前的RTP改为UDP，实践证明，在这个系统中，用UDP的效率会比RTP好，毕竟不需要用到RTP的流量监测等高级功能，仅仅能通信就行了；
  • 以前版本基于100M网卡，现在支持10M网卡了，在100M网卡的机器上，可以直接把JPEG图片发过去，但是，在10M的网卡是，每次数据包最大为1440比特，因此要兼容10M网卡，就需要把图像分割成多个1440大小的数据包，分别发送了。
源代码可以到这里下载（2008.12.01才可以下载）：
http://download.csdn.net/user/hellogv
网络音视频通信

下面说说关键的源代码：
以下是WINCE部分的代码
  1. #pragma once
  2. #include "winsock2.h"
  3. //RTP支持
  4. #include "..\UDP\UDP.h"
  6. //音频支持
  7. #include "WaveIn.h"
  8. #include "WaveOut.h"
  10. //G726支持
  11. #include "g726.h"
  13. //摄像头支持
  14. #include ".\video\\zc030xlib.h"
  16. #define Video_Width 320 //视频宽度
  17. #define Video_Height 240 //视频长度
  18. #define AudioData_Size 960  //每块音频数据包的大小
  19. #define Compr_AudioData_Size 120  //压缩后音频块的大小
  22. //音频输入输出变量
  23. CWaveIn *g_pIn;
  24. CWaveOut *g_pOut;   
  25. char pin[AudioData_Size],pout[Compr_AudioData_Size];
  26. char waveout[AudioData_Size];
  27. //摄像头输入变量
  28. DWORD dwSize;
  29. DWORD dwJpg;
  30. DWORD dwRtnSize[2];/* 0 - for bmp, 1 - for jpeg */
  31. LPBYTE lpFrameBuffer;
  32. LPBYTE lpJpgBuffer ;
  33. //控制变量
  34. bool isCameraEnabled;
  35. //UDP
  36. CUDP_CE m_CEUdp;
  38. class AVClass
  39. {
  40. public:
  42.     //=====================================================================
  43.     //  语法格式：   void InitAV(CWnd * p)
  44.     //  实现功能：   初始化音频和视频，用于录音、播放音频，以及播放视频
  45.     //  参数：     p为窗口类指针
  46.     //  返回值：    无
  47.     //=====================================================================
  48.     void InitAV(CWnd * p,int local_port,CString remote_ip,int remote_port)
  49.     {
  51.        //-----------------------初始化UDP-----------------------//
  52.        m_CEUdp.m_OnUdpRecv = OnUdpCERecv;
  53.        DWORD nResult = m_CEUdp.Open(p,local_port,remote_ip,remote_port);
  54.        if (nResult <=0) 
  55.        {
  56.            AfxMessageBox(_T("打开端口失败"));
  57.            return;
  58.        }
  60.         //------------------------控制变量-----------------------//
  61.         isCameraEnabled=false;
  62.         //-------------------------视频--------------------------//
  63.         int i = capInitCamera();
  64.         dwSize = 320 * 240 * 3;
  65.         dwJpg = 40960;
  66.         lpFrameBuffer = (LPBYTE) malloc (dwSize);   
  67.         lpJpgBuffer = (LPBYTE) malloc (dwJpg);
  68.         if(i<=0)
  69.         {
  70.             //::MessageBox(NULL, L"Init camera error ", L"Notice", 0);
  71.             goto video_error;//出错，释放空间
  72.         }
  73.         if (0 != capSetVideoFormat(0, VIDEO_PALETTE_RGB24, VIDEO_SIZE_SIF))
  74.         {
  75.             //::MessageBox(NULL, L"SetVideoFormat error ", L"Notice", 0);
  76.             goto video_error;//出错，释放空间
  77.         }
  79.         if (capStartCamera(0) != 0) 
  80.         {
  81.             //::MessageBox(NULL, L"StartCamera error ", L"Notice", 0);
  82.             capStopCamera(0);
  83.             goto video_error;//出错，释放空间
  84.         }
  85.         //没出错，进行视频(控制状态)、音频设置
  86.         isCameraEnabled=true;
  87.         goto audio;
  88. video_error:    
  89.         free (lpFrameBuffer);
  90.         lpFrameBuffer = NULL;
  91.         free (lpJpgBuffer);
  92.         lpJpgBuffer = NULL;
  93.         //-------------------------音频--------------------------//
  94. audio:  
  95.         g_pOut = new CWaveOut();
  96.         g_pIn = new CWaveIn();
  97.         g_pOut->StartPlay();
  98.         g_pIn->StartRec(OnRecCapAndSend,(DWORD)p);
  99.         
  101.     }
  103.     //=====================================================================
  104.     //  语法格式：   void FreeAV()
  105.     //  实现功能：   释放音频、视频
  106.     //  参数：     无
  107.     //  返回值：    无
  108.     //=====================================================================
  109.     void FreeAV()
  110.     {
  111.         //-------------------------视频--------------------------//
  112.         if(isCameraEnabled)
  113.             capStopCamera(0);
  114.         //-------------------------音频--------------------------//
  115.         g_pOut->StopPlay();
  116.         g_pIn->StopRec();
  117.         delete g_pOut;
  118.         delete g_pIn;
  119.         //------------------------UDP------------------------//
  120.         m_CEUdp.Close();
  121.     }
  125.     //=====================================================================
  126.     //  语法格式：   void RecAndPlay(WPARAM wParam,LPARAM lParam)
  127.     //  实现功能：   接收网络传来的音频，以及播放
  128.     //  参数：     wParam,表示数据；lParam，表示数据长度
  129.     //  返回值：    无
  130.     //=====================================================================
  131.     static void CALLBACK OnUdpCERecv(CWnd * pWnd,char* buf,int nLen,sockaddr * addr)
  132.     {
  133.         g726_Decode(buf,(unsigned char*)waveout);
  134.         
  135.         g_pOut->Play(waveout,AudioData_Size);
  136.     }
  139.     //=====================================================================
  140.     //  语法格式：   static void OnRecCapAndSend(char *data,int length,DWORD userdata)
  141.     //  实现功能：   录音,摄像并且发送
  142.     //  参数：     data表示数据,length表示数据长度,userdata暂时没用
  143.     //  返回值：    无
  144.     //=====================================f================================
  145.     static void OnRecCapAndSend(char *data,int length,DWORD userdata)
  146.     {
  147.         //-------------------------音频--------------------------//
  148.         memcpy(pin,g_pIn->buffer,AudioData_Size);   
  149.         g726_Encode((unsigned char*)pin,pout);
  150.         m_CEUdp.SendData(pout,Compr_AudioData_Size);
  152.         //-------------------------视频--------------------------//
  153.         if(isCameraEnabled==false)//如果程序不能用摄像头
  154.             return;
  155.         Sleep(15);
  156.         int index=0;
  157.         memset(lpFrameBuffer, 0, dwSize);
  158.         memset(lpJpgBuffer, 0, dwJpg);
  159.         dwRtnSize[0] = dwRtnSize[1] = 0;
  160.         if (capGetPicture(index, lpFrameBuffer, dwSize, lpJpgBuffer, dwJpg, dwRtnSize) == 0)
  161.         {
  162.             /// m_CEUdp.SendData((const char *)lpJpgBuffer,dwRtnSize[1]);
  163.             char tmp[1440];
  164.             int tmp_i=0;
  165.             for(int i=0;i<dwRtnSize[1];i++)
  166.             {
  167.                 tmp[tmp_i]=lpJpgBuffer[i];
  168.                 tmp_i++;
  169.                 if(tmp_i==1440)
  170.                 {
  171.                     m_CEUdp.SendData(tmp,1440);
  172.                     tmp_i=0;
  173.                     
  174.                 }
  175.                 else if(i==dwRtnSize[1]-1)
  176.                 {
  177.     m_CEUdp.SendData(tmp,dwRtnSize[1]-(dwRtnSize[1]/1440)*1440);
  178.                     tmp_i=0;
  179.                 }
  180.             }
  181.         }
  182.     }
  183. };
以下是PC部分的关键代码
  1. #pragma once
  2. #include "winsock2.h"
  4. //UDP支持
  5. #include "..\UDP\UDP.h"
  7. //音频支持
  8. #include "WaveIn.h"
  9. #include "waveout.h"
  11. //G726支持
  12. #include "g726.h"
  14. //视频支持
  15. #include "Gdiplus.h"
  16. using namespace Gdiplus; 
  19. #define VideoData_Size 1440 //每块视频数据包的大小
  20. #define Video_Width 320 //视频宽度
  21. #define Video_Height 240 //视频长度
  22. #define AudioData_Size 960  //每块音频数据包的大小
  23. #define Compr_AudioData_Size 120  //压缩后音频块的大小
  26. //音频输入输出变量
  27. CWaveIn *g_pIn;
  28. CWaveOut *g_pOut;   
  29. char pin[AudioData_Size],pout[Compr_AudioData_Size];
  30. char wave_data[AudioData_Size];
  32. //UDP变量
  33. CUDP_CE m_CEUdp;
  36. //视频输入变量
  37. GdiplusStartupInput m_gdiPlusInPut;
  38. ULONG_PTR m_gdiPlusToken;
  39. char video_data[Video_Width*Video_Height];
  40. int index;//视频数据当前索引
  41. class AVClass
  42. {
  43. private:
  44.     
  45. public:
  46.   //=====================================================================
  47.     //  语法格式：   void InitAV(CWnd * p)
  48.     //  实现功能：   初始化音频和视频，用于录音、播放音频，以及播放视频
  49.     //  参数：     p为窗口类指针
  50.     //  返回值：    无
  51.     //=====================================================================
  52.     void InitAV(CWnd * p,int local_port,CString remote_ip,int remote_port)
  53.     {
  54.         //-------------------------UDP连接--------------------------//
  55.         m_CEUdp.m_OnUdpRecv = OnUdpCERecv;
  56.         DWORD nResult = m_CEUdp.Open(p,local_port,remote_ip,remote_port);
  57.         if (nResult <=0) 
  58.         {
  59.             AfxMessageBox(_T("打开端口失败"));
  60.             return;
  61.         }
  63.         //-------------------------音频--------------------------//
  64.         g_pOut = new CWaveOut();
  65.         g_pIn = new CWaveIn();
  66.         g_pOut->StartPlay();
  67.         g_pIn->StartRec(OnRecording,(DWORD)p);  
  68.         //-------------------------视频--------------------------//
  69.         GdiplusStartup( &m_gdiPlusToken, &m_gdiPlusInPut, NULL ); //初始化GDI+ 
  70.         memset(video_data,0,Video_Width*Video_Height);
  71.         index=0;
  73.     }
  75.     //=====================================================================
  76.     //  语法格式：   void FreeAV()
  77.     //  实现功能：   释放音频、视频
  78.     //  参数：     无
  79.     //  返回值：    无
  80.     //=====================================================================
  81.     void FreeAV()
  82.     {
  83.         
  84.         //-------------------------音频--------------------------//
  85.         g_pOut->StopPlay();
  86.         g_pIn->StopRec();
  87.         delete g_pOut;
  88.         delete g_pIn;
  89.         //-------------------------视频--------------------------//       
  90.         GdiplusShutdown(m_gdiPlusToken); //销毁GDI+
  92.         //------------------------UDP--------------------------//
  93.         m_CEUdp.Close();
  95.     }
  96.     //=====================================================================
  97.     //  语法格式：   void RecAndPlay(WPARAM wParam,LPARAM lParam,HWND hwnd)
  98.     //  实现功能：   接收网络传来的音频，以及播放
  99.     //  参数：     wParam,表示数据；lParam，表示数据长度；hwnd，表示显示视频的窗口句柄
  100.     //  返回值：    无
  101.     //=====================================================================
  102.      static void CALLBACK OnUdpCERecv(CWnd *pWnd,char* buf,int nLen,sockaddr * addr)
  103.      {
  104.         /*测试收到的数据大小
  105.         
  106.         CString tmp;
  107.         tmp.Format(L"%d",nLen);
  108.         MessageBox(0,tmp,0,0);
  109.         return;*/
  111.         //-------------------------如果是音频数据--------------------------//
  112.         if(nLen==Compr_AudioData_Size)
  113.         {
  114.             g726_Decode(buf,(unsigned char*)wave_data);
  115.             g_pOut->Play(wave_data,AudioData_Size);
  116.             return;
  117.         }
  118.         //-------------------------如果是视频数据--------------------------//
  119.       
  120.         if(nLen==VideoData_Size)//完整的视频数据块
  121.         {
  122.             for(int i=0;i<nLen;i++)
  123.             {
  124.                 video_data[index]=buf[i];
  125.                 index++;
  126.             }
  127.             return;
  128.         }
  130.         //视频数据块的最后一块
  131.         for(int i=0;i<nLen;i++)
  132.         {
  133.             video_data[index]=buf[i];
  134.             index++;
  135.         }
  137.         //如果JPEG图像特别大，则肯定是出错，则抛弃
  138.         if(index>Video_Width*Video_Height)
  139.         {
  140.             //MessageBox(0,"缓冲区出错","错误信息",0);
  141.             return;
  142.         }
  143.         
  144.     
  145.         try{
  146.             IPicture *pPic;
  147.             IStream *pStm ; 
  148.             //分配全局存储空间 
  149.             HGLOBAL hGlobal=GlobalAlloc(GMEM_MOVEABLE,index);
  150.             LPVOID pvData=NULL ;
  151.             //锁定分配内存块 
  152.             pvData=GlobalLock(hGlobal);
  153.             //复制数据包video_data到pvData
  154.             memcpy(pvData,video_data,index);
  156.             GlobalUnlock(hGlobal);
  157.             CreateStreamOnHGlobal(hGlobal,TRUE,&pStm);
  159.             ULARGE_INTEGER        pSeek;       
  160.             LARGE_INTEGER    dlibMove  ={  0  }  ;  
  161.             pStm->Seek(dlibMove,STREAM_SEEK_SET  ,&pSeek);  
  162.         //  Sleep(15);
  164.             //装入图形文件
  165.             if(FAILED(OleLoadPicture(pStm,index,TRUE,IID_IPicture,(LPVOID*)&pPic)))
  166.             {//附:如果video_data这个数组包含的图像有错，则OleLoadPicture 容易产生读写内存错误
  167.             //  pPic->Release();
  168.             //  pStm->Release();
  169.                 return ;
  170.             }
  172.             Image img(pStm,0);
  173.             Graphics mGraphics(GetDC(pWnd->m_hWnd));
  174.             mGraphics.DrawImage(&img, 0, 0, Video_Width, Video_Height);
  175.             img.~Image();//会出错
  176.             mGraphics.~Graphics();
  177.             pPic->Release();
  178.             pStm->Release();
  179.         }
  180.         catch(CException * e)
  181.         {}
  182.         memset(video_data,0,Video_Width*Video_Height);
  183.         index=0;
  184.      }
  186.     //=====================================================================
  187.     //  语法格式：   static void OnRecording(char *data,int length,DWORD userdata)
  188.     //  实现功能：   释放音频
  189.     //  参数：     data表示数据,length表示数据长度,userdata暂时没用
  190.     //  返回值：    无
  191.     //=====================================================================
  192.     static void OnRecording(char *data,int length,DWORD userdata)
  193.     {
  194.         memcpy(pin,g_pIn->buffer,AudioData_Size);   
  195.         g726_Encode((unsigned char*)pin,pout);
  196.         m_CEUdp.SendData(pout,Compr_AudioData_Size);
  197.     }
  198. };
【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/Jade2009/p/1376062.html