实训项目讲解
将开发板摄像头采集到的图像数据通过UDP上传
编程思想：
1.mmap显示图片
2.触摸屏点到某区域打开摄像头
3.V4L2编程
4.UDP编程
具体流程以及代码讲解
- 1.mmap显示图片
A：mmap的作用是映射文件描述符和指定文件的(off_t off)区域至调用进程的(addr,addr *len)的内存区域，如下图所示：
B：函数原型：void* mmap(void* start,size_t length,int prot,int flags,int fd,off_t offset);
C：参数讲解：
(1) start：映射区的开始地址，设置为0时表示由系统决定映射区的起始地址。
(2) length：映射区的长度。//长度单位是 以字节为单位，不足一内存页按一内存页处理
prot：期望的内存保护标志，不能与文件的打开模式冲突。是以下的某个值，可以通过or运算合理地组合在一起
PROT_EXEC //页内容可以被执行
PROT_READ //页内容可以被读取
PROT_WRITE //页可以被写入
PROT_NONE //页不可访问
(3) flags：指定映射对象的类型，映射选项和映射页是否可以共享。它的值可以是一个或者多个以下位的组合体
MAP_FIXED //使用指定的映射起始地址，如果由start和len参数指定的内存区重叠于现存的映射空间，重叠部分将会被丢弃。如果指定的起始地址不可用，操作将会失败。并且起始地址必须落在页的边界上。
MAP_SHARED //与其它所有映射这个对象的进程共享映射空间。对共享区的写入，相当于输出到文件。直到msync()或者munmap()被调用，文件实际上不会被更新。
MAP_PRIVATE //建立一个写入时拷贝的私有映射。内存区域的写入不会影响到原文件。这个标志和以上标志是互斥的，只能使用其中一个。
MAP_DENYWRITE //这个标志被忽略。
MAP_EXECUTABLE //同上
MAP_NORESERVE //不要为这个映射保留交换空间。当交换空间被保留，对映射区修改的可能会得到保证。当交换空间不被保留，同时内存不足，对映射区的修改会引起段违例信号。
MAP_LOCKED //锁定映射区的页面，从而防止页面被交换出内存。
MAP_GROWSDOWN //用于堆栈，告诉内核VM系统，映射区可以向下扩展。
MAP_ANONYMOUS //匿名映射，映射区不与任何文件关联。
MAP_ANON //MAP_ANONYMOUS的别称，不再被使用。
MAP_FILE //兼容标志，被忽略。
MAP_32BIT //将映射区放在进程地址空间的低2GB，MAP_FIXED指定时会被忽略。当前这个标志只在x86-64平台上得到支持。
MAP_POPULATE //为文件映射通过预读的方式准备好页表。随后对映射区的访问不会被页违例阻塞。
MAP_NONBLOCK //仅和MAP_POPULATE一起使用时才有意义。不执行预读，只为已存在于内存中的页面建立页表入口。
(4) fd：有效的文件描述词。一般是由open()函数返回，其值也可以设置为-1，此时需要指定flags参数中的MAP_ANON,表明进行的是匿名映射。
offset：被映射对象内容的起点。
D：使用
#define LCD_BUF_SIZE 800*480*4
unsigned int *lcd_fd_addr = mmap(NULL,
LCD_BUF_SIZE,
PROT_READ | PROT_WRITE,
MAP_SHARED,
lcd_fd,
0);
- 2.输入子系统之触摸屏触发
A：linux输入子系统
B：linux输入子系统结构体
一、time：输入事件发生的时间戳，精确到微秒。时间结构体定义如下： struct timeval { __time_t tv_sec; // 秒 long int tv_usec; // 微秒（1 微秒 = 10-3毫秒 = 10-6秒） };
二、type：输入事件的类型。比如： EV_SYN：事件间的分割标志，有些事件可能会在时间和空间上产生延续，比如持 续按住一个按键。为了更好地管理这些持续的事件，EV_SYN 用以将他们分割成一个 个的小的数据包。 EV_KEY：用以描述键盘，按键或者类似键盘的设备的状态变化。 EV_REL：相对位移，比如鼠标的移动，滚轮的转动等。 EV_ABS：绝对位移，比如触摸屏上的坐标值。 EV_MSC：不能匹配现有的类型，这相当于当前暂不识别的事件。比如在 Linux 系统中按下键盘中针对 Windows 系统的“一键杀毒”按键，将会产生该事件。 EV_LED：用于控制设备上的 LED 灯的开关，比如按下键盘的大写锁定键，会同 时产生 ”EV_KEY” 和 ”EV_LED” 两个事件。
三、code：这个“事件的代码”用于对事件的类型作进一步的描述。比如：当发生 EV_KEY 事件时，则可能是键盘被按下了，那么究竟是哪个按键被按下了呢？此时查看 code 就知道 了。当发生 EV_REL 事件时，也许是鼠标动了，也许是滚轮动了。这时可以用 code 的值 来加以区分。
四、value：当 code 都不足以区分事件的性质的时候，可以用 value 来确认。比如由 EV_REL 和 REL_WHEEL 确认发生了鼠标滚轮的动作，但是究竟是向上滚还是向下滚呢？ 再比如由由 EV_KEY 和 KEY_F 确认了发生键盘上 F 键的动作，但究竟是按下呢还是弹起呢？这时都可以用 value 值来进一步判断。
C: 使用：
int tsfd = open("/dev/input/event0", O_RDWR);
while(1)
{
//读取触摸屏数据
struct input_event xy;
read(tsfd, &xy , sizeof(xy));
//分析触摸屏数据
//事件为触摸屏的X轴
if(xy.type == EV_ABS && xy.code == ABS_X)
{
printf("x=%d
", xy.value);
x = xy.value;
}
- 3.V4L2编程
A：V4L2工作原理
V4L2是Video4linux2的简称,为linux中关于视频设备的内核驱动。在Linux中，视频设备是设备文件，可以像访问普通文件一样对其进行读写，摄像头驱动设备一般在:/dev/video0 或 /dev/video7下。
同时还需要其中的动态库。
B：使用
//初始化摄像头设备
linux_v4l2_yuyv_init("/dev/video7");
//开启摄像头采集功能
linux_v4l2_start_yuyv_capturing();
//获取一针图像
linux_v4l2_get_yuyv_data(&video_buf);
//摄像头停止
linux_v4l2_yuyv_quit();
- 4.UDP编程
A：套接字
在计算机通信领域，socket 被翻译为“套接字”，它是计算机之间进行通信的一种约定或一种方式。通过 socket 这种约定，一台计算机可以接收其他计算机的数据，也可以向其他计算机发送数据
socket起源于Unix，而Unix/Linux基本哲学之一就是“一切皆文件”，都可以用“打开open –> 读写write/read –> 关闭close”模式来操作。
即socket是一种特殊的文件，一些socket函数就是对其进行的操作（读/写IO、打开、关闭）。Socket()函数返回一个整型的Socket描述符，随后的连接建立、数据传输等操作都是通过该Socket实现的。
B：UDP通信框架
C：UDP通信
数据发送接口
ssize_t sendto(int socket, //UDP通信对象
void *message,//消息
size_t length,//消息的长度
int flags,//默认为 0
struct sockaddr *dest_addr, //接收方的IP地址
socklen_t dest_len);//接收方的地址长度
数据接收接口
ssize_t recvfrom(int socket,//UDP通信对象
void *buffer, //消息
size_t length,//消息的长度
int flags,//默认为 0
struct sockaddr *address,//发送方的地址
socklen_t *address_len);//发送方的地址长度
项目汇总
#include <stdio.h>
#include <fcntl.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <sys/ioctl.h>
#include <unistd.h>
#include <pthread.h>
#include <strings.h>
#include <linux/input.h>
#include "lcd.h"
#include "api_v4l2.h"
#include <linux/input.h>
#include <stdio.h>
#include <sys/types.h> /* See NOTES */
#include <sys/socket.h>
#include <sys/mman.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include "jpeglib.h"
#include "yuyv.h"
#define LCD_BUF_SIZE 800*480*4
struct jpg_data video_buf;
int ts_x, ts_y;
int x = 0, y = 0;
//内存映射的方法 显示图片
void show_24_bmp(char *picpath, int x, int y, int w, int h)
{
//打开LCD文件
int lcd_fd = open("/dev/fb0", O_RDWR);
//判断lcd 是否成功打开
if(lcd_fd == -1)
perror("lcd open failed!
");
//打开bmp图片
int bmp_fd = open(picpath, O_RDONLY);
//判断bmp图片是否打开
if(bmp_fd == -1)
perror("bmp open failed!
");
//内存映射函数
unsigned int *lcd_fd_addr = mmap(NULL,
LCD_BUF_SIZE,
PROT_READ | PROT_WRITE,
MAP_SHARED,
lcd_fd,
0);
if(lcd_fd_addr == MAP_FAILED)
perror("mmap failed!
");
int *p = lcd_fd_addr + (800*y+x);
char buf24[w*h*3];//char为1字节 *3字节 普通图片文件为R-G-B
int buf32[w*h]; // int 为4个字节 需要将24位图转换为32位图 开发板的为R-G-B-透明格式
//将bmp图片的头54字节无用信息内存去掉
lseek(bmp_fd, 54, SEEK_SET);
//读取bmp图片
read(bmp_fd, buf24, w*h*3);
//将位图转换
for(int n = 0; n < w*h; n++)
buf32[n] = buf24[3*n] << 0 | buf24[(3*n)+1] << 8 | buf24[(3*n)+2] << 16;
//将图片翻转在任意位置显示图片，宽度长度等
for(int y = 0; y < h; y++)
{
for(int x = 0; x < w; x++)
{
*(p + 800*((h-1)-y)+x) = buf32[w*y+x];
}
}
//取消映射
int ret = munmap(lcd_fd_addr, LCD_BUF_SIZE);
if(ret == -1)
perror("munmap is failed
");
//关闭lcd 和 图片文件标识符
close(lcd_fd);
close(bmp_fd);
}
void touch()
{
//打开触摸屏的设备文件
int tsfd = open("/dev/input/event0", O_RDWR);
while(1)
{
//读取触摸屏数据
struct input_event xy;
read(tsfd, &xy , sizeof(xy));
//分析触摸屏数据
//事件为触摸屏的X轴
if(xy.type == EV_ABS && xy.code == ABS_X)
{
printf("x=%d
", xy.value);
x = xy.value;
}
//事件为触摸屏的Y轴
if(xy.type == EV_ABS && xy.code == ABS_Y)
{
printf("y=%d
", xy.value);
y = xy.value;
}
//事件为触摸屏的的按下和松开的事件
if(xy.type == EV_KEY && xy.code == BTN_TOUCH)
{
printf("touch=%d
", xy.value);
if(xy.value == 0)
break;
}
}
//关闭触摸屏
close(tsfd);
}
int main(int argc,char**argv)
{
if(argc != 2)
{
printf("input ip
");
return 1;
}
//打开LCD 设备
lcd_open();
mmap_lcd();
//初始化摄像头设备
linux_v4l2_yuyv_init("/dev/video7");
//开启摄像头采集功能
linux_v4l2_start_yuyv_capturing();
//添加主界面代码
show_24_bmp("main.bmp", 0, 0, 800, 480);
//添加触摸屏
touch();
//判断是否开启网络视频功能
if( x > 90 && y > 250 && x < 270 && y < 270)
{
printf("star!!
");
int udp=socket(AF_INET,SOCK_DGRAM,0);
struct sockaddr_in dest;
dest.sin_family = AF_INET;
dest.sin_port = htons(6666);
dest.sin_addr.s_addr = inet_addr(argv[1]);
while(1)
{
//获取一针图像
linux_v4l2_get_yuyv_data(&video_buf);
//显示当前一针图像
show_video_data(0, 0, video_buf.jpg_data , video_buf.jpg_size);
//采集后的数据上传到网络
int size = sendto(udp,video_buf.jpg_data,video_buf.jpg_size,0,(struct sockaddr *)&dest,sizeof(dest));
//printf("size=%d
",size);
printf("camera is ok
");
if(x )
}
}
linux_v4l2_yuyv_quit();
lcd_close();
}
将写好的代码放到Ubuntu中交叉编译生成可执行文件，这里我写了一份Makefile进行make，但是存在不足，每次都要先进行make clean 之后才能进行make
Makefile使用
#定义变量保存arm-linux-gcc
CC=arm-linux-gcc
TARGET=main
CONFIG=-I./jpeg -L./jpeg -ljpeg -lapi_v4l2_arm1 -lpthread
#定义变量SRCS 当前目录下所有.c结尾的源文件
SRCS=$(wildcard *.c)
#变量OBSJ 将SRCS下所有的.c文件编译出.o目标文件
OBJS=$(patsubst %.c, %.o, $(SRCS))
$(TARGET):$(OBJS)
$(CC) -o $@ $^ -lpthread $(CONFIG)
%.o:%.c
$(CC) -c $< -o $@ $(CONFIG)
clean:
rm -f *.o
#clean:
# rm -f *.o $(TARGET) 删除可执行文件
# $@表示目标文件
# $^表示所有的依赖项(动态库or静态库)
# $< 重输入 表示第一个文件
结果
（1）在开发板执行可执行文件+ip地址
（2）在开发板上触摸相应的地方开启摄像头数据传输
（3）运行结果：可以看到摄像头采集到的数据不仅显示到LCD屏上还传输到电脑上
