基于ARM9的USB摄像头图像采集压缩及无线传输_王恒

2011年第 35卷第 03期（总第 353期） 0 引言 近年来，随着计算机、网络及通信技术的迅猛发展， 无线远距离视频监控已成为一种趋势，传统的模拟视频 监控技术正在逐步向数字化、网络化、智能化发展[1]。 模拟监控系统的配置比较简单， 视频不用压缩，但 是有信息量大、检索麻烦、无法远距离传输、维护不方 便、录像媒体易损耗、附加功能不方便等缺点。 数字监控 的图像都是经过压缩，所以一般信息量都比模拟的信息 量小很多，适合长时间录像和存储，降低存储设备的费 用，而且适合计算机管理，结合计算机高速运算的特性， 可以容易地进行图像检索。 数字视频由于不存在信号随 距离衰减的问题，所以在无线监控中占尽优势，同时由 于其安装方便、灵活性强、性价比高等特性使得更多行 业的监控系统采用无线监控方式。 基于这些优点，笔者 设计了基于 ARM9 的 USB 摄像头图像采集压缩及无线 传输。 1 系统原理及硬件构成 1.1 设计 思想 教师资格思想品德鉴定表下载浅论红楼梦的主题思想员工思想动态调查问卷论语教育思想学生思想教育讲话稿 及工作原理 本文是以 ARM9[2]嵌入式芯片为内核，在嵌入式 Lin- ux[3-4]的系统平台下，通过 USB 摄像头采集图像信息 [5]，然 后对所得数据依照 JPEG 的先进编码 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 进行压缩编 码 ， 然后通过射频技术 ， 利用 2.4G 无线收发芯片 nRF24L01 进行远距离无线通信， 然后在另一相同系统 下，对所得数据进行解码，同时显示在 3.5 in 液晶显示屏 上，从而实现无线远程视频监控。 1.2 系统硬件结构 视频采集与发射模块硬件平台功能框图如图 1 所示。 视频接收与显示模块如图 2所示。 基于视频高速采集、压缩、传输的考虑，本系统采用 三星公司的 S3C2440A 处理器，主频为 400 MHz，最高可 文章编号：1002－8692（2011）03-0029-03 基于 ARM9的 USB摄像头图像采集 压缩及无线传输 王 恒，王中训，杜思良，胡小赫 （烟台大学 光电信息科学技术学院，山东 烟台 264005） 【摘 要】 设计了 Linux 系统平台下，利用摄像头进行视频采集，采用先进的 MPEG-4 视频压缩标准对所采集的信息进行压缩，然 后通过 GFSK 发射芯片，将信息发送到另一基于 ARM 核的嵌入式芯片所控制的液晶显示屏上。 系统测试表明，本系统能实现视频 的采集、压缩、传输及远程显示，从而实现无线监控，且系统具有稳定性、可移植性，十分适合嵌入式应用领域。 【关键词】 ARM9；USB 摄像头；图像采集；嵌入式 Linux；无线视频传输 【中图分类号】 TN948 【文献标识码】 A ARM9-based USB Camera Image Capture Compression and Wireless Transmission WANG Heng, WANG Zhongxun, DU Siliang, HU Xiaohe （School of Information Technology and Photo-electronics, Yantai University, Shandong Yantai 264005, China ） 【Abstract】 This design is based on the Linux platform, and uses the camera for video capture and advanced MPEG-4 video compression standards to compress the information collected, then uses the GFSK launch 2.4G chips to send information to another ARM-based core embedded chips under the control of the LCD screen, enables wireless control. This system enables video capture, compression, transmission and remote display to achieve wireless monitoring. And the system is stability, portability, and very suitable for embedded applications. 【Key words】 ARM9; USB camera; image capture; embedded Linux; wireless video transmission 基金项目：山东省自然科学基金资助项目（ZR2009GM026） nRF2402 无线 收发模块 电源 SDRAM 储存 Flash储存 S3C2440A 处理器 SD卡插槽 JTAG调试接口 按键模块 USB摄像头 图 1 视频采集与发射模块 器件与应用 Parts & applications 29 2011年第 35卷第 03期（总第 353期） nRF2402 无线 收发模块 电源 SDRAM 储存 Flash储存 S3C2440A 处理器 JTAG调试接口 3.5 in LCD 图 2 视频接收与显示模块 达533 MHz。片上 64 Mbyte SDRAM，32位数据总线。64 Mbyte NAND Flash和 2 Mbyte片上 NOR Flash。 USB摄 像头为普通视频摄像头。 按键模块为 4个独立按键，当 按键按下时，连接的引脚为低电平。 2 系统软件构成 本系统软件可分为图像采集模块、 数据收发模块、 图像显示模块，系统框图如图 3所示。 2.1 FrameBuffer简介 FrameBuffer 是出现在 2.2.xx 内核当中的一种驱动 程序接口。 Linux 工作在保护模式下， 所以用户态进程是无法 像 DOS 那样使用显卡 BIOS 里提供的中断调用来实现 直接写屏，Linux 抽象出 FrameBuffer 这个设备来供用户 态进程实现直接写屏。 FrameBuffer 机制模仿显卡的功 能，将显卡硬件结构抽象掉，可以通过 FrameBuffer 的读 写直接对显存进行操作。 用户可以将 FrameBuffer 看成 是显示内存的一个映像， 将其映射到进程地址空间之 后，就可以直接进行读写操作，而写操作可以立即反映 在屏幕上。这种操作是抽象的、统一的。用户不必关心物 理显存的位置、 换页机制等具体细节 。 这些都是由 FrameBuffer设备驱动来完成的。 2.2 嵌入式 Linux内核裁剪 本系统采用 Linux2.6.29内核[3]。 由于显示系统要将 采集到的图像数据显示于显示屏上， 因此要将 Frame- Buffer编译进系统内核，否则不会出现/dev/fb0设备文件。 选择 Device Driver->Graphics support->Console display driver support->Framebuffer Console support 即可。 在 Linux下要采集视频类数据，需要加载Video4Lin- ux 驱动模块 Videodev.o。 然后再加相应的摄像头驱动程 序在定制操作系统时， 可将万能 USB摄像头驱动添加进 内核 。 选择 Device Drivers->Multimedia devices->Video capture adapters->V4L USB devices->GSPCA based web- cams即可。 GSPCA是一个法国程序员在业余时间制作的 一个万能 USB摄像头驱动程序， 可以选择所有类型 USB 摄像头的支持[6]。 2.3 图像采集模块 系统使用 Video for Linux Two[7]进行图像采 集，主要包括初始化、同 步、 读取数据等 3 个部 分，如图 4所示。 1） 初始化。首先是 使用 open 函数打开视 频设备文件， 是独占的 可读模式 。 然后使用 Video for Linux 接口函 数设置视频设备的数据 通道， 设置视频数据传 输的模式 ， 可选的有 NSTC 或者 PAL 等。 为 了方便读取图像数据 ， 使用 mmap 函数建立内存映射， 在应用程序中直接读 取图像数据。 最后就是设置要捕捉的图片大小， 即分 辨力。 2） 同步。 等待一帧视频数据采集完毕后才能读取数 据，否则将出现错误，同时还可以对帧号进行操作。 3） 读取数据。 本文使用的微摄像头传输过来的图片 已经是 JPEG编码 格式 pdf格式笔记格式下载页码格式下载公文格式下载简报格式下载 。 2.4 图像显示模块 图像的显示可以采取两种方式： 一是将图像数据直 接写入 FrameBuffer， 二是采用其他软件对图像信息读取 并处理。 由摄像头采集到的图像文件已经压缩为 JPEG 格式， 采用 RGB 编码，因此若要采用第一种方式显示，必须将 其转换为位图。 本系统通过 Qt编写图像显示程序[8-9]。 图 像显示模块 流程 快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计 图如图 5所示。 3 系统调试 本系统采用了模块化的设计思路， 以简化系统的开 发及调试。 图像采集模块 数据传输模块 图像显示模块 Linux操作系统 图 3 系统总框图 开始 系统初始化 打开摄像头设备 设备初始化，设置为 mmap 方式 开始抓取图像 处理图像数据 是否接收到停止信号？ 停止抓图 关闭设备 结束 Y N 图 4 图像采集模块流程图 器件与应用 Parts & applications 30 2011年第 35卷第 03期（总第 353期） 图 5 图像显示模块流程图 开始 设置显示界面参数 设置 event 事件 激活的时间间隔 开启定时器 等待事件信号 a 主程序 收到事件激发信号 读取图像文件 图像数据传递给 QPixmap 控件 用 Qlabel 控件显示图像 b 事件处理子程序 返回 3.1 目标板操作系统调试 系统搭建好后，应进入 dev 目录下，查看是否有 fb0 文件，有则表示成功添加进 FrameBuffer。 然后将 USB摄 像头插入设备， 查看此时 dev 目录下是否有 vedio0 文 件。 使用到的命令如下： cd /dev //进入 Linux 系统的/dev 目录 ls //查看此目录下的文件 本机调试时，使用 Windows 自带的超级终端工具与 目标板连接，通过在终端输入相关命令来对目标板进行 操作。 超级终端的设置具有简单、方便、易操作的优点， 如图 6和图 7所示。 3.2 图像采集与显示模块调试 为便于展示， 本系统将图像采集与显示模块一起调 试，并将摄像头的设备信息输出到程序所在目录下的de- vCapImage文件中。 经测试，devCapImage文件内容如下： fmt.fmt.pix.width 320 fmt.fmt.pix.height 240 fmt.fmt.pix.pixelformat 1195724874 fmt.fmt.pix.field 1 fmt.fmt.pix.bytesperline 320 fmt.fmt.pix.sizeimage 29390 fmt.fmt.pix.colorspace 7 fmt.fmt.pix.priv 1 摄像头采集到的单帧 320×240 的图像为 30 kbyte 左 右，效果如图 8所示。 3.3 系统联机调试 程序运行，图像采集端开始采集图像数据，并通过无 线模块发射。 接收端在接收到图像数据后， 将其存储为 JPEG图片格式文件，然后通过显示模块进行显示。 由于图像采集、无线传输延时、显示速度的限制，接 收端的图像有较明显的闪烁。采集的视频无法在此展示， 截图如图 9和图 10所示。 4 小结 4.1 系统优缺点分析 4.1.1 系统的优点 用稳定且易裁剪、易移植的 Linux 系统，提高了系统 图 6 超级终端设置（截图） 图 7 操作系统测试结果（截图） 图 8 采集图像效果图 图 9 示例图像 1（截图） 图 10 示例图像 2（截图） 器件与应用 Parts & applications （下转第 39页） 31 2011年第 35卷第 03期（总第 353期） 的稳定性、可移植性，十分适合嵌入式应用领域。 与 Vx- Works 相比，Linux 可以支持更多的硬件设备， 便于开发 维护，且成本低廉 [9]；与 Windows CE 相比，Linux 可以自 己手工定制，更小巧、灵活；与 uC/OS-II 相比，Linux 在开 发难度上少很多。 使用 Qt 开发图像显示界面，界面灵活美观，且实时 性较好。与直接使用 FrameBuffer的方式相比，使用 Qt无 须对采集到的图像格式进行手动转换。 4.1.2 系统的缺点 接收端目标板在接收到图像数据后， 首先将其以文 件形式存放在设备上， 然后显示程序再将其读出显示在 LCD上，因此增加了延时。 4.2 系统改进思路 在接收端，当接收到图像数据时，直接将其显示在屏 幕上，而省掉中间的存放环节，可显著减小显示延时，使 视频更加流畅，并提高系统的实时性能，或者不采用 Qt 开发图像显示模块， 而是将图像信息直接写入 Frame- Buffer中，也可提高实时性，但需要对图像格式进行适当 转换。 在 Qt 中使用多线程和双缓冲技术，可减弱视频的 闪烁程度。 参考文献： [1] 郑世宝.智能视频监控技术与应用[J].电视技术，2009，33（1）：94-96. [2] 三恒星科技编著 . ARM9 原理及应用 [M].北京：电子工业出版社， 2008. [3] RUBINI Alessandro. Linux 设备驱动程序 [M].北京：中国电力出版 社，2002. [4] 刘淼. 嵌入式系统接口设计与 Linux 驱动程序开发[M].北京：北京 航空航天大学出版社，2006. [5] 胡建华，罗庆生. S3C44BOX 系统实用功能的扩展与提升[J].单片机 与嵌入式系统应用， 2007（9）：30-32. [6] 广州友善之臂计算机科技有限公司 . mini2440 用户手册 [EB/OL]. [2009-07-19].http：//www.arm9.net/. [7] SCHIMEK M H，DRIKS Bill，VERKUIL H，et al. Video for Linux Two API Specification Revision 0.24 [EB/OL]. [2010-01-20].http：// download.csdn.net/source/2850687. [8] BLANCHETE J ， SUMMERFIELD M ，闫 锋 欣 ，等 . C + + GUI Programming with Qt4[M].2 版.北京：电子工业出版社，2010. [9] 王学龙 . 嵌入式 Linux 系统设计与应用 [M]. 北京：清华大学出版 社， 2001. 笕 作者简介： 王 恒（1987- ），本科生，研究方向为电子设计； 王中训（1965- ），教授，硕士生导师，研究方向为信源信道编码； 杜思良（1987- ），本科生，研究方向为电子设计； 胡小赫（1988- ），本科生，研究方向为电子设计。 责任编辑：任健男 收稿日期：2010-07-30 4 小结 本文给出了一种使用 i.MX27 处理器构建 3G 无线 视频服务器系统的具体实现 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 ， 描述了系统总体结构 及软硬件模块，设计了基于 Live555 的 RTSP 嵌入式服务 器，经由 TD-SCDMA 网络传输，由基于 VLC 库的客户端 接收的视频服务器系统。 经测试， 该系统具有较高的可 靠性。该方案既简化了整体设计，又提升了系统的性能及 稳定性，特别适合在以 3G 为传输网络的情况下，以简单 有效的方式搭建视频服务器平台。 但该方案仍存在很多 不足之处，下一阶段将设计、扩展系统的多样化功能并迈 向实用化。 参考文献： [1] 毕厚杰 . 新一代视频压缩编码标准———H.264/AVC[M].北京：人民 邮电出版社，2005. [2] 刘志忠，朱秀昌. 基于 i.MX27 的无线视频监控系统的设计与实现 [J].电视技术，2009，33（2）：95-97. [3] RFC2326， Real Time Streaming Protocol（RTSP）[EB/OL].[2010-05- 20].http：//www.faqs.org/rfcs/rfc2326.html. [4] MCIMX27 multimedia applications processor reference manual[EB/OL]. [2010-05-20].http：//www.keil.com/dd/docs/datashts/freescale/mcimx27ec. pdf. [5] 鲍可进，林启俊. 3G 流媒体服务器的研究与实现[J].计算机工程与 设计，2008，29（10）：2595-2597. [6] FINLAYSON R. LIVE555 streaming media [EB/OL]. [2010-05-20]. http：//www.live555.com/liveMedia/. [7] 韩慧英，潘娅 . 基于 DaVinci 的嵌入式 Web 视频监控系统[J].兵工 自动化，2010，29（4）：75-77. [8] 夏涛，彭晖辉，范晔斌. 嵌入式移动视频监控服务系统的研究与实 现[J].微处理机，2009（1）：140-143. [9] VLC media player：VideoLan[EB/OL]. [2010-05-20]. http：//www.videolan. org/vlc/. 笕 作者简介： 张翼翼（1986- ），硕士生，研究方向为图像与多媒体通信； 张志鲁（1986- ），硕士生，研究方向为图像与多媒体通信； 朱秀昌（1947- ），教授，博士生导师，从事多媒体信息研究。 责任编辑：任健男 收稿日期：2010-07-19 笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕笕 （上接第 31页） 器件与应用 Parts & applications 39