基于嵌入式Linux與S3C2410平臺(tái)的視頻采集
隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，在單片機(jī)領(lǐng)域也發(fā)生著日新月異的改變，如高速信號(hào)處理器、SoC片上系統(tǒng)等新技術(shù)、新應(yīng)用如雨后春筍般蓬勃發(fā)展起來。在現(xiàn)實(shí)生活中經(jīng)常會(huì)遇到這樣一些問題：比如如何對(duì)機(jī)房的溫濕度進(jìn)行遠(yuǎn)程監(jiān)控;如何一手掌握家里的安全狀況，這都需要應(yīng)用一種耗電量小、24小時(shí)不間斷工作，體積小的遠(yuǎn)程視頻監(jiān)控系統(tǒng)。
針對(duì)網(wǎng)絡(luò)視頻監(jiān)控設(shè)備的實(shí)際應(yīng)用需求，結(jié)合圖像采集壓縮編碼、嵌入式系統(tǒng)和網(wǎng)絡(luò)技術(shù)等幾方面的新技術(shù)，設(shè)計(jì)了一套嵌入式網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)，用以實(shí)現(xiàn)視頻數(shù)據(jù)的采集、壓縮與網(wǎng)絡(luò)傳輸。該系統(tǒng)基于S3C2410的ARM920T芯片和嵌入式Linux操作系統(tǒng)，采用USB攝像頭捕捉視頻，經(jīng)MPG440芯片壓縮編碼，系統(tǒng)直接與網(wǎng)絡(luò)相連，用戶使用標(biāo)準(zhǔn)的網(wǎng)絡(luò)瀏覽器和流媒體播放程序即可查看遠(yuǎn)程視頻影像。
1 系統(tǒng)總體設(shè)計(jì)
系統(tǒng)總體設(shè)計(jì)包括硬件設(shè)計(jì)和軟件設(shè)計(jì)2部分。硬件設(shè)計(jì)模塊主要包括微控制器模塊、壓縮編碼模塊、網(wǎng)絡(luò)接口模塊3部分。微控制器模塊主要由主控芯片、DATAFLASH和SDRAM組成。其中，主控芯片是整個(gè)控制系統(tǒng)的核心，它負(fù)責(zé)整個(gè)系統(tǒng)的調(diào)度工作。DATAFLASH中固化了嵌入式Linux內(nèi)核及其文件系統(tǒng)、應(yīng)用軟件和系統(tǒng)配置文件。SDRAM作為內(nèi)存供系統(tǒng)運(yùn)行使用。壓縮編碼模塊由視頻數(shù)據(jù)采集芯片、MPEG-4壓縮編碼芯片、SDRAM組成，負(fù)責(zé)將視頻流轉(zhuǎn)化為MPEG-4碼流。網(wǎng)絡(luò)接口模塊主要是配合主控芯片傳送MPEG-4碼流。當(dāng)系統(tǒng)啟動(dòng)時(shí)，微控制器將Linux內(nèi)核調(diào)入SDRAM中，系統(tǒng)從SDRAM中啟動(dòng)。系統(tǒng)啟動(dòng)后，微控制器控制MPEG-4編碼模塊進(jìn)行工作。軟件設(shè)計(jì)部分主要包括嵌入式Linux移植、視頻采集與MPEG-4壓縮編碼模塊、JRTPLIB網(wǎng)絡(luò)傳輸模塊和MPEG-4解碼程序4部分。嵌入式Lin-ux系統(tǒng)存放到由S3C2410控制的DATAFLASH中，它負(fù)責(zé)整個(gè)系統(tǒng)軟件的調(diào)度工作。MPEG-4壓縮編碼模塊主要負(fù)責(zé)將采集到的視頻流壓縮為MPEG-4數(shù)據(jù)流。JRTPLIB網(wǎng)絡(luò)傳輸模塊主要負(fù)責(zé)MPEG-4視頻流傳輸與控制的相關(guān)設(shè)置。MPEG-4解碼程序主要負(fù)責(zé)對(duì)通過網(wǎng)絡(luò)得到的MPEG-4數(shù)據(jù)流進(jìn)行解碼工作。
2 硬件系統(tǒng)設(shè)計(jì)
系統(tǒng)的硬件平臺(tái)采用Samsung公司的處理器S3C2410。該處理器內(nèi)部集成了ARM公司ARM920T處理器核的32位微控制器，資源豐富：帶獨(dú)立的16kB指令Cache和16kB數(shù)據(jù)Cache，還有LCD控制器、RAM控制器、NAND閃存控制器、3路UART、4路DMA、4路帶PWM的Timer、并行I/O口、8路10位ADC、TouchScreen接口、I2C接口、I2S接口、2個(gè)USB接口控制器、2路SPI，主頻最高可達(dá)203MHz。在處理器豐富資源的基礎(chǔ)上，還進(jìn)行了相關(guān)的配置和擴(kuò)展，平臺(tái)配置了16MB，16位的FLASH和64MB，32位的SDRAM。通過以太網(wǎng)控制器芯片DM9000擴(kuò)展了一個(gè)網(wǎng)口，另外引出了一個(gè)HOST、USB接口，通過在USB接口上外接一個(gè)帶USB接口的攝像頭。硬件系統(tǒng)結(jié)構(gòu)如圖1所示。
3 軟件系統(tǒng)設(shè)計(jì)
Linux具有內(nèi)核小，效率高，源代碼開放，內(nèi)核直接提供網(wǎng)絡(luò)支持等優(yōu)點(diǎn)。但嵌入式系統(tǒng)的硬件資源畢竟有限，因此不能直接把Linux作為操作系統(tǒng)，要針對(duì)具體的應(yīng)用通過配置內(nèi)核、裁減shell和嵌入式C庫對(duì)系統(tǒng)進(jìn)行定制，使整個(gè)系統(tǒng)能夠存放到容量較小的FLASH中。Linux的動(dòng)態(tài)模塊加載，使Linux的裁減極為方便，高度模塊化的部件使添加非常容易。嵌入式Linux系統(tǒng)主要由4個(gè)部分組成：引導(dǎo)內(nèi)核啟動(dòng)的文件(bootloader)、Linux內(nèi)核文件(kernel)、虛擬磁盤文件(ramdisk)、用戶空間文件(user)。它們分別被放在DATAFLASH內(nèi)的4個(gè)分區(qū)模塊中。根據(jù)不同模塊的具體功能采用不同的文件系統(tǒng)，如：bootloader，kernel，ramdisk等，移植完成后不需要?jiǎng)討B(tài)改變，使用較節(jié)省空間的ROM-FS只讀文件系統(tǒng);user模塊內(nèi)放置一些可以動(dòng)態(tài)更新的配置文件等，需要進(jìn)行較多的讀寫操作，所以使用支持動(dòng)態(tài)擦寫保存的JFFS2文件系統(tǒng)。基于Linux的上述優(yōu)點(diǎn)，實(shí)現(xiàn)的平臺(tái)使用操作系統(tǒng)μclinux。通常嵌入式系統(tǒng)軟件的開發(fā)采用交叉編譯調(diào)試方式。宿主機(jī)通常為Intel處理器，而目標(biāo)板如圖1所示為S3C2410，因此程序需要使用針對(duì)處理器特點(diǎn)的編譯器才能生成在相應(yīng)平臺(tái)上可運(yùn)行的代碼。對(duì)于嵌入式Linux，宿主機(jī)PC上應(yīng)安裝Linux系統(tǒng)，之后在宿主機(jī)上建立交叉編譯調(diào)試的開發(fā)環(huán)境。采用移植性很強(qiáng)的C語言在宿主機(jī)上編寫視頻采集程序，再利用交叉編譯調(diào)試工具編譯鏈接生成可執(zhí)行代碼，最后向目標(biāo)平臺(tái)移植。
Linux移植技術(shù)已經(jīng)成熟，在此不做詳細(xì)闡述，主要介紹USB攝像頭驅(qū)動(dòng)、基于V4L設(shè)計(jì)的視頻采集模塊和JRTPLIB網(wǎng)絡(luò)傳輸模塊的程序設(shè)計(jì)。
3.1 USB攝像頭驅(qū)動(dòng)
搭建好嵌入式Linux的開發(fā)環(huán)境后，第一步工作就是USB攝像頭的安裝與驅(qū)動(dòng)。
在Linux下，設(shè)備驅(qū)動(dòng)程序可以看成是Linux內(nèi)核與外部設(shè)備之間的接口。設(shè)備驅(qū)動(dòng)程序向應(yīng)用程序屏蔽了硬件實(shí)現(xiàn)的細(xì)節(jié)，使得應(yīng)用程序可以像操作普通文件一樣來操作外部設(shè)備，可以使用并操作文件中相同的、標(biāo)準(zhǔn)的系統(tǒng)調(diào)用接口函數(shù)來完成對(duì)硬件設(shè)備的打開、關(guān)閉、讀/寫和I/O控制操作，而驅(qū)動(dòng)程序的主要任務(wù)也就是要實(shí)現(xiàn)這些系統(tǒng)的調(diào)用函數(shù)。
Video4Linux(V4L)是Linux中關(guān)于視頻設(shè)備的內(nèi)核驅(qū)動(dòng)，它是針對(duì)視頻設(shè)備應(yīng)用程序編程提供的一系列接口函數(shù)。對(duì)于USB口攝像頭，其驅(qū)動(dòng)程序中需要提供基本的I/O操作接口函數(shù)open，read，write，close來實(shí)現(xiàn)。當(dāng)應(yīng)用程序?qū)υO(shè)備文件進(jìn)行系統(tǒng)調(diào)用操作時(shí)，Linux內(nèi)核將通過file-operations結(jié)構(gòu)訪問驅(qū)動(dòng)程序提供的函數(shù)，在系統(tǒng)平臺(tái)上對(duì)USB口數(shù)碼攝像頭進(jìn)行驅(qū)動(dòng)，首先把USB控制器驅(qū)動(dòng)模塊靜態(tài)編譯進(jìn)內(nèi)核，使平臺(tái)中支持USB接口，再在需要使用攝像頭采集時(shí)，使用insmode動(dòng)態(tài)加載其驅(qū)動(dòng)模塊，這樣攝像頭就可正常工作。
確定USB攝像頭被正常驅(qū)動(dòng)后，下一步就是使用Video4Linux提供的API函數(shù)集來編寫視頻采集程序。
3.2 基于V4L設(shè)計(jì)的視頻采集模塊
在Linux下，所有外設(shè)都被看成是一種特殊的文件，稱為設(shè)備文件。系統(tǒng)調(diào)用的是內(nèi)核與應(yīng)用程序之間的接口，而設(shè)備驅(qū)動(dòng)程序則是內(nèi)核與外設(shè)之間的接口。他完成設(shè)備的初始化和釋放，對(duì)設(shè)備文件的各種操作和中斷處理等功能，為應(yīng)用程序屏蔽了外設(shè)硬件的細(xì)節(jié)，使應(yīng)用程序可以像普通文件一樣對(duì)外設(shè)進(jìn)行操作。Linux下的視頻采集過程如圖2所示。
Linux系統(tǒng)中的視頻子系統(tǒng)Video4Linux為視頻應(yīng)用程序提供了一套統(tǒng)一的API，視頻應(yīng)用程序通過標(biāo)準(zhǔn)的系統(tǒng)調(diào)用即可操作各種不同的視頻捕獲設(shè)備。Video4Linux向虛擬文件系統(tǒng)注冊(cè)視頻設(shè)備文件，應(yīng)用程序通過操作視頻設(shè)備文件實(shí)現(xiàn)對(duì)視頻設(shè)備的訪問。
在此主要針對(duì)設(shè)備文件/dev/video進(jìn)行視頻捕捉方面的程序設(shè)計(jì)。其中用到的主要函數(shù)有：
Camera_open()：用來開啟視頻設(shè)備文件，使用前需要首先聲明一個(gè)video_device類型的設(shè)備文件。
Camera_get_capability()：通過調(diào)用ioctl()函數(shù)取得設(shè)備文件的相關(guān)信息，并存放到video_capability結(jié)構(gòu)中。
Camera_get_picture()：通過調(diào)用ioctl()函數(shù)取得圖像的相關(guān)信息，并且存放到video_picture結(jié)構(gòu)中。
Camera_close()：用來關(guān)閉設(shè)備文件。
Camera_grab_image()：用來抓取圖像，采用mmap方式，直接將設(shè)備文件/dev/video0映射到內(nèi)存，加速文件I/O操作，還可以使多個(gè)線程共享數(shù)據(jù)。剩下的還有設(shè)備初始化、參數(shù)設(shè)備等相關(guān)函數(shù)，這里不再詳述。
3.3 視頻壓縮編碼模塊
獲取圖像數(shù)據(jù)后，可以直接輸出到FrameBuffer進(jìn)行顯示，由于該系統(tǒng)要將采集到的視頻影響通過網(wǎng)絡(luò)傳輸出去，所以在傳輸之前要對(duì)原始的圖像數(shù)據(jù)進(jìn)行壓縮編碼，在此選用映佳公司的MPG440芯片來實(shí)現(xiàn)MPEG-4視頻編解碼方案。與其他標(biāo)準(zhǔn)相比，MPEG-4壓縮比更高，節(jié)省存儲(chǔ)空間，圖像質(zhì)量更好，特別適合在低帶寬條件下傳輸視頻，并能保持圖像的質(zhì)量。對(duì)視頻流進(jìn)行壓縮編碼以后，接下來就要實(shí)現(xiàn)網(wǎng)絡(luò)傳輸部分的功能。
3.4 JRTPLIB網(wǎng)絡(luò)傳輸模塊
流媒體指的是在網(wǎng)絡(luò)中使用流技術(shù)傳輸?shù)倪B續(xù)時(shí)基媒體，RTP是目前解決流媒體實(shí)時(shí)傳輸問題的最好辦法，JRTPLIB是一個(gè)面向?qū)ο蟮腞TP庫，他完全遵循RFCl889設(shè)計(jì)，下面講述如何在Linux平臺(tái)上運(yùn)用RTP協(xié)議進(jìn)行實(shí)時(shí)流媒體編程。
3.4.1 初始化
在使用JRTPLIB進(jìn)行實(shí)時(shí)流媒體數(shù)據(jù)傳輸之前，首先應(yīng)該生成RTPSession類的一個(gè)實(shí)例來表示此次RTP會(huì)話，然后調(diào)用Create()方法來對(duì)其進(jìn)行初始化操作。RTPSession類的Create()方法只有一個(gè)參數(shù)，用來指明此次RTP會(huì)話所采用的端口號(hào)。
3.4.2 數(shù)據(jù)發(fā)送
當(dāng)RTP會(huì)話成功建立起來之后，接下來就可以開始進(jìn)行流媒體數(shù)據(jù)的實(shí)時(shí)傳輸了。首先需要設(shè)置好數(shù)據(jù)發(fā)送的目標(biāo)地址，RTP協(xié)議允許同一會(huì)話存在多個(gè)目標(biāo)地址，這可以通過調(diào)用RTPSession類的AddDestination()、DeleteDestination()和ClearDestinations()方法來完成。目標(biāo)地址全部指定之后，接著就可以調(diào)用RTPSession類的SendPacket()方法，向所有的目標(biāo)地址發(fā)送流媒體數(shù)據(jù)。?
3.4.3 數(shù)據(jù)接收
對(duì)于流媒體數(shù)據(jù)接收端，首先需要調(diào)用PollData()方法來接收發(fā)送過來的RTP或者RTCP數(shù)據(jù)報(bào)。由于同一個(gè)RTP會(huì)話中允許有多個(gè)參與者(源)，因此既可以通過調(diào)用GotoFirstSource()和GotoNextSource()方法來遍歷所有的源，也可以通過調(diào)用GotoFisstSourceWithDat()和Got-oNextSourceWithData()方法來遍歷那些攜帶有數(shù)據(jù)的源。在從RTP會(huì)話中檢測(cè)出有效的數(shù)據(jù)源之后，接下去就可以調(diào)用RTPSession類的Get-NextPacket()方法從中抽取RTP數(shù)據(jù)報(bào)，當(dāng)接收到的RTP數(shù)據(jù)報(bào)處理完之后，要及時(shí)釋放。
JRTPLIB為RTP數(shù)據(jù)報(bào)定義了3種接收模塊，通過調(diào)用RTPSession類的SetReeeiveMode()方法可以設(shè)置下列這些接收模式：
RECEIVEMODE_ALL：缺省的接收模式，所有到達(dá)的RTP數(shù)據(jù)報(bào)都將被接受;RECEIVEMODE_IGNORESOME：除了某些特定的發(fā)送者之外，所有到達(dá)的RTP數(shù)據(jù)報(bào)都將被接受，而被拒絕的發(fā)送者列表可以通過調(diào)用AddTo-IgnoreList()，DeleteFromlgnoreList()和ClearIgnoreList()方法進(jìn)行設(shè)置;RECEIVEMODE_ACCEPTSOME：除了某些特定的發(fā)送者之外，所有到達(dá)的RTP數(shù)據(jù)報(bào)都將被拒絕，而被接受的發(fā)送者列表可以通過調(diào)用AddTo-AcceptList()，DeleteFromAcceptList和ClearAcceptList()方法來進(jìn)行設(shè)置。
3.4.4 控制信息
JRTPLIB是一個(gè)高度封裝后的RTP庫，只要PollData()或SendPacket()方法被成功調(diào)用，JRTPLIB就能夠自動(dòng)對(duì)達(dá)到RTCP數(shù)據(jù)報(bào)進(jìn)行處理，并且還會(huì)在需要的時(shí)候發(fā)送RTCP數(shù)據(jù)報(bào)，從而能夠確保整個(gè)RTP會(huì)話過程的正確性。在系統(tǒng)中，使用RTPSessionJRTPLIB類庫提供的方法來實(shí)現(xiàn)底層的RTP/RTCP操作，并且把他封裝在CrtpTransmitter類中，該類從MediaSink類繼承而來，接收到相應(yīng)的媒體幀數(shù)據(jù)，使用RTPSession類庫的操作把數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)上。
4 結(jié)語
因?yàn)橄到y(tǒng)是以S3C2410平臺(tái)和Linux操作系統(tǒng)為基礎(chǔ)，利用Video4Linux設(shè)計(jì)采集程序，使用MPEG-4壓縮編碼，通過實(shí)時(shí)流媒體傳輸技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)傳輸?shù)模攒浻布杀镜土w積小巧，整個(gè)系統(tǒng)具有穩(wěn)定可靠、安裝簡(jiǎn)便等特點(diǎn)，而且監(jiān)控距離可隨網(wǎng)絡(luò)延伸不斷加長，具有良好的發(fā)展應(yīng)用前景。可擴(kuò)展應(yīng)用在工業(yè)控制、視頻會(huì)議系統(tǒng)、可視電話、遠(yuǎn)程監(jiān)控系統(tǒng)等諸多領(lǐng)域。
