程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 編程語言 >> C語言 >> VC >> vc教程 >> DirectShow系統初級指南

DirectShow系統初級指南

編輯:vc教程

  流媒體的處理,以其復雜性和技術性,一向廣受工業界的關注。特別伴隨著因特網的普及,流媒體在網絡上的廣泛應用,怎樣使流媒體的處理變得簡單而富有成效逐漸成為了焦點問題。選擇一種合適的應用方案,事半功倍。此時,微軟的DirectShow,給了我們一個不錯的選擇。

  DirectShow是微軟公司提供的一套在Windows平台上進行流媒體處理的開發包,與DirectX開發包一起發布。目前,DirectX最新版本為8.1。

  那麼,DirectShow能夠做些什麼呢?且看,DirectShow為多媒體流的捕捉和回放提供了強有力的支持。運用DirectShow,我們可以很方便地從支持WDM驅動模型的采集卡上捕獲數據,並且進行相應的後期處理乃至存儲到文件中。它廣泛地支持各種媒體格式,包括Asf、Mpeg、Avi、Dv、Mp3、Wave等等,使得多媒體數據的回放變得輕而易舉。另外,DirectShow還集成了DirectX其它部分(比如DirectDraw、DirectSound)的技術,直接支持DVD的播放,視頻的非線性編輯,以及與數字攝像機的數據交換。更值得一提的是,DirectShow提供的是一種開放式的開發環境,我們可以根據自己的需要定制自己的組件。

  DirectShow使用一種叫Filter Graph的模型來管理整個數據流的處理過程;參與數據處理的各個功能模塊叫做Filter;各個Filter在Filter Graph中按一定的順序連接成一條“流水線”協同工作。大家可以看到,按照功能來分,Filter大致分為三類:Source Filters、Transform Filters和Rendering Filters。Source Filters主要負責取得數據,數據源可以是文件、因特網、或者計算機裡的采集卡、數字攝像機等,然後將數據往下傳輸;Transform Fitlers主要負責數據的格式轉換、傳輸;Rendering Filtes主要負責數據的最終去向,我們可以將數據送給聲卡、顯卡進行多媒體的演示,也可以輸出到文件進行存儲。值得注意的是,三個部分並不是都只有一個Filter去完成功能。恰恰相反,每個部分往往是有幾個Fitler協同工作的。比如,Transform Filters可能包含了一個Mpeg的解碼Filter、以及視頻色彩空間的轉換Filter、音頻采樣頻率轉換Filter等等。除了系統提供的大量Filter外,我們可以定制自己的Filter,以完成我們需要的功能。下圖是一條典型的Avi文件回放Filter Graph鏈路:

  在DirectShow系統之上,我們看到的,即是我們的應用程序(Application)。應用程序要按照一定的意圖建立起相應的Filter Graph,然後通過Filter Graph Manager來控制整個的數據處理過程。DirectShow能在Filter Graph運行的時候接收到各種事件,並通過消息的方式發送到我們的應用程序。這樣,就實現了應用程序與DirectShow系統之間的交互。下圖給出了DirectShow應用程序開發的一般過程:

  以上簡單介紹了DirectShow的系統結構,希望大家對這個強勁的應用框架已經有了大概的認識。如果你有興趣,可以詳細研究DirectX的幫助文檔。DirectShow是一個強大的開發包;另外,它是基於COM的,因此要求程序員具有COM編程的一些基本知識。關於如何深入學習DirectShow應用結構以及開發自己的Filter,請參閱筆者的後續文章。筆者將從編程的角度,詳細講述來源於實際工作中的經驗之談。

  從下面開始,我們要從程序員的角度,進一步深入探討一下DirectShow的應用以及Filter的開發。

  在這之前,筆者首先要特別提一下微軟提供的一個Filter測試工具——GraphEdit,它的路徑在DXSDKinDXUtilsGraphEdit.exe。(如果您還沒有安裝DirectX SDK,請到微軟的網站上去下載。)通過這個工具,我們可以很直觀地看到Filter Graph的運行及處理流程,方便我們進行程序調試。(如果您手邊就有電腦,還等什麼,馬上體驗一下吧:運行GraphEdit,執行File->Render Media File…選擇一個媒體文件;當Filter Graph構建成功後,按下工具欄的運行按鈕;您就能看到剛才選擇的媒體文件被回放出來了!看到了吧,寫一個媒體播放器也就這麼回事!)

  接下去,我們開講Filter的開發。

  學習DirectShow Filter的開發,不外乎以下幾種方法:看幫助文檔、看示例代碼和看SDK基類源代碼。看幫助文檔,應著重於總體概念上的理解;看示例代碼應與基類源代碼的研究同步進行,因為自己寫Filter,關鍵的第一步是選擇一個合適的Filter基類和Pin的基類。對於Filter的把握,一般認為要掌握以下三方面的內容:Filter之間Pin的連接、Filter之間的數據傳輸以及流媒體的隨機訪問(或者說流的定位)。下面就開始分別進行闡述。

  所謂的Filter Pin之間的連接,實際上是Pin之間Media Type(媒體類型)的一個協商過程。連接總是從輸出Pin指向輸入Pin的。要想深入了解具體的連接過程,就必須認真研讀SDK的基類源代碼(位於DXSDKsamplesMultimediaDirectShowBaseClassesamfilter.cpp,類CBasePin的Connect方法)。連接的大致過程為,枚舉欲連接的輸入Pin上所有的媒體類型,逐一用這些媒體類型與輸出Pin進行連接,如果輸出Pin也接受這種媒體類型,則Pin之間的連接宣告成功;如果所有輸入Pin上枚舉的媒體類型輸出Pin都不支持,則枚舉輸出Pin上的所有媒體類型,並逐一用這些媒體類型與輸入Pin進行連接。如果輸入Pin接受其中的一種媒體類型,則Pin之間的連接到此也宣告成功;如果輸出Pin上的所有媒體類型,輸入Pin都不支持,則這兩個Pin之間的連接過程宣告失敗。

  有一點需要注意的是,上述的輸入Pin與輸出Pin一般不屬於同一個Filter,典型的是上一級Filter(也叫Upstream Filter)的輸出Pin連向下一級Filter(也叫Downstream Filter)的輸入Pin。

  當Filter的Pin之間連接完成,也就是說,連接雙方通過協商取得了一種大家都支持的媒體類型之後,即開始為數據傳輸做准備。這些准備工作中,最重要的是Pin上的內存分配器的協商,一般也是由輸出Pin發起。在DirectShow Filter之間,數據是通過一個一個數據包傳送的,這個數據包叫做Sample。Sample本身是一個COM對象,擁有一段內存用以裝載數據,Sample就由內存分配器(Allocator)來統一管理。已成功連接的一對輸出、輸入Pin使用同一個內存分配器,所以數據從輸出Pin傳送到輸入Pin上是無需內存拷貝的。而典型的數據拷貝,一般發生在Filter內部,從Filter的輸入Pin上讀取數據後,進行一定意圖的處理,然後在Filter的輸出Pin上填充數據,然後繼續往下傳輸。下面,我們就具體闡述一下Filter之間的數據傳送。
首先,大家要區分一下Filter的兩種主要的數據傳輸模式:推模式(Push Model)和拉模式(Pull Model)。

  所謂推模式,即源Filter(Source Filter)自己能夠產生數據,並且一般在它的輸出Pin上有獨立的子線程負責將數據發送出去,常見的情況如代表WDM模型的采集卡的Live Source Filter;而所謂拉模式,即源Filter不具有把自己的數據送出去的能力,這種情況下,一般源Filter後緊跟著接一個Parser Filter或Splitter Filter,這種Filter一般在輸入Pin上有個獨立的子線程,負責不斷地從源Filter索取數據,然後經過處理後將數據傳送下去,常見的情況如文件源。推模式下,源Filter是主動的;拉模式下,源Filter是被動的。而事實上,如果將上圖拉模式中的源Filter和Splitter Filter看成另一個虛擬的源Filter,則後面的Filter之間的數據傳輸也與推模式完全相同。

  那麼,數據到底是怎麼通過連接著的Pin傳輸的呢?首先來看推模式。在源Filter後面的Filter輸入Pin上,一定實現了一個IMemInputPin接口,數據正是通過上一級Filter調用這個接口的Receive方法進行傳輸的。值得注意的是(上面已經提到過),數據從輸出Pin通過Receive方法調用傳輸到輸入Pin上,並沒有進行內存拷貝,它只是一個相當於數據到達的“通知”。再看一下拉模式。拉模式下的源Filter的輸出Pin上,一定實現了一個IAsyncReader接口;其後面的Splitter Filter,就是通過調用這個接口的Request方法或者SyncRead方法來獲得數據。Splitter Filter然後像推模式一樣,調用下一級Filter輸入Pin上的IMemInputPin接口Receive方法實現數據的往下傳送。深入了解這部分內容,請認真研讀SDK的基類源代碼(位於DXSDKsamplesMultimediaDirectShowBaseClassessource.cpp和pullpin.cpp)。

  下面,我們來講一下流的定位(Media Seeking)。在GraphEdit中,當我們成功構建了一個Filter Graph之後,我們就可以播放它。在播放中,我們可以看到進度條也在相應地前進。當然,我們也可以通過拖動進度條,實現隨機訪問。要做到這一點,在應用程序級別應該可以知道Filter Graph總共要播放多長時間,當前播放到什麼位置等等。那麼,在Filter級別,這一點是怎麼實現的呢?

  我們知道,若干個Filter通過Pin的相互連接組成了Filter Graph。而這個Filter Graph是由另一個COM對象Filter Graph Manager來管理的。通過Filter Graph Manager,我們就可以得到一個IMediaSeeking的接口來實現對流媒體的定位。在Filter級別,我們可以看到,Filter Graph Manager首先從最後一個Filter(Renderer Filter)開始,詢問上一級Filter的輸出Pin是否支持IMediaSeeking接口。如果支持,則返回這個接口;如果不支持,則繼續往上一級Filter詢問,直到源Filter。一般在源Filter的輸出Pin上實現IMediaSeeking接口,它告訴調用者總共有多長時間的媒體內容,當前播放位置等信息。(如果是文件源,一般在Parser Filter或Splitter Filter實現這個接口。)對於Filter開發者來說,如果我們寫的是源Filter,我們就要在Filter的輸出Pin上實現IMediaSeeking這個接口;如果寫的是中間的傳輸Filter,只需要在輸出Pin上將用戶的獲得接口請求往上傳遞給上一級Filter的輸出Pin;如果寫的是Renderer Filter,需要在Filter上將用戶的獲得接口請求往上傳遞給上一級Filter的輸出Pin。進一步的了解,請認真研讀SDK的基類源代碼(位於DXSDKsamplesMultimediaDirectShowBaseClasses ransfrm.cpp的類方法CTransformOutputPin::NonDelegatingQueryInterface實現和ctlutil.cpp中類CPosPassThru的實現)。
以上我們介紹了一下如何學習DirectShow Filter開發,以及一些開始寫自己的Filter之前的預備知識。下一講,筆者將根據自己開發Filter的經驗,手把手教你如何寫自己的Filter。

  如何寫自己的Filter

  首先,從VC++的項目開始(請確認你已經給VC++配置好了DirectX的開發環境)。寫自己的Filter,第一步是使用VC++建立一個Filter的項目。由於DirectX SDK提供了很多Filter的例子項目(位於DXSDKsamplesMultimediaDirectShow Filters目錄下),最簡單的方法就是拷貝一個,然後再在此基礎上修改。但如果你是Filter開發的初學者,筆者並不贊成這麼做。

  自己新建一個Filter項目也很簡單。使用VC++的向導,建立一個空的”Win32 Dynamic-link Library”項目。注意,幾個文件是必須有的:.def文件,定義四個導出函數;定義Filter類的.cpp文件和.h文件,並在.cpp文件中定義Filter的注冊信息以及兩個Filter的注冊函數:DllRegisterServer和DllUnregisterServer。(注:Filter的注冊信息是Filter在注冊時寫到注冊表裡的內容,格式可以參考SDK的示例代碼,Filter相關的GUID務必使用GuidGen.exe產生。)接下去進行項目的設置(Project->Settings…)。此時,你可以打開一個SDK的例子項目進行對比,有些宏定義完全可以照抄,最後注意將輸出文件的擴展名改為.ax。

  上一講曾經提到過,在寫Filter之前,選擇一個合適的Filter基類是至關重要的。為此,你必須對幾個Filter的基類有相當的了解。在實際應用中,Filter的基類並不總是選擇CBaseFilter的。相反,因為我們絕大部分寫的都是中間的傳輸Filter(Transform Filter),所以基類選擇CTransformFilter和CTransInPlaceFilter的居多。如果我們寫的是源Filter,我們可以選擇CSource作為基類;如果是Renderer Filter,可以選擇CBaseRenderer或CBaseVideoRenderer等。

  總之,選擇好Filter的基類是很重要的。當然,選擇Filter的基類也是很靈活的,沒有絕對的標准。能夠通過CTransformFilter實現的Filter當然也能從CBaseFilter一步一步實現。下面,筆者就從本人的實際經驗出發,對Filter基類的選擇提出幾點建議供大家參考。

  首先,你必須明確這個Filter要完成什麼樣的功能,即要對Filter項目進行需求分析。請盡量保持Filter實現的功能的單一性。如果必要的話,你可以將需求分解,由兩個(或者更多的)功能單一的Filter去實現總的功能需求。

  其次,你應該明確這個Filter大致在整個Filter Graph的位置,這個Filter的輸入是什麼數據,輸出是什麼數據,有幾個輸入Pin、幾個輸出Pin等等。你可以畫出這個Filter的草圖。弄清這一點十分重要,這將直接決定你使用哪種“模型”的Filter。比如,如果Filter僅有一個輸入Pin和一個輸出Pin,而且一進一處的媒體類型相同,則一般采用CTransInPlaceFilter作為Filter的基類;如果媒體類型不一樣,則一般選擇CTransformFilter作為基類。

  再者,考慮一些數據傳輸、處理的特殊性要求。比如Filter的輸入和輸出的Sample並不是一一對應的,這就一般要在輸入Pin上進行數據的緩存,而在輸出Pin上使用專門的線程進行數據處理。這種情況下,Filter的基類選擇CSource為宜(雖然這個Filter並不是源Filter)。

  當Filter的基類選定了之後,Pin的基類也就相應選定了。接下去,就是Filter和Pin上的代碼實現了。有一點需要注意的是,從軟件設計的角度上來說,應該將你的邏輯類代碼同Filter的代碼分開。下面,我們一起來看一下輸入Pin的實現。你需要實現基類所有的純虛函數,比如CheckMediaType等。在CheckMediaType內,你可以對媒體類型進行檢驗,看是否是你期望的那種。因為大部分Filter采用的是推模式傳輸數據,所以在輸入Pin上一般都實現了Receive方法。有的基類裡面已經實現了Receive,而在Filter類上留一個純虛函數供用戶重載進行數據處理。這種情況下一般是無需重載Receive方法的,除非基類的實現不符合你的實際要求。而如果你重載了Receive方法,一般會同時重載以下三個函數EndOfStream、BeginFlush和EndFlush。我們再來看一下輸出Pin的實現。一般情況下,你要實現基類所有的純虛函數,除了CheckMediaType進行媒體類型檢查外,一般還有DecideBufferSize以決定Sample使用內存的大小,GetMediaType提供支持的媒體類型。最後,我們看一下Filter類的實現。首先當然也要實現基類的所有純虛函數。除此之外,Filter還要實現CreateInstance以提供COM的入口,實現NonDelegatingQueryInterface以暴露支持的接口。如果我們創建了自定義的輸入、輸出Pin,一般我們還要重載GetPinCount和GetPin兩個函數。

  Filter框架的實現大致就是這樣。你或許還想知道怎樣在Filter上實現一個自定義的接口,以及怎麼實現Filter的屬性頁等等。限於篇幅,筆者就不展開闡述了。其實,這些問題都能在SDK的示例項目中找到答案。其他的,關於在實際編程中應該注意的一些問題,筆者整理了一下,供大家參考。

  1. 鎖(Lock)問題

  DirectShow應用程序至少包含有兩條線程:一條主線程和一條數據傳輸線程。既然是多線程,肯定會碰到線程同步的問題。Filter有兩種鎖:Filter對象鎖和數據流鎖。Filter對象鎖用於Filter級別的如Filter狀態轉換、BeginFlush、EndFlush等;數據流鎖用於數據處理線程內,比如Receive、EndOfStream等。如果這兩種鎖沒有搞清楚,很容易產生程序的死鎖,這一點特別需要提醒。

  2. EndOfStream問題

  當Filter接收到這個“消息”,意味著上一級Filter的數據都已經發送完畢。在這之後,如果Receive再有數據接收,也不應該去理睬它。如果Filter對輸入Pin上的數據進行了緩存,在接收到EndOfStream後應確保所有緩存的數據都已經處理過了才能返回。

  3. Media Seeking問題

  一般情況下,你只需要在Filter的輸出Pin上實現NonDelegatingQueryInterface方法,當用戶申請得到IID_ImediaPosition接口或IID_IMediaSeeking接口時將請求往上一級Filter的輸出Pin上傳遞。當Filter Graph進行Mediaseeking的時候,一般會調用Filter上的BeginFlush、EndFlush和NewSegment。如果你的Filter對數據進行了緩存,你就要重載它們,並做出相應的處理。如果你的Filter負責給發送出去的Sample打時間戳,那麼,在Mediaseeking之後應該重新從零開始打起。

  4. 關於使用專門的線程

  如果你使用了專門的線程進行數據的處理和發送,你需要特別小心,不要讓線程進行死循環,並且要讓線程處理函數能夠去時時檢查線程命令。應該確保在Filter結束工作的時候,線程也能正常地結束。有時候,你把GraphEdit程序關掉,但GraphEdit進程仍在內存中,往往就是因為數據線程沒有安全關閉這個原因。

  5. 如何從媒體類型中獲取信息

  比如,你想在輸入Pin連接的媒體類型中,獲取視頻圖像的寬、高等信息,你應該在輸入Pin的CompleteConnect方法中實現,而不要在SetMediaType中。

  DirectX媒體對象(DirectX Media Objects,簡稱DMOs),是微軟提供的另一種流數據處理COM組件。與DirectShow filter相比,DMO有很多相似之處。對filter原理的熟悉,將會大大幫助你對DMO的學習。另外,DMO也因其結構簡單、易於創建和使用而倍受微軟推崇。

  DMO與filter的對比

  1. DMO比filter實現的功能要少很多,這使得DMO“體積”很小;

  2. DMO使用起來比filter更有靈活性。DMO的使用不需要filter graph,應用程序可以直接與DMO交互。而DMO也可以通過一個DMO wrapper filter工作於DirectShow環境;

  3. DMO總是同步處理數據,不像filter有獨立的數據傳送線程,需要考慮多線程編程問題;

  4. 與傳統的編解碼管理器ACM、VCM相比,用DMO開發的編解碼器是基於COM的,更易於擴展。並且DMO支持多個輸入和多個輸出;

  5. DMO不需要像filter一樣分配數據傳送的內存,而有DMO的使用者負責;

  6. DMO是一個獨立功能模塊,不需要像filter一樣連接成一條鏈路;

  7. DMO不需要像filter一樣將數據“推”下去,數據的輸入輸出都是由DMO的使用者完成的;

  所有這些優點,使得DMO成為微軟對於Encoder和Decoder開發的重點推薦模式。DirectX 9.0 SDK中,微軟更是把DMO從DirectShow中分離出來,而對於一些transform filter,微軟也推薦用DMO的方式來替換。

  關於DMO的使用方式,目前大概有兩種:一種是應用程序直接使用DMO,另一種就是在DirectShow filter中的應用。後者比較簡單,只是使用了一個DMO wrapper filter。在DirectShow應用程序中,DMO是對用戶透明的,所有使用DMO的工作均由DMO wrapper filter來完成。參見下面的代碼。

// Create the DMO Wrapper filter.
IBaseFilter *pFilter;
HRESULT hr = CoCreateInstance(CLSID_DMOWrapperFilter, NULL,
CLSCTX_INPROC_SERVER, IID_IBaseFilter,
reinterpret_cast<void**>(&pFilter));

if (SUCCEEDED(hr))
{
// Query for IDMOWrapperFilter.
IDMOWrapperFilter *pDmoWrapper;
hr = pFilter->QueryInterface(IID_IDMOWrapperFilter,
reinterpret_cast<void**>(&pDmoWrapper));

if (SUCCEEDED(hr))
{
// Initialize the filter.
hr = pDmoWrapper->Init(CLSID_MyDMO, DMOCATEGORY_VIDEO_EFFECT);
pDmoWrapper->Release();

if (SUCCEEDED(hr))
{
// Add the filter to the graph.
hr = pGraph->AddFilter(pFilter, L"My DMO");
}
}
pFilter->Release();
}
 


  而對於DMO的直接使用,以下幾點是要特別注意的。

  1. 在處理數據之前,必須為每條輸入輸出stream設置media type(Optional stream除外);

  2. 從DMO從獲取的media type未必包含format塊,但是在給DMO設置media type時,務必帶上這部分信息(MIDI除外);

  3. 應用程序必須自己負責分配數據緩存。緩存的大小可以通過調用DMO的IMediaObject::GetInputSizeInfo或IMediaObject::GetOutputSizeInfo得到。DMO使用的數據緩存也是一個COM對象,支持ImediaBuffer接口,與DirectShow filter的Media Sample類似。

  4. 一般的DMO依次調用IMediaObject::ProcessInput和IMediaObject::ProcessOutput處理數據,In-Place的DMO調用IMediaObjectInPlace::Process處理數據。兩套方法不能混用。

  5. 在調用ProcessOutput時,如果返回的標記是DMO_OUTPUT_DATA_BUFFERF_INCOMPLETE,說明數據的數據還沒有完全取出,需要再次調用ProcessOutput。

  6. 所有輸入數據都已輸入完成,應該調用DMO的IMediaObject::Discontinuity方法。

  7. 如果你想中斷數據處理流程,調用DMO的IMediaObject::Flush。

  8. 區別兩種不同的可丟棄stream,標記分別為DMO_OUTPUT_STREAMF_OPTIONAL和DMO_OUTPUT_STREAMF_DISCARDABLE。注意,後者是要設置media type的。

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved