當(dāng)前位置:中美貿(mào)易網(wǎng) > 技術(shù)中心 > 所有分類
(1)音視頻編碼技術(shù)
通過終端的音視頻捕捉設(shè)備,把音視頻模擬數(shù)據(jù)轉(zhuǎn)換成數(shù)字信號(hào),不管是PC還是
音視頻編解碼流程圖
(2)數(shù)據(jù)融合和處理技術(shù)
視頻會(huì)議系統(tǒng)主要包括MCU(多點(diǎn)控制單元)服務(wù)器和終端。其中終端包括:一般的PC終端(通過IP網(wǎng)絡(luò)連接互聯(lián)網(wǎng))、硬件視頻會(huì)議終端(H.323或SIP協(xié)議的終端)、
(3)幀緩沖映射技術(shù)
視頻會(huì)議服務(wù)器主要提供給終端實(shí)時(shí)數(shù)據(jù),因此要求視頻會(huì)議服務(wù)器具有很強(qiáng)的存儲(chǔ)轉(zhuǎn)發(fā)功能,傳統(tǒng)的數(shù)據(jù)流轉(zhuǎn)發(fā)方式,由于需要較大的內(nèi)存維持?jǐn)?shù)據(jù)流,不能支持大量并發(fā)數(shù)據(jù)。該技術(shù)在視頻會(huì)議服務(wù)器的內(nèi)存為每個(gè)終端建立相應(yīng)的緩沖區(qū),作為接收和轉(zhuǎn)發(fā)數(shù)據(jù)的存儲(chǔ)空間。而視頻會(huì)議的音視頻都是以數(shù)據(jù)幀來進(jìn)行編碼和解碼,因此緩沖區(qū)的最小單位是以數(shù)據(jù)幀來區(qū)分。為了達(dá)到大量并發(fā)的數(shù)據(jù)處理能力,為每個(gè)連接的終端和數(shù)據(jù)幀緩沖,用Hash表進(jìn)行一一映射對(duì)應(yīng),當(dāng)需要轉(zhuǎn)發(fā)數(shù)據(jù)的時(shí)候,只要通過查找終端的Hash映射表就可以快速搜索到相應(yīng)的幀緩沖,為視頻會(huì)議服務(wù)器處理大量并發(fā)的數(shù)據(jù)提供的手段。
(4)
3G智能手機(jī)使用的操作系統(tǒng)一般與PC的操作系統(tǒng)不一樣,其開發(fā)環(huán)境一般都在PC上進(jìn)行,通過模擬器在PC上進(jìn)行手機(jī)系統(tǒng)的應(yīng)用程序開發(fā),而在這些操作系統(tǒng)上運(yùn)行的應(yīng)用程序一般都比較缺乏,為了在系統(tǒng)上有更多的應(yīng)用,通常把PC上的應(yīng)用程序通過相應(yīng)的代碼修改和重新編譯,實(shí)現(xiàn)PC應(yīng)用程序的手機(jī)移植。智能手機(jī)的應(yīng)用程序移植主要采用跨平臺(tái)的開發(fā)語言進(jìn)行開發(fā),如JAVA和C語言, 通過跨平臺(tái)語言的多平臺(tái)交叉編譯以及一些特定的優(yōu)化,使在PC上運(yùn)行的應(yīng)用系統(tǒng)能移植到手機(jī)系統(tǒng)上。
(5)恒定視頻質(zhì)量的碼率控制技術(shù)
通常的視頻碼率控制是從整體上對(duì)圖像質(zhì)量進(jìn)行優(yōu)化,優(yōu)化過程中可能導(dǎo)致每幀圖像內(nèi)各宏塊的信噪比分布不集中,圖像各部分質(zhì)量有較大波動(dòng),造成主觀視覺質(zhì)量下降。該技術(shù)通過估計(jì)P幀類型圖像復(fù)雜度或者I幀類型圖像的復(fù)雜度以及量化參數(shù)來調(diào)節(jié)視頻質(zhì)量,從而獲得一致性的圖像質(zhì)量和更好的視覺感受。
(6)丟包后處理技術(shù)
在無QOS保障的網(wǎng)絡(luò)中,由于視頻會(huì)議傳輸需要較大的數(shù)據(jù)流量,數(shù)據(jù)很容易出現(xiàn)延遲或者丟包的現(xiàn)象,如對(duì)丟包后的數(shù)據(jù)不進(jìn)行處理,數(shù)據(jù)還原的質(zhì)量會(huì)出現(xiàn)一定影響,因此對(duì)丟包后的數(shù)據(jù)進(jìn)行處理是數(shù)據(jù)傳輸處理當(dāng)中非常重要的部分,通常采用丟包后數(shù)據(jù)重發(fā)技術(shù)或者丟包后處理技術(shù)來進(jìn)行丟包恢復(fù),數(shù)據(jù)重發(fā)技術(shù)一般通過協(xié)議來完成,如TCP或可靠的UDP來實(shí)現(xiàn),但這種方式會(huì)增加更多的帶寬和更大的延遲,另外一種方式是丟包后處理技術(shù),通過前向糾錯(cuò)、視頻錯(cuò)誤掩飾以及其他的方式實(shí)現(xiàn)丟包后的數(shù)據(jù)還原,該方式既能還原較大的數(shù)據(jù)量,而且不產(chǎn)生延遲,實(shí)現(xiàn)了數(shù)據(jù)實(shí)時(shí)性與可靠性之間的平衡點(diǎn),滿足低帶寬的實(shí)時(shí)交互式視頻會(huì)議傳輸?shù)囊蟆?/span>
(7)文檔協(xié)同瀏覽技術(shù)
文檔協(xié)同瀏覽通常是通過文檔分發(fā)到各個(gè)客戶端,從而實(shí)現(xiàn)文檔的共享,但該方式須把文檔傳輸?shù)礁鱾€(gè)客戶端才能實(shí)現(xiàn)文檔的協(xié)同瀏覽,因此如果文件較大,會(huì)造成較大時(shí)間等待。本項(xiàng)目的文檔協(xié)同瀏覽技術(shù)是通過虛擬打印技術(shù)進(jìn)行的,虛擬打印技術(shù)是通過底層的驅(qū)動(dòng)來模擬一個(gè)打印機(jī)輸出設(shè)備,當(dāng)文檔調(diào)用虛擬打印機(jī)進(jìn)行打印的時(shí)候,通過驅(qū)動(dòng)層對(duì)將要輸出到打印口的數(shù)據(jù)進(jìn)行截獲,從而把文檔轉(zhuǎn)化成圖片,然后進(jìn)行傳輸和協(xié)同瀏覽。該方式由于模擬的是打印機(jī)打印文檔,因此支持任意文檔格式,提高了系統(tǒng)的適用性。該技術(shù)還能把文檔進(jìn)行分頁處理,共享端瀏覽的文檔只須傳輸當(dāng)前所看的頁面,避免了整個(gè)文檔的傳輸,既節(jié)省了帶寬也增加了協(xié)同瀏覽的實(shí)時(shí)性。
(8)分層視頻編碼技術(shù)
分層視頻編碼是把視頻圖像分割成一個(gè)基層和一到多個(gè)增強(qiáng)層來創(chuàng)建視頻圖像的,這些視頻流分別搭載在網(wǎng)絡(luò)上的不同數(shù)據(jù)包中,基層數(shù)據(jù)包丟失所造成的影響和非可分層編碼的結(jié)果是一致的,不過增強(qiáng)層數(shù)據(jù)包丟失造成的影響就要小得多。由于增強(qiáng)層是以基層而不是前幀圖像為基礎(chǔ)的,因此,增強(qiáng)層的數(shù)據(jù)包丟失只會(huì)引起暫時(shí)性的清晰度的下降,而不會(huì)對(duì)視頻圖像的基本架構(gòu)帶來影響,從而大大提高視頻的抗丟包能力。
分層視頻編碼還能通過不同的層,產(chǎn)生不同的幀率和分辨率的視頻編碼壓縮流,以適應(yīng)不同帶寬,不同顯示分辨率的應(yīng)用需求。傳統(tǒng)的非分層視頻編碼對(duì)圖像的編碼只是通過空間和時(shí)間上對(duì)數(shù)據(jù)進(jìn)行壓縮,其數(shù)據(jù)與幀數(shù)、分辨率沒有直接相關(guān)性,數(shù)據(jù)的大小只能傳輸固定的幀數(shù)和分辨率;而分層視頻編碼通過分層的模式把幀數(shù)、分辨率作為直接的參考,視頻的幀和不同分辨率的圖像直接插入到數(shù)據(jù)流,可以隨著帶寬的不同,采用不同的幀數(shù)和分辨率,有效節(jié)約了帶寬和提高了視頻圖像的質(zhì)量。如圖:對(duì)于專網(wǎng)的會(huì)議終端,可以采用1080P分辨率、30幀/秒進(jìn)行高清視頻的傳輸,而在3G網(wǎng)絡(luò),可以采用270P分辨率、30幀/秒進(jìn)行視頻傳輸,這樣的方式更能滿足不同帶寬的終端的需求,提高了終端的網(wǎng)絡(luò)利用率。
(9)去塊效應(yīng)濾波器技術(shù)
視頻壓縮算法是通過分塊來實(shí)現(xiàn)壓縮,由于編碼存在一定的失真,經(jīng)過壓縮編碼還原后,會(huì)在解碼后的圖像中形成塊效應(yīng),會(huì)引起圖像的質(zhì)量的下降,因此需對(duì)解碼后的圖像進(jìn)行去塊效應(yīng),平滑圖像邊緣,改善還原后的圖像質(zhì)量。去塊效率濾波器主要采用:對(duì)真實(shí)邊界不濾波,對(duì)偽邊界根據(jù)像素穿越邊界的漸變度和編碼方式進(jìn)行濾波;根據(jù)濾波強(qiáng)度,選擇不同的濾波系數(shù)對(duì)邊界兩側(cè)像素進(jìn)行濾波操作等,從而使還原后的圖像消除塊效應(yīng),改善圖像的感觀質(zhì)量。
(10)混音技術(shù)
視頻會(huì)議當(dāng)中,人們希望視頻會(huì)議能夠模擬真實(shí)的會(huì)議環(huán)境,在有多人同時(shí)發(fā)言的情況下,終端能同時(shí)聽到每個(gè)人說話的聲音,這就需要增加混音功能,所謂的混音就是將不同的音頻流在某節(jié)點(diǎn)處通過線性疊加的方法混合成一個(gè)音頻流,這樣在播放的時(shí)候達(dá)到模擬真實(shí)會(huì)場(chǎng)場(chǎng)景的目的。
(11)音視頻硬解碼技術(shù)
軟解碼是通過軟件讓CPU來對(duì)視頻進(jìn)行解碼處理;而硬解碼是指不借助于CPU,而通過專用的子卡設(shè)備來獨(dú)立完成視頻解碼任務(wù)。硬解碼相對(duì)軟解碼,不占用CPU,效率更高,因此硬解碼是高清視頻的必要選擇。PC的硬解碼主要是采用第三方的壓縮卡來實(shí)現(xiàn),而在3G智能手機(jī)的顯示芯片一般都已經(jīng)集成硬解碼,因此3G智能手機(jī)手機(jī)上可以直接通過操作相應(yīng)的硬件編來實(shí)現(xiàn)高效的音視頻編解碼。
(13)P2P技術(shù)
P2P技術(shù)是指節(jié)點(diǎn)之間都是同級(jí)節(jié)點(diǎn),同時(shí)對(duì)網(wǎng)絡(luò)上的其它節(jié)點(diǎn)充當(dāng)客戶端和服務(wù)器的一種技術(shù)。這種設(shè)計(jì)模型不同于傳統(tǒng)的客戶端-服務(wù)器模型,在客戶端-服務(wù)器模型中通信通常來往于一個(gè)服務(wù)器。而P2P的客戶端的數(shù)據(jù)除控制數(shù)據(jù)外一般都不直接通過服務(wù)器,這樣視頻會(huì)議服務(wù)器就不會(huì)成為帶寬和信息處理的瓶頸,提升了系統(tǒng)的容量。P2P技術(shù)更適合于點(diǎn)對(duì)點(diǎn)視頻通信、