網絡電視臺存儲系統架構

網絡電視臺作爲一個整體的應用平臺,存儲系統不應單純地選擇分佈式存儲架構或集中式存儲架構,應根據各種應用數據存儲的特點靈活地選擇分佈加集中的存儲方式。DAS、NAS、SAN、集羣存儲等各種存儲設備紛繁複雜,應該根據網絡電視臺各種應用的特點選擇不同特色的存儲架構和存儲設備,才能做到有的放矢,才能使資源效益最大化。

網絡電視臺存儲系統架構

1 引言

網絡電視臺是一個構築在電信網絡、廣電網絡、互聯網絡之上的全業務內容運營平臺系統,節目通過分發網絡向不同地域、不同終端上的用戶提供雙向的、互動的、交互的內容服務和體驗,並最終實現內容的跨平臺無縫融合。網絡電視臺系統由節目製作中心、發佈運營平臺、傳輸分發網絡和用戶終端四個部分組成,由於其問需要存儲、調用大量的節目源,這對網絡存儲系統的構架提出了很高的要求。

2 存儲系統解析

2.1 分佈式存儲

分佈式存儲就是將數據分散存儲在多臺的獨立的客戶端上,由客戶端通過網絡連接將存儲的數據共享到網絡上或者通過第三方的平臺對數據進行集中的處理及共享。分佈式存儲採用可擴展的系統結構,將存儲負荷分擔給多臺存儲服務器,利用位置服務器定位存儲的信息。

因爲需要通過第三方的平臺進行數據的共享和遷移,增加了共享、遷移的複雜性,就造成了數據的共享和遷移不便。

2.2 集中式存儲

集中式存儲是多個應用系統共享一個存儲服務器,所有的客戶機IfO請求全部在中央系統進行處理。集中式存儲保證了每個終端的使用信息是一致的,在數據共享和負載均勻方面更加有效。客戶能夠靈活地管理存儲資源的規劃,統一對數據安全性的訪問、備份和恢復等管理,更能對存儲空間進行有效的使用。

由於所有的I/O請求都發送到中央系統進行處理,增加了中央系統的存儲設備壓力。當中央系統處於不同的地理區域,網絡處理的'延時較大。系統效率不高,存儲數據管理靈活性不高,策略單一。

3 存儲系統應用比對

3.1 採用分佈式存儲系統

早期的小型視頻網站較多采用分佈式存儲架構,將其擴展到網絡電視臺上。在分佈式架構的網絡電視臺的系統中,各個服務器的數據獨立存放於服務器自帶的硬盤中,或者通過DAS方式連接的獨立存儲設備中,服務器又通過文件共享的方式使數據在整個網絡中得到共享。

這種存儲架構帶來的問題是十分明顯的:一是分佈式的存儲很難做到負載均衡;二是無法實現集中的高RAID級別保護,可用的存儲空間相對減少;三是存儲共享困難,要想使某一存儲資源在網絡中共享,必須爲網絡中所有的服務器配置此存儲資源的掛載點;四是快照、備份、恢復、遠程容災等存儲管理功能實現困難且成本較高。

3.2 採用集中式存儲系統

目前,很多視頻網站採用集中式的存儲結構來存放所有媒體數據,一般爲NAS架構,通常是一臺大容量的文件服務器,而高端的NAS結構是由一個NAS頭後面接SAS、SCSI或FC盤陣,還可以是以SAN架構方式連接的磁盤陣列,需要安裝共享文件系統,進行塊級的數據存儲,存儲效率更高。集中式存儲架構的特點比較明顯:一是集中存儲使用統一的RAID級別保護、存儲空間浪費少;二是便於實現服務的負載均衡,當某臺Web服務器繁忙時其他服務器可以提供同一數據的共享訪問;三是集中存儲同時也是對視頻內容的集中管理、減少視頻內容的重複存儲。

集中式的存儲容易解決網絡電視臺視音頻資料的共享難題,但同時也存在I/O瓶頸、容量擴展性差、性能不可擴展、專業高端NAS或SAN存儲成本高昂、單點故障等關鍵問題。

4 網絡電視臺數據存儲特點及構架對策

單純的集中式存儲或分佈式存儲並不適合網絡電視臺的存儲架構,究其原因是對網絡電視臺不同應用數據存儲的特點沒有很好地進行區分。

網絡電視臺存儲和處理的最主要的數據爲視音頻數據,從視音頻數據的生產管理的流程可以將網絡電視臺的存儲分爲內容生產平臺、內容發佈平臺、內容管理平臺。由於三個平臺間對於數據存儲和共享性的要求不相同,對於存儲設備的選擇要求也不相同,應針對各個平臺的特點,選擇不同特性的存儲設備。

4.1 內容生產平臺特點與存儲對策

內容生產平臺主要完成視音頻資料的採集、轉碼、編輯、合成等任務,其保存的數據主要爲多種格式、多種高低碼流的視音頻原始素材。由於其在線製作的需求對存儲設備的延時性要求較高,數據位於生產環節,不承擔歸檔備份任務,對存儲容量的實時增長要求相對較低。

內容生產平臺由於素材格式要求高、高清製作等較高需求同時要求數據I/O精確到幀的高實時性,可以採用高性能的iSCSI或FC存儲設備構成SAN結構。但此時需要有共享文件系統的客戶端支持,增加了建設成本和存儲設備升級維護工作的難度,由於不承擔備份、歸檔等數據管理任務,存儲容量增長的實時性不高,採取這種方式的存儲設備的代價和維護管理複雜度在可控範圍之內。

4.2 內容發佈平臺特點與存儲對策

內容發佈平臺主要完成多通道的流媒體對外發布,主要由流媒體服務器、Web服務器等構成,存儲的數據爲多格式可變碼流的成品節目,由於節目量和網絡帶寬迅速增長,對存儲設備的帶寬和容量寬展都提出了較高的要求。

內容發佈平臺由於節目量和用戶點擊量的爆炸性增長,最好採用容量和帶寬可線陛增長的存儲設備,當前比較流行的集羣存儲擴展容易、管理簡單、共享方便,在擴展容量的同時可線性擴展帶寬。但這種存儲設備通常由TCP/IP支持,增加了I/O操作的延時性,不論是Web發佈、IPTV還是手機電視一般都會採用緩衝的收看方式,對I/O操作的實時性沒有太高的要求,可以採用集羣存儲作爲內容發佈平臺的集中存儲。

4.3 內容管理平臺特點與存儲對策

內容管理平臺主要完成生產環節和發佈環節的視音頻數據的備份、歸檔以及回遷的服務,由數據備份服務器等構成,有海量的數據存儲需求,要求存儲設備具有高容量、低價格的特性。

內容管理平臺由於承擔備份、歸檔等業務,需要海量的存儲設備且擴展方便,可以採用LTO數據流磁帶作爲存儲介質,價格低、能耗小、容量大,雖然採用非線性的讀取方式,I/O操作的延時很大,但可以滿足備份、歸檔等業務的非實時性要求。如果網絡電視臺機房環境相對較差不利於磁帶介質的保存,同時對視音頻資料的回遷有較高的要求,還要有統計分析等決策支持功能,應當採用D2D的歸檔策略,使用高容量、低性能的SATA磁盤陣列做磁盤級的歸檔保存,但購置和運行成本相對於磁帶較大。