多媒體技術原理及應用

多媒體技術原理及應用

第二章多媒體數據編碼基礎

2.3數字視頻編碼

視頻制式
1. NTSC
  1. 美國制定
  2. 每秒30幀
  3. 顏色模型是YIQ
2. PAL
  1. 中國，德國，英國采用PAL
  2. 每秒25幀
  3. 顏色模型是YUV
數字視頻采用的CCIR601編碼標准

第三章多媒體數據編碼標准

3.1靜態圖像壓縮標准JPEG

分兩類標准分類
1. DCT方式非可逆編碼（有失真）——DCT為基礎的編碼
  - 有量化過程不可以完全復原的非可逆編碼
  - 過程：離散余弦變換（DCT）——量化處理——DC系數的編碼和AC系數的行程編碼——熵編碼
    - 行程編碼：進行Z字形掃描，增加行程中連續0的個數
      - 非主對角線的絕大部分數據是0（量化的結果），Z字形掃描使得連續的0的個數最多
- 量化的作用：
  - 在一定主觀保真度圖像質量的前提下
  - 丟掉那些對視覺影響不大的信息
- JPEG對量化后的DC系數采用DPCM編碼
1. 空間方式可逆編碼——DPCM為基礎的編碼
  - 無失真編碼：
  - 基於DPCM的無失真編碼優點是硬件易實現，重建圖像質量好
  - 缺點是壓縮比太低，大約為2：1
2. 基於DCT的分層操作方式
  - 在低分辨率設備存取或者觀察高分辨率圖像的應用中，這種方法非常有效
  - 分層操作方式的過程：
    - (1)把原始圖像空間分辨率降低。
    - (2)對已降低分辨率的圖像采用基於DCT的順序方式、累進方式或無失真預測編碼中的任何一種編碼方法進行編碼。
    - (3)對低分辨率的圖像解碼，重建圖像，使用插值濾波器，對它插值，恢復圖像的水平和垂直分辨率。
    - (4)把分辨率已升高的圖像作為原始圖像的預測值，對它們的差值采用基於DCT的順序方式、累進方式或用無失真方式進行編碼。
    - (5)重復(3)、(4)直到圖像達到完整的分辨率編碼。
JPEG 2000
1. 特點：高壓縮率+無損壓縮+漸進壓縮+感興趣區域壓縮
2. 采用以小波變換為主的多分辨率編碼方式

3.2運動圖像壓縮標准

MPEG標准
- 1 2 4 三種
MPEG-1 系統
MPEG-1視頻編碼技術
- 圖像壓縮四種技術：幀內壓縮+前向壓縮+后向壓縮+雙向壓縮
MPEG-2標准
- DVD的存儲方式

思考題：

第四章多媒體計算機系統組成

4.1多媒體存儲技術

多媒體信息主要特點：
- 多媒體信息量大
- 數據類型多
- 數據區別大
- 輸入輸出復雜
光盤存儲原理
1. 光存儲技術
  - 光盤驅動系統：光盤驅動器和光盤片
  - 驅動器讀寫頭：半導體激光器和光路系統組成的光頭
  - 記錄介質:磁光材料
2. 光盤系統特點
  - 與硬盤相比：可拆卸性，容量大，驅動器較貴但是盤片便宜，讀寫速度慢
  - 與磁帶相比：隨機存取性強
  - 存儲方面：保存時間長，磨損小，激光頭與介質無接觸，不受環境影響而退磁
3. 光盤有關技術指標
  1. 存儲容量：格式化容量>用戶容量（光盤存放控制、校驗相關信息）
  2. 平均存取時間：（三個）
  - 光盤上找到需要讀寫的信息的位置所需要的時間
  - 即從計算機想光盤驅動器發出命令，到光盤驅動器可以接受讀寫命令為止的時間。
    - 一般區光頭沿半徑移動全程的1/3長度所需的時間為平均尋道時間，盤片旋轉一周的一半時間為平均等待時間，兩者加航讀寫光頭的穩定時間就是平均存取時間。
  1. 數據傳輸率
  2. 誤碼率<10^-12
  3. 平均無故障時間 > 25000小時
  4. 接口標准及格式指標
4. 存儲容量
光盤的分類
1. CD-ROM 只讀光盤
2. WORM 一次寫多次讀光盤
3. Rewritable可重寫光盤
光盤的工作原理
1. 只讀光盤原理
  - 正負跳變邊沿：數字1；兩個邊沿之間：數字0
2. 可重寫光盤的擦寫原理
  - 磁光式擦寫原理：稀土-過渡金屬非晶體垂直磁化膜，利用熱磁效應
  - 相變式擦寫原理：利用記錄介質的兩個穩態之間的互逆結構。
    - 寫：記錄介質的信息點從晶態轉變為非晶態；
    - 擦：激光照射的信息點從非晶態恢復到晶態。
光盤標准
1. CD-DA
2. CD-ROM
3. CD-V
光盤規范及格式
1. CD-DA規范及制式
  - 激光唱盤：1分=60秒，1秒=75扇區，1扇區=98幀
  - 可存放74分鍾音頻信號
2. CD-ROM規范及制式
  - 兩種格式：Mode 1和Mode 2
  - 區別：
    - 用戶數據量不同
    - 存儲數據的類型不同
    - 誤碼率：mode1 circ檢驗后誤碼率為1/10^9;mode2 circ檢驗后誤碼率為1/10^12.
    - 1可以進行檢錯；2可以檢錯矯正錯誤

第六章多媒體內容管理

6.1多媒體數據管理環境

四類存儲介質：硬盤，磁帶，光盤，磁盤陣列
多媒體數據的傳輸環境：可更換的介質進行人工傳輸；串行端口實行點對點傳輸；使用網絡系統
多媒體數據資源的有效管理方法
(1)文件管理系統。
(2)建立特定的邏輯目錄。
(3)傳統的字符、數值數據庫管理系統。
(4)多媒體數據庫管理系統。
(5)超文本和超媒體。

6.2多媒體數據庫管理系統

多媒體數據庫管理系統特點
- 依據獨立性原則， DBMS按層次划分為3種模式：物理模式、概念模式和外部模式。
  - 物理模式定義數據存儲組織方法，如數據庫文件的格式、索引文件組織方法、數據庫在網絡上的分布方法等(存儲模式)。
  - 概念模式借助數據模型來描述，它定義抽象現實世界的方法。數據庫模型先后經歷了網狀模型、關系模型和面向對象模型等階段。
  - 外部模式又叫視圖，它是概念模式對用戶有用的那一部分。
多媒體數據對數據庫的影響
- (1)數據量大且媒體之間差異也極大，從而影響數據庫中的組織和存儲方法。
- (2)媒體種類增多增加了數據處理困難。
- (3)多媒體不僅改變了數據庫的接口，使其聲、文、圖並茂，而且也改變了數據庫的操作形式，其中最重要的是查詢機制和查詢方法。
- (4)傳統的事務一般都是短小精悍，在多媒體數據庫管理系統中也應盡可能采用短事務。為保證播放不致中斷，MDBMS應增加這種處理長事務的能力。
- (5)多媒體數據庫管理還有考慮版本控制的問題。
MDBMS的功能要求
- (1) MDBMS必須能表示和處理各種媒體數據，重點是不規則數據如圖形、圖像、聲音的表示方法。
- (2) MDBMS必須能反映和管理各種媒體數據的特性，或各種媒體數據之間的空間或時間的關聯。
- (3) MDBMS除必須滿足物理數據獨立性和邏輯數據獨立性外，還應滿足媒體數據獨立性。
  - 物理數據獨立性指當物理數據組織改變時，不影響概念數據組織。
  - 邏輯數據獨立性指概念數據組織改變時，不影響用戶程序使用的視圖。
  - 媒體數據獨立性指在MDBMS的設計和實現時，要求系統能保持各種媒體獨立性和透明性。
- (4) MDBMS的數據操作功能。
- (5) MDBMS的網絡功能。應解決分布在網絡上的多媒體數據庫中數據的定義、存儲、操作問題，並對數據一致性、安全性、並發性進行管理。
- (6)MDBMS應具有開放功能，提供MDB的應用程序接口API，並提供獨立於外設和格式的接口。
- (7) MDBMS還應提供事務和版本管理功能。
MDBMS的組織結構
1. MDBMS的組織結構一般可分為3種：
  - 集中型。
  - 主從型。
  - 協作型。
2. 集中型MDBMS
3. 主從型MDBMS
4. 協作型MDBMS
  - 協作型MDBMS也是由多個數據庫管理系統來組成，每個數據庫管理系統之間沒有主從之分。
  - 要求系統中每個數據庫管理系統(稱為成員MDBMS)能協調地工作，但因每一成員MDBMS彼此有差異，所以在通信中必須首先解決這個問題。
MDBMS的數據模型
- 數據模型三要素：數據結構、數據操作和完整性約束
- 層次、網狀、關系模型