人眼類似於一個光學系統，但它不是普通意義上的光學系統，還受到神經系統的調節。人眼觀察圖像時可以用以下幾個方面的反應及特性：
(1)從空間頻率域來看，人眼是一個低通型線性系統，分辨景物的能力是有限的。由於瞳孔有一定的幾何尺寸和一定的光學像差，視覺細胞有一定的大小，所以人眼的分辨率不可能是無窮的，HVS對太高的頻率不敏感。
(2)人眼對亮度的響應具有對數非線性性質，以達到其亮度的動態范圍。由於人眼對亮度響應的這種非線性，在平均亮度大的區域，人眼對灰度誤差不敏感。
(3)人眼對亮度信號的空間分辨率大於對色度信號的空間分辨率。
(4)由於人眼受神經系統的調節，從空間頻率的角度來說，人眼又具有帶通性線性系統的特性。由信號分析的理論可知，人眼視覺系統對信號進行加權求和運算，相當於使信號通過一個帶通濾波器，結果會使人眼產生一種邊緣增強感覺一一側抑制效應。
(5)圖像的邊緣信息對視覺很重要，特別是邊緣的位置信息。人眼容易感覺到邊緣的位置變化，而對於邊緣的灰度誤差，人眼並不敏感。
(6)人眼的視覺掩蓋效應是一種局部效應，受背景照度、紋理復雜性和信號頻率的影響。具有不同局部特性的區域，在保證不被人眼察覺的前提下，允許改變的信號強度不同。
人眼的視覺特性是一個多信道(Multichannel)模型。或者說，它具有多頻信道分解特性(Mutifrequency channel decompositon )。例如，對人眼給定一個較長時間的光刺激后，其刺激靈敏度對同樣的刺激就降低，但對其它不同頻率段的刺激靈敏變卻不受影響(此實驗可以讓人眼去觀察不同空間頻率的正弦光柵來證實)。視覺模型有多種，例如神經元模型，黑白模型以及彩色視覺模型等等，分別反應了人眼視覺的不同特性。Campbell和Robosn由此假設人眼的視網膜上存在許多獨立的線性帶通濾波器，使圖像分解成不同頻率段，而且不同頻率段的帶寬很窄。視覺生理學的進一步研究還發現，這些濾波器的頻帶寬度是倍頻遞增的，換句話說，視網膜中的圖像分解成某些頻率段，它們在對數尺度上是等寬度的。視覺生理學的這些特征，也被我們對事物的觀察所證實。一幅分辨率低的風景照，我們可能只能分辨出它的大體輪廓；提高分辨率的結果，使我們有可能分辨出它所包含的房屋、樹木、湖泊等內容；進一步提高分辨率，使我們能分辨出樹葉的形狀。不同分辨率能夠刻畫出圖像細節的不同結構。