现实生活中，有各种各样的颜色，为了表示这些不同的颜色，需要对颜色建立模型，理想情况下，各彩色模型都是3D的，所以彩色视频通常都可以由多个矢量函数来表示，每个函数描述彩色的一个属性。这样建立起来的色彩模型就被称为颜色空间或者彩色空间。简单的讲，颜色空间是颜色的数学表示。
通常，人们最熟悉的是基于R、G、B三基色相加原理建立起来的RGB颜色空间，RGB颜色空间非常适合用在图像采集和图像显示的硬件设备中。另外，还有一种叫做CMY的颜色空间,是利用三基色两两叠加产生3补色，蓝绿（C，即绿加蓝）、品红（M，即红加蓝）、黄（Y，即红加绿）来表达现实中的颜色，也被称为减法混色模型。减法混色模型之所以也同样十分重要，是因为染色用的颜料通常只吸收一种基色而让其它两种基色反射，所以颜料的三基色正好是光的三补色。所以，彩色打印领域使用的是CMY模型，艺术家也常用这种模型的原理来进行调色。理论上，CMY是RGB的补色，它们的叠加可以输出黑色。但实际中。它们的叠加只能输出浑浊的深色。所以出版界需要单独加一个黑色，使用所谓的四色打印，即CMYK模型。
RGB与CMY模型通常被称为面向硬件设备的颜色空间。这类颜色模型的缺点是，颜色空间中的3种颜色具有相同的重要性，以相同的空间进行存储，这就使得视频数据有很大的数据冗余。由于人类视觉系统对颜色的敏感程度通常比亮度要低。在图像处理中，为了利用人的视觉特性，降低数据量，通常把 RGB 空间表示的彩色图像变换到其他色彩空间。同时处理也来也更加容易。
人类对于图像的感知可以用颜色的三个属性来表达：
（1）图像的是明亮还是暗淡？，也可以称为亮度或明度
（2）图像的颜色是什么？也可以称为色调或色相
（3）颜色的深浅。也可以称为饱合度
其中第二项和第三项联合起来称为色度。这三个属性可以用一个理想化的双锥体模型（HIS)来表示。如图所示：
在图像处理和计算机视觉中大量算法都可以在HIS色彩空间中方便的使用，它们可以分开处理而且是相互独立的。因此，在HIS色彩空间可以大大简化图像分析和处理的工作量。HIS颜色空间和RGB颜色空间中介同一物理量的不同表示方法
还有一种多媒体从业人员比较熟悉的颜色空间叫做YUV颜色空间，它主要用在屏幕的显示系统中，显示系统通常采用三管彩色摄像机或彩色CCD（点耦合器件）摄像机，它把摄得的彩色图像信号，经分色、分别放大校正得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号R-Y、B-Y。最后发送端将亮度和色差三个信号分别进行编码，同一信道发送出去，这就是我们常用的YUV颜色空间。采用YUV颜色空间好处理是亮度信号Y和色度信号U、V是分离的。只有Y信号时图像是黑白灰度图，彩色电视通过使用YUV颜色空间解决了彩色电视机与黑白电视机的兼容问题。
RGB颜色空间与YUV、HIS之间的关系如下：
根据ITU-R BT.601标准：
Y = 0.299R + 0.587G + 0.114B
Cb = B-Y = -0.299R - 0.587G + 0.886B
Cr = R-Y = 0.701R - 0.587G - 0.114B
H = arctan(Cb/Cr)
S = sqrt(Cb^2 + Cr^2)
Cr = S x sin(H)
Cb = S x cos(H)