大多数比特率控制方案都包括两部分。一部分是编码器输出的编码比特流输入到一个缓冲器中。对于恒定比特率信道，该缓冲器中的数据以恒定的速率取出，如果缓冲器足够大，由MPEG的图像类型等引起的比特率变化可被平滑掉。这对于恒定比特率传输和一般的可变比特率传输都是需要的。但是，实际上缓冲器的大小总是有限的。缓冲过程会给系统带来时延，而这种时延是和缓冲器的大小成正比的。时延对于实时图像通信通常是个严重的问题，所以缓冲器应保持越小越好。这就是说，由于景物内容的变化或切换等引起的比特率长时波动，不能用这种方式平滑掉所以需要另一部分。这就是将输出比特率的某种度量反馈回编码器，用以控制编码过程，从而改变输出比特率 。
