尽管在智能监控领域已经取得了一定的进展，但是在以下几个方面仍是今后研究的难点问题。
快速准确的运动分割是个相当重要又是比较困难的一个问题。这是由于动态环境中捕捉的图像受到多方面的影像，比如天气的变化，光照条件的变化，背景的混乱干扰，运动目标的影子，物体之间或者物体与环境之间的遮挡，以及摄像机的运动等。这些都给准确有效的运动分割带来了困难，以运动目标的影子为例，他可能与被检测目标的相连，也可能与目标分离，在前者情况下，影子扭曲了目标的形状，从而使得以后基于形状和基于状态空间模型的方法定义每个静态姿势作为一个状态，这些状态之间通过的识别方法不再可靠;在后者情况下，影子有可能被误认为为场景中一个完全错误的目标。尽管目前图像运动分割主要利用背景减除方法，但如何建立对于任何具有自适应性的复杂环境中动态变化的背景模型仍是相当困难的问题。一个可喜的发展是，一些研究者们正利用时空统计的方法构建自适应的背景模型，这对于不受限环境中的运动分割而言是个更好的选择。
目前，大部分智能监控系统都不能很好地解决目标之间互遮挡和人体自遮挡问题，尤其是在拥挤状态下，多人的检测和跟踪问题更是难处理。遮挡时，人体只有部分是可见的，而且这个过程一般是随机的，简单依赖于背景减除进行运动分割的技术此时将不再可靠，为了减少遮挡或深度所带来的歧义性问题，必须开发更好的模型来处理遮挡时特征与身体各部分之间的准确对应问题。另外，一般系统也不能完成何时停止和重新开始身体部分的跟踪，即遮挡前后的跟踪初始化缺少自举方法。当然，可喜的进步是利用统计方法从可获得的图像信息中进行人体姿势、位置等的预测;不过，对于解决遮挡问题最有实际意义的潜在方法应该是基于多摄像机的跟踪系统。
二维方法在早期智能监控系统中证明是很成功的，尤其对于那些不需要精确的姿势恢复或低图像分辨率的应用场合(如交通监控中的行人跟踪)。二维跟踪有着简单快速的优点，主要的缺点是受摄像机角度的限制。而三维方法在不受限的复杂的人的运动判断(如人的徘徊、握手与跳舞等)、更加准确的物理空间的表达、遮挡的准确预测和处理等方面的优点是用于行为识别;同时，三维恢复对于虚拟现实中的应用也是必需的。目前基于视觉的三维跟踪研究仍相当有限，三维姿势恢复的实例亦很少，且大部分系统由于要求鲁棒性而引入了简化的约束条件。三维跟踪也导致了从图像中人体模型的获取、遮挡处理、人体参数化建模、摄像机的标定等一系列难题。以建模为例，人体模型通常使用许多形状参数所表达。然而，目前的模型很少利用了关节的角度约束和人体部分的动态特性;而且过去的一些工作几乎都假设3 D模型依据先验条件而提前被指定，实际上这些形状参数应当从图像中估计出来。总之，3 D建模与跟踪在未来工作中应值得更多的关注。
使用单一摄像机的三维人的跟踪研究还很缺乏，身体姿势和运动在单一视角下由于遮挡或深度影响而容易产生歧义现象，因此使用多摄像机进行三维姿势跟踪和恢复的优点是很明显的。同时，多摄像机的使用不仅可以扩大监视的有效范围，而且可以提供多个不同的方向视角以用于解决遮挡问题。很明显，未来的智能监控系统将极大受益于多摄像机的使用。对于多摄像机跟踪系统而言，我们需要确定在每个时刻使用哪一个摄像机或哪一幅图像。也就是说，多摄像机之间的选择和信息融合是一个比较重要的问题。
一般而言，鲁棒性、准确度、速度是智能监控系统的三个基本要求。例如，系统的鲁棒性对于监控应用特别重要，这是因为它们通常被要求是自动、连续地工作，因此这些系统对于如噪声、光照、天气等因素的影响不能太敏感;系统的准确度对于控制应用特别重要，例如基于行为或姿势识别的接口控制场合;而系统的处理速度对于那些需要实时高速的监控系统而言更是非常关键。因此，如何选择有效的工作方案来提高系统性能、降低计算代价是个特别值得考虑的问题。同时，如何利用来自不同用户、不同环境、不同实验条件的大量数据测试系统的实时性、鲁棒性亦相当重要。
