建立一个完全可靠的数据收集过程需要数据采集者和使用者不断地合作。有两种现场数据的收集方法：在线自动记录和人工报告。在线自动记录是由操作系统对错误进行自动地在线记录，而人工报告是由用户、问题分析员和软件开发人员三类数据收集者记录产生，由用户记录系统运行时所出现的问题，并把这些问题交由分析员进行诊断，最后由开发人员在确定分析结果后进行修复。在这两种数据收集方法中，数据应用人员根据需要提供定义和格式来收集软件错误和失效数据，这样数据就能够按照给定的定义和格式自动地由操作系统或人工收集得到。两种收集方法对于准确的可靠性分析工作来说都是必需的，并且在理想情况下，两种数据是可以进行交叉引用的。可靠数据收集过程是一个漫长的过程，数据收集的定义和格式会随着数据收集过程、软件及硬件环境的变化而进行调整。
多数大型计算机系统都在操作系统中提供记录错误的软件。该软件记录在各个子系统，如内存、磁盘和网络子系统出现的错误信息，系统事件信息如重新启动和突然断电等也包括在操作系统中。记录通常包括错误发生的位置、时间和类型，出错时系统的状态和错误修复情况（如再运转）。这些记录被定期地存储在一个永久性的系统文件中。
对于系统进程在运行时出现的问题，或由系统处理进程检测出的非优先应用中出现的问题和不正常硬件出现的情况，操作人员可以在必要时介入并收集额外的数据，如有关处理进程状态的信息块和处理器内存信息块。这些信息块由于量很大，因而通常不存在于事件记录中。这些信息在一个高级环境中可以被当做一部分在线自动记录，因为在这些高级环境中，许多通常由操作人员完成的任务都被编入操作系统的数据收集模块中了。
主要优点：能够记录大量瞬时错误和在线错误恢复处理进程等信息，它还提供了近乎100%的记录和准确的时间信息，而这对于人工报告来说是非常困难的。
缺点：在线记录也面临着一些问题，如在线错误记录提供的信息没有潜在错误信息和脱机诊断，所以很有必要在自动记录中补充进一些人工报告中的信息。
人工报告即现场问题报告。当某一个问题影响到用户应用程序或者系统的运行时，用户便把它写入错误报告文件以寻求问题的解决。问题有可能很简单，比如说对软件性能缺乏了解，或是表面性的小问题。也有可能比较严重，比如系统崩溃或是丢失数据之类。首先，报告应包含下列信息：错误出现时间、严重程度、系统识别和用户提供的问题描述。在系统崩溃和数据丢失的情况下，还应提供附加的信息（如处理器内存信息块）。当报告的问题由系统分析员和开发人员诊断和修复时，所有的诊断分析过程、潜在故障信息、失效的表现和修复过程全都应附在报告中。由于这些信息用固定格式很难描述，因此人工报告主要是用段落文字来描述，只有报告头与所有其他报告一样有固定的格式。另外还有一种报告叫操作员记录，是由系统操作员来完成的。操作员记录的内容包含系统崩溃、失效诊断和软硬件更新等信息。
软件错误报告详细地列出了潜在故障、症状和修复情况的信息。因此利用这种报告便可用来分析许多软件可靠性问题。然而利用人工报告进行评价分析时，仍存在两个缺点。首先，报告不详细的问题比较突出，据估计近80%的处理器的失效是由于没有进行记录。因此说理想情况应该是在线记录、人工报告和操作员记录都存在并同时进行参考。其次，因为人工报告是人为写出的文字报告，不易由自动化的工具进行分析处理，不能像原始数据被组织成结构化的数据，这样就不利于数据分类，并对每一分类的实例进行计数。这就意味着即便某失效已发生很长时间，但仍需要了解该失效的详细情况，而此时可能有关该失效的重要信息都已丢失，这样就可能导致人们把大量的评估精力都用在这种数据的重新组织上，而不是问题的分析上。为了有效解决这个问题，可以在收集数据以前产生目录。
