分组交换机的体系结构由交换单元、接口单元和控制单元组成。
分组交换机的交换单元所完成的功能也就是交换单元的基本功能，即将信息从某个输入端口送到某个输出端口，但是分组交换的特性决定了分组交换机的交换单元的处理过程与电路交换机的交换单元相比存在着明显的差异。首先，由于分组交换数据的突发性，在交换单元的输入端口和输出端口可能存在着消息队列，所以交换单元需要对信息进行缓冲存储；其次，分组交换采用的是统计时分复用的方式，由于统计时分复用是通过标识来区分所属用户的，所以分组交换机的交换单元需要对分组头中的相应标识进行分析，并以此作为选路的依据，这与电路交换机根据时隙来决定选路是不同的。
一般来说对处理速度要求不高时，可以使用计算机来完成交换单元的功能。只有在交换单元容量太大的情况下，才会考虑使用专门的硬件交换单元。
接口单元包括用户侧线路的接口单元和中继侧线路的接口单元。其完成的主要功能包括：用户侧接入的监视和控制、分组的组合与分解、差错控制、传输控制等。
控制单元用于完成整个系统的控制工作，其功能包括：呼叫处理、流量控制、路由选择、系统配置与管理等。控制单元的功能一般由软件来完成。
