嵌入式系统硬件层的核心是嵌入式微处理器，嵌入式微处理器与通用CPU最大的​不同在于嵌入式微处理器大多工作在为特定用户群所专用设计的系统中，它将通用CPU许多由板卡完成的任务集成在芯片内部，从而有利于嵌入式系统在设计时趋于小型化，同时还具有很高的效率和可靠性。

嵌入式微处理器的体系结构可以采用冯·诺依曼体系或哈佛体系结构;指令系统可以选用精简指令系统(Reduced Instruction Set Computer，RISC)和复杂指令系统CISC(Complex Instruction Set Computer，CISC)。RISC计算机在通道中只包含最有用的指令，确保数据通道快速执行每一条指令，从而提高了执行效率并使CPU硬件结构设计变得更为简单。

嵌入式微处理器有各种不同的体系，即使在同一体系中也可能具有不同的时钟频率和数据总线宽度，或集成了不同的外设和接口。据不完全统计，全世界嵌入式微处理器已经超过1000多种，体系结构有30多个系列，其中主流的体系有ARM、MIPS、PowerPC、X86和SH等。但与全球PC市场不同的是，没有一种嵌入式微处理器可以主导市场，仅以32位的产品而言，就有100种以上的嵌入式微处理器。嵌入式微处理器的选择是根据具体的应用而决定的。