嵌入式系统硬件层的核心是嵌入式微处理器，嵌入式微处理器与通用CPU最大的 ​不同在于嵌入式微处理器大多工作在为特定用户群所专用设计的系统中，它将通用CPU许多由板卡完成的任务集成在芯片内部，从而有利于嵌入式系统在设计时趋于小型化，同时还具有很高的效率和可靠性。

嵌入式微处理器的体系结构可以采用冯·诺依曼体系或哈佛体系结构;指令系统可以选用精简指令系统(Reduced Instruction Set Computer，RISC)和复杂指令系统CISC(Complex Instruction Set Computer，CISC)。RISC计算机在通道中只包含最有用的指令，确保数据通道快速执行每一条指令，从而提高了执行效率并使CPU硬件结构设计变得更为简单。

嵌入式微处理器有各种不同的体系，即使在同一体系中也可能具有不同的时钟频率和数据总线宽度，或集成了不同的外设和接口。据不完全统计，全世界嵌入式微处理器已经超过1000多种，体系结构有30多个系列，其中主流的体系有ARM、MIPS、PowerPC、X86和SH等。但与全球PC市场不同的是，没有一种嵌入式微处理器可以主导市场，仅以32位的产品而言，就有100种以上的嵌入式微处理器。嵌入式微处理器的选择是根据具体的应用而决定的。

嵌入式微处理器是由通用计算机中的CPU演变而来的。它的特征是具有32位以上的处理器，具有较高的性能，当然其价格也相应较高。但与计算机处理器不同的是，在实际嵌入式应用中，只保留和嵌入式应用紧密相关的功能硬件，去除其他的冗余功能部分，这样就以最低的功耗和资源实现嵌入式应用的特殊要求。和工业控制计算机相比，嵌入式微处理器具有体积小、重量轻、成本低、可靠性高的优点。主要的嵌入式处理器类型有Am186/88、386EX、SC-400、Power PC、68000、MIPS、ARM/ StrongARM系列等