“灰皮书”对应的是二十世纪五、六十年代中苏两党之间的分歧和破裂，作为标志，则是1956年“苏共”的“二十大”。毛泽东在翌年的《在中国共产党全国宣传工作会议上的讲话》中说：“长时间以来，人们对于教条主义作过很多批判。这是应该的。但是，人们往往忽略了对于修正主义的批判。……否定马克思主义的基本原则，否定马克思主义的普遍真理，这就是修正主义。修正主义是一种资产阶级思想。修正主义者抹杀社会主义和资本主义的区别，抹杀无产阶级专政和资产阶级专政的区别。他们所主张的，在实际上并不是社会主义路线，而是资本主义路线。在现在的情况下，修正主义是比教条主义更有害的东西。我们现在思想战线上的一个重要任务，就是要开展对于修正主义的批判。”于是这才有了“灰皮书”。

“灰皮书”的编译、出版，是根据中央领导的指示，由当时主管宣传工作的康生具体负责。据说其名称和发行办法也是康生提出的。康生说，这些“坏书”用一种颜色纸做封面，人们一看就知道是坏书了。