Роман посвящён работе чекистов; его нередко характеризуют как посвящение «рыцарям революции». Главный герой — Иван Силин, чекист, воспитанный на традициях Ф. Э. Дзержинского: принципиальный, честный, убеждённый в своём деле. Через его судьбу показаны непростые испытания эпохи, борьба с врагами революции, верность долгу и идеалам. Название метафорично: «гранит не плавится» — о несгибаемости характера, стойкости людей своего времени.