Замысел этой повести возник у Толстого в конце декабря 1889 года — начале января 1890 года. В промежутке между мартом и маем 1890 годы была написана первая редакция повести. Работа над ней продолжалась до лета 1891 года. Только в 1898 году в связи с необходимостью собрать средства для оказания помощи преследуемым царским правительством духоборам, переселившимся в Канаду, Толстой вновь возвращается к работе над повестью. Считая ее незаконченной, писатель отказался от намерения ее опубликовать.
Однако мысль о завершении повести не покидала Толстого. В 1900 году он при встрече с Горьким изложил ему содержание «Отца Сергия». Повесть произвела на гостя сильное впечатление. «Я слушал рассказ, ошеломивший и красотой изложения, и простотой, и идеей», — писал потом Горький.