Родился Сергей Николаевич Дурылин 14/27 сентября 1886 года в Москве в Плетешковском переулке в Елохове. Крещён в елоховском Богоявленском соборе, где, возможно, крестили и Пушкина. Отец — купец 1-й гильдии Николай Зиновиевич Дурылин (1831/2–1898) торговал шелками, парчой в Богоявленском переулке и у Ильинских ворот. Он славился тонким вкусом, который ценили модницы Москвы. Московское купеческое сословие уважало его за честность и порядочность и часто призывало разбирать особо запутанные и спорные дела. Мать — Анастасия Васильевна, урождённая Кутанова (1852–1914), была тридцатилетней бездетной вдовой, когда вышла замуж за пятидесятилетнего вдовца Дурылина с одиннадцатью детьми (старшая дочь была замужем, младшему ребёнку четыре года). Во втором браке родились пятеро детей, но выжили только двое Сергей (1886–1954) и Георгий (1888–1949). Рано умершего первенца, кроткого, звездоокого мальчика, назвали в честь отца Николаем, а второго сына Анастасия Васильевна назвала в честь горячо любимого первого мужа Сергея Сергеевича Калашникова.

Раннее счастливое детство прошло в Елохове в Плетешках в далёкой от шумных улиц городской усадьбе с яблоневым садом и зарослями сирени, где по весне пел соловей. На территории усадьбы водилось много мелкого зверья: кроты, белка, хорёк, собаки и весёлый щенок, участник игр братьев. Переулок освещался керосиновыми фонарями на деревянных столбах. Калитку, на которой была прибита табличка с надписью: «Дом Московского первой гильдии купца Н. З. Дурылина», открывать выходил дворник в белом фартуке. В просторном дворе размещались службы: дворницкая, кладовая и погреб-ледник, дровяной сарай, курятник, конюшня, в которой лошадей не было, а жила корова Бурёнка; каретный сарай, в котором хранились не кареты, а детские санки и прочие нужные вещи. Был и колодец для хозяйственных нужд. Мытищинскую воду для питья ежедневно привозил водовоз. Дом был большой, двухэтажный, белокаменный, с парадным и чёрным крыльцами, старинной постройки «на века», рассчитанный на большую семью. В двенадцати комнатах размешались домочадцы, но были помещения и для горничных, кухарок, няни и для приказчиков. В 1942 году Сергей Николаевич, вспоминая «родной дом», подробно опишет всё его обустройство, с мельчайшими деталями, удивительно сохранёнными его памятью. Он жалел, что адреса на почтовых конвертах теперь стали скучные — раньше писали: «В Москву, у Богоявления, что в Елохове, в Плетешках (или в Плетешковском переулке), в собственном доме».

Родители — глубоко верующие — детей не принуждали, но сама атмосфера в доме способствовала воспитанию их в православных традициях. Отец, неулыбчивый, но добрый и отзывчивый, многим помогавший тихо и тайно, никогда не забывал помолиться перед старой семейной иконой Спаса, которую потом всю жизнь, несмотря на скитания, старался сохранить Сергей Николаевич. Перед этой иконой молился в их доме Иоанн Кронштадтский, приезжавший в 1892/93 году к тяжелобольной Анастасии Васильевне. «И мама стала здорова», а «тихий, верующий мальчик» Серёжа навсегда запомнил «радостнейшую молитву» отца Иоанна. Это было время, когда мальчик Серёжа «молил Бога, чтобы был Диоклетиан и можно б было пострадать за Христа». Сохранил Сергей Николаевич и икону Семь спящих отроков (Семь отроков Эфесских), которая висела в детской над кроватками его и брата Георгия. Перед этой иконой няня учила их молиться, отходя ко сну, ею самой сочинённою перед этим образом молитвой. Её нет в молитвословах, но Сергей Николаевич помнил эту детскую молитву до конца дней своих. Икона находится сейчас в Доме-музее С. Н. Дурылина. Она потемнела, и почти не видны на ней отроки, но трогать её реставрацией нельзя — она чудотворная. Сергей Николаевич посвятил ей стихотворение — переложение легенды «строго по христианским канонам»:

С нежностью вспоминал Дурылин свою мать. «Множество впечатлений, раскрывающих глаза ребёнку на красоту в природе и в искусстве, я получил от матери, и только от неё. <…> Её речь была жива, остроумна, пересыпана не только пословицами, поговорками, яркими народными речениями, которые не всегда отыскиваются и у Даля, но и её собственными выхватками из живого потока текущей речи и жизни. У неё была наблюдательность художника и способность к живому рассказу, яркому, выпуклому, цветному..» Сергей Николаевич полагал, что её многогранный «ум сердца» позволял ей легко сходиться с людьми разного социального положения и образования, он же помогал ей сохранять глубину веры, не засоряя её бытовыми нагромождениями и заносами. Она привила ему с детства любовь к театру. На всю жизнь запомнил он её яркие живые рассказы о виденных спектаклях. Дурылин утверждал, что услышав первый раз голос Марии Николаевны Ермоловой на сцене Малого театра, он тотчас узнал интонации, которые донесла до него, ребёнка, мама, пересказывая ему игру юной Ермоловой в роли Марины Мнишек. Вспоминал он, как мама читала им с братом книжки при свечах. Керосиновые лампы в доме не признавали. Говорят, что если сын родился «лицом в мать», то он будет счастливым. Сергей Николаевич был похож на мать, и не только лицом: «Я сам больше отпрыск по материнской линии, хотя горячо любил и был любим своим отцом».