Когда он был ребенком, то больше всего любил лежать под деревом, уподобившись упавшему желудю и мечтать, а больше всего не любил Рождество.
— Эй, Джим! Как прошло Рождество? — спрашивали его. — Санта Клаус не принес мне ничего кроме боли в сердце, — отвечал он.
Действительно, тяжесть жизни легла на его хрупкие плечи раньше, чем на многих его сверстников. Его отец Перси Кэрри в дневное время работал бухгалтером, а вечером играл в клубах на саксофоне и кларнете. Мать Кетлин была домохозяйкой и воспитывала четверых детей. Джим был младшим ребенком в семье. Его старших сестер звали Патрисия и Рита, а старшего брата — Джейк. Несмотря на то, что семейство было многочисленным и дружным, Джим всегда с самого раннего возраста чувствовал себя аутсайдером и маргиналом. Каждый вечер он бродил по улицам и искал случайных встреч оттого, что душа его бурлила от одиночества. Почему-то тоска всегда ведет по улицам, а отчаяние пришпиливает к месту. Жили они всегда очень бедно и Джим частенько сжимал кулаки и клялся отречься от Бога, потому что был голоден и не способен заработать себе на пропитание. Чтобы не умереть от голода, он был вынужден устроиться мойщиком туалетов на один из заводов в своем родном городе с минимально возможной оплатой — 4 доллара в час. Но этот мизерный оклад ничуть его не смущал частенько он говорил своим братьям и сестрам:
— Пойдем поразвлечься.
— У нас нет денег… — отвечали обычно они.
— Мы должныразвлечься даже если это будет стоить нам жизни, — отвечал он. И к тому же, зачем нам деньги, когда у нас есть пара рук и ног? Это намного важнее, чем деньги, если знать, как правильно ими пользоваться.