Поразительная память Шерешевского доставляла ему и свои неприятности. Он не мог ее полностью контролировать: она работала непредсказуемо, как заклинание, произнесенное волшебником-недоучкой. И эта особенность постоянно напоминала ему о себе, вызывая неожиданные проблемы. Когда, например, он пытался запомнить набор слов, выписанных на доске, в его памяти всплывали другие наборы слов, написанные на этой же доске, но в другое время, и все они перепутывались. Шерешевский должен был постоянно прикладывать усилия, чтобы подавить определенные образы, освобождая место для других, тогда как у большинства людей этот процесс протекает естественно.

Кроме того, у него была плохая память на лица. Мы, как правило, помним знакомые лица как цельные обобщенные образы. Но с Шерешевским все было иначе. Когда он пытался вспомнить чье-либо лицо, его сознание переполнялось образами этого лица, запечатленными памятью в разные моменты жизни в мельчайших деталях, во всевозможных ракурсах, при различном освещении и во всем многообразии выражений.

Среди всей этой путаницы Шерешевскому очень редко удавалось узнать человека. «Лица так переменчивы, - жаловался он, - меня постоянно сбивают с толку бесконечные оттенки их выражений».