Наряду с неослабной слежкой за «правыми» ОГПУ прилагало столь же упорные усилия к обнаружению «троцкистского подполья».
В январе 1933 года Сталину был направлен доклад секретно-политического отдела ОГПУ о результатах слежки за «троцкистами», заявившими о своем разрыве с оппозицией. В нем сообщалось, что в 1930—31 годах многие из оппозиционеров, присоединившихся к заявлению И. Н. Смирнова о прекращении фракционной деятельности, не согласились с тактикой выжидания и после возвращения из ссылок и изоляторов возобновили нелегальную деятельность среди рабочих. Хотя несколько групп, включавших сторонников Смирнова, были вскоре ликвидированы, сохранилась глубоко законспирированная организация во главе с самим Смирновым, включавшая свыше 200 бывших активных троцкистов. Эта организация имела свои филиалы в Ленинграде, Харькове, Горьком, Киеве, Ростове-на-Дону и других городах, а также группы в Госплане, Наркомтяжпроме и других учреждениях.
Аресты членов этой организации начались в 1932 году. Всего было арестовано 89 человек, включая таких известных оппозиционеров как И. Н. Смирнов, Тер-Ваганян и Преображенский. Почти все арестованные были исключены из партии в 1926—32 годах за «троцкистскую фракционную деятельность», 35 из них в 1929—32 годах были восстановлены в партии. Среди арестованных были хозяйственные руководители, инженерно-технические работники, экономисты, рабочие, преподаватели вузов, журналисты и т. д.
В качестве вещественных доказательств к делу быта приобщены обнаруженные при обысках машинописные копии «Завещания», троцкистские листовки и переписка некоторых арестованных с Троцким и ссыльными троцкистами.
Почти все арестованные держались на следствии мужественно, отказываясь признать свои взгляды контрреволюционными и отрицая существование конспиративной организации. Некоторые подследственные вообще отказались давать какие-либо показания. 25 человек решительно отвергли все предъявленные им обвинения.
Тактика других подследственных заключалась в том, чтобы доказать абсурдность привлечения их к уголовной ответственности за стремление к восстановлению ленинских норм партийной жизни. Так, на первом допросе Преображенский заявил: «Я слишком поздно понял, ‹…› что партия не может позволить своим членам такой роскоши, как особые мнения, особые точки зрения в оценке положения… Моя ошибка лежала, очевидно, в том, что я всё время механически переносился к тому, „как было при Ленине“» .
Будучи вторично арестован в 1936 году, Преображенский на допросе в НКВД так характеризовал свои политические настроения 1932 года:
«1. Темпы коллективизации взяты не по силам. Деревня отошла от середняцкого хозяйства и не освоила коллективное, а в результате резкое падение производительных сил сельского хозяйства; огромные продовольственные затруднения, особенно на Украине, и ряд совершенно ненужных жестокостей в борьбе с кулачеством.
2. Темпы индустриализации взяты непосильные. В результате невыполнение плана капиталовложений, срыв сроков ряда строек, сокращение личного потребления рабочих, перенапряжение в труде и как результат — общее ухудшение материального положения пролетариата.
3. Неверная политика в Коминтерне, приводящая к изоляции компартии в борьбе с фашизмом, особенно в Германии.
4. Невыносимый партийный режим, при котором невозможно обсуждение ни одного больного вопроса, волнующего страну. Партийной дисциплине противопоставлялась троцкистская внутрипартийная демократия.
5. На идеологическом фронте — полнейший застой. Это результат политики ЦК, которая доводит дисциплину мысли до централизации мысли и, культивируя бездарности, задерживает всякое умственное развитие молодежи.
Из всего этого, естественно, делался вывод о необходимости борьбы с политикой ЦК и руководством партии» .
Таким образом, Преображенский в 1932 году полностью отказался от своих иллюзий конца 20-х годов относительно «левого» характера сталинской политики и, по сути, перешёл на позиции, которых в это время занимали Троцкий и другие авторы «Бюллетеня оппозиции». Следует подчеркнуть также, что даже в чудовищных условиях следствия 1937 года, Преображенский излагал свое политическое кредо с достоинством, не прибегая к чернящим квалификациям своих взглядов, которых требовали следователи.
Этот прием — придание каждому оппозиционному высказыванию и действию криминального характера путём добавления эпитетов типа «контрреволюционный» — широко применялся уже в ходе следствия 1933 года. Так, одно из показаний по делу «контрреволюционной троцкистской группы» было оформлено следующим образом: подследственный признал себя виновным «в получении контрреволюционной литературы, контрреволюционной троцкистской информации и в сохранении связей с группой троцкистов-двурушников, возглавлявшейся И. Н. Смирновым», а также заявил о распространении «троцкистами» «контрреволюционных инсинуаций и слухов» против Сталина .
Арестованные по данному делу были объявлены виновными в участии в «нелегальной контрреволюционной группе», которая якобы «ставила себе целью воссоздание подпольной троцкистской организации на основе новой тактики двурушничества с целью проникновения в ВКП(б) и государственный и хозяйственный аппарат» . Кроме того, им инкриминировалось установление связи с остававшимися в ссылке оппозиционерами (в частности, с Раковским) и распространение присылаемых последними нелегальных документов.
Партколлегия ЦКК, заслушав 20 февраля 1933 года доклад начальника секретно-политического отдела ОГПУ Молчанова о следствии по данному делу, заочно исключила 30 человек из партии. В январе — октябре того же года постановлениями особого совещания при коллегии ОГПУ 88 из 89 арестованных были репрессированы. 41 человека осудили на лишение свободы сроком от 3 до 5 лет, а 45 были направлены в ссылку сроком на 3 года.
После этих репрессий продолжалась провокационная игра сталинцев с некоторыми наиболее видными осуждёнными по этому делу. Преображенский в августе 1933 года был освобождён из ссылки в Семипалатинске, а в октябре восстановлен в партии. В январе 1934 года ему было разрешено выступить с покаянной речью на XVII съезде партии. В октябре 1934 года был восстановлен в партии Тер-Ваганян. Вскоре он был вызван на заседание коллегии ЦКК, на котором Шкирятов вновь требовал назвать встречавшихся с И. Н. Смирновым лиц, которые «находятся ещё скрытыми или вступившими в партию». В мае 1935 года Тер-Ваганян был исключён из партии в третий раз и направлен по решению Особого совещания в ссылку на 5 лет.
Большинство осуждённых по делу группы И. Н. Смирнова в 1936—38 годах были расстреляны, остальные неоднократно подвергались дальнейшим репрессиям. В 1956—88 годах были отменены постановления Особого совещания по данному делу в отношении 24 человек. Остальные были реабилитированы и посмертно восстановлены в партии в 1989—90 годах.