Можно только догадываться, как в дальнейшем развивалась бы история антильского флибустьерства, если бы Испания смогла сохранить за собой контроль над Тортугой. Однако 13 сентября 1654 года король Филипп IV назначил новым губернатором Санто-Доминго дона Бернардино де Менесеса Бракамонте-и-Сапату, графа Пеньяльбу, которому вскоре было поручено отозвать с Тортуги испанский гарнизон, «разрушить все фортификации, большие и малые, не оставив камня на камне, вернуть в Санто-Доминго всю артиллерию… и запереть гавань Тортуги, затопив в двух ее проходах несколько старых кораблей и барок, нагруженных камнем». Этот, казалось бы, странный указ объяснялся тем, что испанской короне стало известно о готовящейся в Англии военной экспедиции, целью которой было завоевание всех испанских владений в Вест-Индии. Удерживать Тортугу стало менее насущной задачей, чем усиление обороноспособности Санто-Доминго.

Прежде чем приступить к эвакуации испанского гарнизона с Тортуги, граф Пеньяльба 11 июня 1655 года написал экс-губернатору Эспаньолы дону Хуану Франсиско Монтемайору письмо, в котором интересовался его мнением относительно целесообразности сохранения бывшего пиратского гнезда под испанским контролем. На следующий день Монтемайор отправил графу пространный ответ. Его мнение было однозначным: если французы или англичане снова займут Тортугу и восстановят ее статус крупной флибустьерской базы, испанской торговле в Вест-Индии будет нанесен невосполнимый ущерб. Кроме того, враг получит возможность использовать Тортугу в качестве плацдарма для завоевания Эспаньолы и других испанских колоний в бассейне Карибского моря.

Пеньяльба не разделял опасений Монтемайора. Он полагал, что в связи с английским завоеванием Ямайки (а это печальное для испанцев событие произошло в мае 1655 года) более насущной проблемой становится укрепление обороны Санто-Доминго. Поэтому 26 июня он подписал приказ об эвакуации испанского гарнизона с Тортуги. Бальтасар Кальдерон должен был немедленно погрузить на суда всю артиллерию форта Ла-Рош и вывезти ее в Санто-Доминго. Однако выполнить этот приказ было невозможно из-за отсутствия погрузочных средств и ввиду твердой уверенности Кальдерона в том, что уход испанцев из Бастера — форменное безумие. Разделяя точку зрения Монтемайора, он пытался доказать Пеньяльбе и чиновникам в Испании, что для обеспечения безопасности испанских владений в Вест-Индии Тортугу «было бы очень выгодно сохранить… ибо в то время, когда ее заселяли враги-французы, имели место многие грабежи и нанесение ущерба торговле Гаваны, Кампече, Ямайки, Веракруса, Кубы, Картахены, Портобело и Тьерра-Фирме».

4 августа губернатор Эспаньолы повторил свой приказ, присовокупив к нему поучение, как захоронить пушки, если нет возможности погрузить их на суда. После этого капитан Кальдерон и его солдаты не стали мешкать: не разрушив до основания форт, не вывезя с острова всю артиллерию и не затопив у входа на якорную стоянку старые корабли, они покинули Тортугу. Правда, перед самым уходом Кальдерон оставил на берегу два послания, датированные 25 августа 1655 года и написанные на испанском и ломаном английском языках. В них «капитан и сержант-майор дон Бальтасар Кальдерон-и-Эспиноса» сначала рассказал, как он разбил мальтийского рыцаря Тимолеона Отмана де Фонтенэ, снес крепость и разрушил все дома, а затем предупредил, что все, кто рискнет вновь прийти на Тортугу с целью поселения, будут преданы мечу без всякой пощады. 26 февраля 1656 года эти письма доставил на Ямайку шкипер небольшого английского судна, незадолго до этого посетивший Тортугу.

Преемник Пеньяльбы граф Феликс де Суньига 3 декабря 1656 года с нескрываемым сожалением писал королю, что в то самое время, когда солдаты его величества покидали гавань Тортуги, туда с другой стороны вошла барка французских пиратов. Не исключено, впрочем, что испанцы приняли за французов англичан (или же команда судна состояла из представителей нескольких национальностей).

Согласно данным дю Тертра, после ухода испанцев с Тортуги на остров пожаловал «некий английский джентльмен, имя которого было Элиас Уорд». В действительности его звали Элиас Уоттс. Он обосновался в Бастере со своей семьей и десятью или двенадцатью солдатами.

«Некоторые [французские] буканьеры рассказывали мне, — пишет дю Тертр, — что он оставил Ямайку с намерением найти какое-нибудь место, пригодное для основания колонии, начальником которой он хотел быть, и что, найдя остров Тортугу покинутыми спанцами, он здесь поселился, а затем получил жалованую грамоту от генерала Ямайки. Но месье д'Ожерон утверждал, что он обосновался на Тортуге с жалованой грамотой генерала Ямайки еще до ухода испанцев, и мне это кажется весьма вероятным… После ухода испанцев он побывал на Ямайке, чтобы привезти людей, и поскольку многие французы и англичане присоединились к нему, он сформировал колонию из примерно ста или ста двадцати человек, признанным начальником и губернатором коих он был, хотя и при весьма малом подчинении, как это было и при всех других, кто претендовал на какую-то власть на этом острове после ухода испанцев — до того момента, пока месье д'Ожерон не получил королевское пожалование как для Берега Сен-Доменг, так и для острова Тортуга».

Из английских документов явствует, что военный губернатор захваченной англичанами Ямайки сэр Уильям Брейн, узнав о «ничейности» Тортуги, распорядился отправить туда дюжину солдат под командованием Элиаса Уоттса. В начале 1657 года примерно 100 или 120 английских и французских авантюристов, обосновавшихся к тому времени в Бастере и Кайоне, согласились признать Уоттса своим губернатором при условии свободы делать то, что им вздумается. Помощником губернатора стал «бедный несчастный джентльмен» Джеймс Аранделл — бывший полковник армии роялистов, изгнанный из Англии и женившийся в Вест-Индии на дочери Уоттса. Таким образом, Тортуга снова перешла под номинальную власть англичан.