Obwohl eine grobe Inschrift an der Nordseite das Datum 1474 angibt, wurde der Turm wahrscheinlich zwischen 1440 u nd 1450 errichtet. Zu dieser Zeit wurde die Insel den Ländereien der Peraza zugeteilt, die den Turm mehr aus Angst vor nicht ganz “zahmen” Inselbewohnern als vor äusseren Gefähren bauen liessen.  Nach den Vorschriften einer in Europa schon verblassenden Gotik wird ein quadratischer Turm von 18 Metern Höhe errichtet, der an jeder Seite eine Echarte aufweist und dessen halbe Bögen drei Stockwerke tragen. Die fast anderthalb Meter dicken Mauern und die Holzböden vervollständigen die Struktur eines Platzes, der schon knappe fünfzig Jahre  nach seiner Errichtung durch den ständigen Gebrauch durch die Artillerie obsolet war.

Der Torre del Conde hat einen fast identischen Zwilling. Die Ähnlichkeit mit dem Torre del Merino in der kantabrischen Stadt Santillana del Mar macht sie praktisch zu Stilgefährten. Obwohl dieser Stil aufgrund der Veränderungen der Kriegsführung und des Einsatzes der Artillerie geradezu nach Erneuerung schrie, war der Turm auf der Insel Gomera ausreichend, um die Steine und Schwerthiebe der Eingeborenen bei ihren Aufständen gegen die Ungerechtigkeiten des Feudalherren der Insel abzuwehren.

Aber trotz der maroden Abwehr, hat der Verteidigungsturm der Peraza seit dem 16. Jahrhundert dem Zeitgeschehen widerstanden. Weder der Angriff des Hugenotten Jaques de Capdeville 1571 noch die Piratenplünderungen 1599 oder 1618 konnten den Turm zerstören, obwohl einige Male nicht viel gefehlt hätte. Letztlich wurde Felipe II darauf aufmerksam, dass es wichtig wäre, die Reederei San Sebastián in seiner Macht zu behalten und seine Besessenheit, den Handel mit Edelmetallen mit Amerika beizubehalten veranlasste ihn, seine Häfen zu befestigen. Aus diesem Grund kamen berühmte Ingenieure des Militärs nach La Gomera, um dessen Befestigung nachzurüsten. Über den geringen Nutzen des Gebäudes sind sich Fratín und Torriani einig. Fratín detailliert allerdings etwas mehr und spricht davon, dass der Turm “als Gefängnis benutzt werden kann”. “Unten im Turm an der Aussenseite befinden sich vier Artillerieteile, die der Verteidigung des Hafens dienen. Aber diese sind falsch angebracht, so dass sie mehr eine Gefahr für den Freund als für den Feind darstellen”, ist die Aussage des Ingenieurs von Felipe II und er schlägt vor, den Turm mit einer Festung mit Diamantecken einzuschliessen. Torriani ist vielleicht pragmatischer und kennt die Veränderungen der Kriegsführung. Er setzt auf die Konzentration der Anstrengungen auf eine kleine Landzunge im Nordosten der Bucht. Jahre später wird dort die kleine Festung Buen Paso errichtet, die die Einfahrt von La Gomera beschützt.

Durch ein neues Ereignis im Mai 1744 wird der Turm wieder zur Ruine. Der britische Geschwaderführer Charles Windham greift San Sebastián an und setzt die Stadt unter starken Beschuss. Obwohl der Kampf, der mit der Vertreibung der drei englischen Schiffe endet, keine Toten hinterlässt, kommt es zu zahlreichen materiellen Schäden. Aber der Turm steht weiterhin. Er übersteht die Jahre und die Anbauten und Amputationen aus Jahrhunderten, in denen er mal benutzt und mal verlassen ist. Trotz alledem bleibt seine unverwechselbare Silhouett, das Weiss seiner Mauern und das Rot der Ecken bestehen, dank der Notreparaturen, die im Verlauf der Jahrhunderte durchgeführt wurden.

Das ging so bis 1960, als der Inselrat von La Gomera den Turm kaufte und die Jahrhunderte der Nachlässigkeit zurücklässt, um mit ganzer Kraft die Restaurierung zu voranzutreiben. Jetzt ist der Turm für Besucher geöffnet, die sich für einen Moment wie echte Feudalherren fühlen können