Bis weit in die 1850er Jahre dauerte esDer Rechtsstreit dauerte viele Jahre. Es war bereits das Jahr 1853, als man endlich damit begann, die Insel zu bebauen. Es entstand eine regelrechte Festung, wohl die, welche man heute noch kennt. Jetzt hatten es alle eilig, der lange Prozess hatte schon viel zu lange Zeit benötigt und noch immer war nichts entstanden. Es gab aber noch einen weiteren Grund für die Eile. Denn im Jahr 1848 hatte der Goldrausch begonnen und Menschen aus allen Teilen der vereinigten Staaten strömten damals nach San Francisco. Lebten dort vorher ca. 3.000 Menschen, verzehnfache sich diese Zahl innerhalb weniger Jahre. Man befürchtete, dass die Insel in Gefahr wäre, also machten die Bauherren Druck. Es war bereits zu viel Zeit verloren gegangen. Jetzt musste es losgehen.