El origen de la fortificación de San Felipe se remonta a finales del siglo XVI, en plena disputa de las potencias europeas por la hegemonía marítima. Ferrol, como puerto estratégico para el aprovisionamiento de los buques de la Armada Real, necesitaba un potente sistema defensivo. Así, en 1589 se inició la construcción de un pequeño fuerte con el nombre de San Felipe, en honor al nombre del rey Felipe II. También fueron edificados en la misma época otros dos castillos en la orilla sur de la ría, Nuestra Señora de la Palma y San Martín. Entre este último y San Felipe se tendía una cadena que impedía la entrada de los navíos enemigos.
El castillo fue modificado y ampliado durante el siglo XVIII. De entonces data la Casa del Gobernador, que era la vivienda, despacho y sala de recibimiento del oficial al mando del fuerte. Se trata de un edificio de traza simple y sin ornamentación en la fachada, originariamente de una sola altura, que cuenta con entradas desde la plaza de armas.
La Casa del Gobernador se encontraba en mal estado de conservación antes de la intervención promovida por la Dirección General de Bellas Artes y Bienes Culturales del Ministerio de Cultura. La cubierta, modificada a principios del siglo XX, estaba muy dañada y la tabiquería interior había desaparecido. La exposición al agua marina y la penetración de humedades, a causa de una deficiente evacuación, habían originado graves daños en las superficies afectadas. Además, la importante presencia de sales derivada de la proximidad al mar, junto a la colonización biológica (principalmente, líquenes), contribuía a la degradación de la piedra.
La intervención ha incluido el montaje de una nueva cubierta sobre una estructura de vigas en madera laminada, completada con canalones y baberos. La fachada ha sido objeto de limpieza, desalación y tratamiento biocida. Aparte de sellar las juntas, se han consolidado los sillares con silicato de etilo.