El Castillo de San Sebastián está situado frente al castillo de Santa Catalina, en uno de los extremos de la playa de la Caleta, sobre una pequeña isla, unido hoy a tierra por un largo malecón que parte de la Puerta de la Caleta (Baluarte de San Pablo).
Protegía el frente norte de la ciudad, y fue construido en el siglo XVIII.