Se repetiría la historia una vez más ya que la siguiente temporada, la 1956/57, el club desciende de nuevo a la Tercera División al año siguiente de ascender tal y como ocurrió cuatro años atrás. Tras cuatro temporadas consecutivas en Primera División, el club desciende en la temporada 1979/80. En estas dos últimas temporadas del equipo en la élite, caben destacar jugadores como el centro campista Miguel Ángel Portugal o el defensa Antonio García Navajas, quienes también ficharon posteriormente por el Real Madrid.