Le premier groupe avec lequel Springsteen a joué se nomme the Rogues (littéralement, les coquins). Généralement, Springsteen parle des Castiles comme de son premier groupe. Cependant, lors des déclarations qu'il a dû faire à l'époque du conflit qui l'opposait à Mike Appel, il évoque une prestation au Elks Club à Freehold avec ce groupe, en précisant qu'il s'agissait de la première fois où il touchait une paye pour jouer de la musique.

The Rogues sont basés à Rumson-Fairhaven, à une vingtaine de kilomètres de Freehold, sur la côte. Le groupe se fait une petite réputation locale en jouant de la surf music. Sans rôle précis, Springsteen est considéré comme un gars qui vient s'exercer avec le groupe.