Über die Baugeschichte ist nur wenig bekannt. Der massive, fünfgeschossige Torturm mit einem Fachwerkaufsatz wurde nach 1508/09 erbaut. Das ergaben dendrochronologische Untersuchungen (die Auszählung von Jahresringen des verwendeten Bauholzes).

Von 1926 bis 1974 haben unzählige Jugendliche im Jörgentor übernachtet, nur nach dem Krieg wurde es kurzzeitig als Wohnraum für Heimatvertriebene genutzt. Weil die sanitären Anlagen nicht mehr der Zeit entsprachen und die Brandschutzvorschriften nicht eingehalten werden konnten, schloss 1975 die Stadt das Jörgentor. 1983 bot der damalige Bürgermeister Betzer das Tor dem Rhönklub an. Mitglieder renovierten danach den stark heruntergekommenen Innenbereich sehr aufwendig. Am 19. Mai 1984 wurden die Räume feierlich übergeben. Seither diente das Jörgentor als Versammlungsraum, es konnte aber auch wieder als Übernachtungsstätte und Ort für Veranstaltungen genutzt werden. Ende 2007 wurde der Turm wegen des fehlenden Fluchtweges im Brandfall komplett geschlossen. Nachdem einige Auflagen erfüllt wurden, konnten der Verein den Turm nach einem Jahr wieder nutzen, Übernachten war aber untersagt. Deshalb gab es kaum noch Nachfragen für Familienfeiern im Turm.