Ce musée est avant tout une grande aventure humaine, tout comme l'histoire du transport ferroviaire.
En 1964, un industriel mulhousien travaillant dans le textile et passionné de chemin de fer,
Jean-Mathis Horrenberger, émet l'idée d'ouvrir un musée du chemin de fer à Mulhouse. Il contacte la municipalité, la Société Industrielle de Mulhouse, la SNCF et le Ministère des transports qui rejoignent le projet.
Il fonde alors, en 1969, une association nommée "AMFCF : Association du Musée Français du Chemin de fer" dont les missions sont de "présenter et de développer un musée français du chemin de fer à Mulhouse, d'en assurer la gestion et de poursuivre toute activité légale s'y rattachant".
 
En 1965, Michel Doerr, spécialiste et passionné du transport ferroviaire et membre de l'Association Française des Amis du Chemin de Fer (AFAC), rédige un catalogue édité par cette association intitulé "Chemin de fer d'hier pour un musée ferroviaire français".
Il y a décrit les différents matériels du patrimoine ferroviaire que la SNCF a regroupé dans l'ancien dépôt vapeur de Chalon sur Saône.