Baarn is het oudste nog bestaande HIJSM-station in Nederland. Het stationsgebouw van Alkmaar is weliswaar ouder (1864), maar dit station werd destijds niet in opdracht van de HIJSM, maar door de Staat gebouwd.
Het bijzondere stationsgebouw werd vermoedelijk ontworpen door A.L. van Gendt. Het gebouw heeft wel wat weg van een Waterstaatstation 4e klasse. Het gebouw heeft veel houtsnijwerk. Vooral de dakranden zijn bijzonder fraai afgewerkt. Maar ook de vijfhoekige vensters boven de deuren zijn apart.
Het stationsgebouw is asymmetrisch. De linkervleugel is beduidend langer. In deze vleugel bevind zich de Koninklijke Wachtkamer, destijds gebouwd voor prins Hendrik der Nederlanden. Boven de Koninklijke Wachtkamer is een overdekt terras. Dit terras was te bereiken via een trap die langs de voor- en zijgevel was geplaatst. Deze bijzonder fraaie trap staat er nog steeds, maar is inmiddels afgesloten.
Naast het station stond een zogenaamde biertent. Dit was een laag, rechthoekig gebouwtje dat in dezelfde stijl was gebouwd als het stationsgebouw. Dit markante gebouwtje verdween ergens in de jaren dertig, tijdens de aanleg van de reizigerstunnel.