بناي اوليه باغ فين به قبل از اسلام و با تمدن سيلك پيوند خورده است كه تمدن سيلك نيز پيوندي ناگسستني با چشمه جوشقاني دارد كه در بالاي باغ جاري است، و به چشمه سليمانيه معروف است و از ديرباز همچنان در آبادي منطقه فين موثر بوده است. از زمانهائي بس دور در پائين اين چشمه باغي وجود داشته است كه كمي پائينتر از باغ فعلي بوده و بر اثر زلزله اي كه در سال 982 ه.ق روي داد باغ به كلي ويران شد كه به دستور شاه عباس صفوي بعد از سال 1000 ه.ق باغي در مكان فعلي كه در حقيقت قسمتي از باغ قديمي بود ساخته شد.از سال 1135 قمري بعد از حمله افاغنه آباداني باغ به ركود گرائيد ولي با دستور كريم خان زند به خصوص با ساختن عمارت كه به نام «خلوت كريم خاني» در ضلع جنوبي باغ واقع است باغ فين روي به آباداني گذاشت ولي با زلزله معروف سال 1192 قمري باغ فين نيز آسيب كلي ديد،كه پس از آن يعني از سال 1200 قمري و با روي كار آمدن سلسله قاجار به خصوص با دستور فتحعلي شاه به مرمت و عمارت، باغ جاني دوباره گرفت كه ساختمان شتر گلوي فتحعلي شاهي در ضلع جنوب غربي باغ و حمام سلطنتي بزرگ كه در مجاورت حمام اوليه ساخته شد از آثار آن مي باشد. ولي با تبعيد صدر اعظم مقتدر ايران يعني اميركبير و سپس شهادت آن رادمرد در اين باغ، اين آباداني روي به ويراني نهاد. با آغاز مشروطيت به جهت وضع دفاعي بناي باغ، اين مكان پناهگاه اشرار و ياغيان گشت و در مدت 14 سال ياغيان مصالح و اشياء گرانبهاي آن را به يغما برده و به تخريب باغ پرداختند. پس از ختم غائله اشرار، به مرمت باغ پرداخته شد. از وقايع مهم تاريخ در اين باغ مي توان به جشن تاج گذاري رسمي شاه اسماعيل صفوي و نيز قتل ميرزا تقي خان امير كبير در اين باغ اشاره كرد.