板橋林本源家族，祖先林應寅，
在乾隆四十三年(西元1778年)
帶著孩子林平侯來到台灣，住在新莊。
不久開了一個私塾，以教書維生。

林應寅的長子林平侯，在附近一家米店工作。
雖然才十六歲，卻能吃苦耐勞，獲得老闆鄭谷的賞識，於是有意栽培他，就借他一筆錢，讓他獨立創業。終於，他開了屬於自己的米店後和人合夥賣鹽、經營船運、又跟大陸福建做米的批發生意，往來台灣大陸之間。擅於經營，事業有成，使林家成為台灣首富。

林平侯有五個兒子， 分別管理飲記、水記、本記、思記、源記五個店鋪。
就是要子孫不要忘本、繼承家業。
其中老三國華，老五國芳，表現傑出，成為家族模範。
後來將「本記」與「源記」合為一，
對外做生意就以「林本源」稱呼。

下一代維讓和維源兄弟建造五落大厝（現在已改建成大樓），
也完成整座花園。不久日本佔領台灣。林維源帶著族人回到大陸，
日本人還曾經在這座花園舉行過博覽會，慶祝統治台灣四十週年。
台灣光復後，成為民眾暫時居住的地方，由於古蹟慢慢開始被破壞，
民國65年，林家慷慨捐出花園，經過十幾年的整修，終於恢復原來的花園風貌。