毛利元就の木像がご神体として祀られていました。
豊栄神社は、慶応3年(1867)までは洞春山・長安寺という曹洞宗の寺でした。洞春とは元就の法号で、元就のことを洞春公とも呼んでいました。永禄4年(1561)に山吹城内に毛利元就が自分の木像を安置し、元亀2年(1571)には長安寺を建立し、木像を移したと伝えられています。
明治2年2月2日に朝廷は、元就に対して豊栄神社の神号を与えたので、長安寺と言う名は明治3年5月の浜田県誕生から豊栄神社と変わりました。
慶応2年(1866)、第2次長州戦争が起こり、毛利氏を藩主とする長州藩の隊士達が石見に侵入し長安寺に毛利元就の木像が神像として祀られていたので驚いたと言います。
幕末時に、大森に駐屯した長州の隊士名が、灯篭や鳥居に刻まれていて、大森に進撃した長州軍の面影をとどめ、激動の幕末の遺跡として興味深い神社です。