寺伝によれば、弘仁6年(815年)弘法大師が美濃巡教のとき、この地に立ち寄り薬師如来を拝し、霊水の霊験によって衆生の病苦を救いたいと祈願して、一寺を建立して延算寺と名付けました。当時は粗末な草葺きの建物で尊像を祀るところもなく、新しいたらいに安置したというので、別名、盥(たらい)薬師ともいわれています。
本尊の薬師如来は、延暦24年(805年)伝教大師が因幡国岩井郡岩井において、楠の木を持って三体の薬師如来を彫刻したうちの一体で、比叡山根本中堂、揖斐郡横蔵寺の像と同じ木であると伝えられています。
また古くから「かさ神様」として有名で、東院には平安時代、女流歌人小野小町が病をいやしたとされる湧き水があり、プラスチックタンクをいくつも抱えて訪れる参拝者もいるほどです。