Na vŕšku nad dedinou sa týči kostol. Prvá písomná zmienka o ňom pochádza z roku 1332, kedy sa tu pravdepodobne nachádzala aj fara a pri nej škola. Prvým známym farárom tu bol v roku 1561 Michal Kosztolányi. V roku 1621 tu pôsobil evanjelický farár Michal Fábri. Napriek tomu, že v roku 1636 bola fara rekatolizovaná, ešte aj o dve desaťročia sa tu evidujú luteráni.
Farnosť podporoval rod Rákoczi, ktorý v 17. storočí vlastnil kaštieľ v Topoľčiankach. Alžbeta Rákocziová darovala kostolu v r. 1663 oltár. V roku 1710 začal farár Juraj Juriš písať matriku. V tomto období farár spravoval okrem kostola v Jedľových Kostoľanoch aj kostoly v Hostiach, Malej aj Veľkej Lehote a na Skýcove. Pre tieto obce bola spoločná matrika.
Kostol bol v roku 1734 opravovaný, v r. 1755 mal dva oltáre – starý, aj nový, darovaný Alžbetou Rákocziovou. Podrobnejšie informácie o kostole sú zachované od roku 1771, kedy začal písať farár Andreanský písať novú knihu. Nad kostolom sa v roku 1779 týčila drevená veža, pred sanktuáriom chýbalo zábradlie a nejestvoval ani chórus. Organista mal len drevenú plošinu. V kostole boli oba oltáre a zvonilo sa novým 35 kg zvonom. Na filiálky chodil farár striedavo v nedeľu, až do čias, kým sa neosamostatnili. K fare patrilo množstvo pozemkov a farárovi prináležali povinné dôchodky.
Kostol v jeho terajšej podobe – klasicistickom štýle – dal v roku 1796 postaviť kardinál Žigmund Keglevich. Kostol je zasvätený Všetkým svätým a jeho patrónom sa stal rod Keglevich de Buzin. Benedikoval ho 1. novembra 1796 dekan Jan Rayczy. Chýbala mu spovedelnica a zábradlie sanktuária. V roku 1823 dal farár Andrej Laczko postaviť sochu sv. Jána Nepomuckého na briežku, vedúcemu ku kostolu, ktorá je tam dodnes.
V roku 1913 boli zakúpené tri nové zvony, ktoré však boli počas prvej svetovej vojny z kostola odňaté a použité na vojenské účely. Po skončení vojny boli z obecnej zbierky zakúpené nové zvony, ktoré boli v r. 1926 slávnostne vysvätené.
Počas obdobia slovenského štátu sa opravila strecha kostola a fara. V r. 1948 sa do kostola zaviedla elektrina, v r. 1949 bol vyhotovený oltár Sedembolestnej Panny Márie.
Od roku 1957 do r. 1960 bola opravená strecha veže kostola a vymenené drevené okná za kovové so zobrazenými postavami svätcov.
V roku 1965 začala stavba chórusu a bol zakúpený nový dvojmanuálový organ.
V roku 1970 boli zlikvidované bočné oltáre, kazateľnica a postavil sa hlavný oltár a oltár tvárou k ľudu, bola zavedená nová elektrifikácia a po stenách kostola sa vyhotovil mramorový obklad. Na streche sa vymenila stará krytina za škridľu.
Vstupom do kostola sa dostávame do žobráčne, ktorá je od hlavnej časti oddelená presklenou stenou. Tu sa nachádza socha sv. Antona a Sedembolestnej Panny Márie. V hlavnej lodi sú po stranách lavice, pred ktorými sú dva menšie bočné oltáre, po obvodových stenách sú umiestnené obrazy krížovej cesty z roku 1975. Vpredu sa nachádza neskorobarokový oltárny obraz Všetkých svätých z 18. storočia.
Kostol v jeho terajšej podobe – klasicistickom štýle – dal v roku 1796 postaviť kardinál Žigmund Keglevich. Kostol je zasvätený Všetkým svätým a jeho patrónom sa stal rod Keglevich de Buzin. Benedikoval ho 1. novembra 1796 dekan Jan Rayczy. Chýbala mu spovedelnica a zábradlie sanktuária. V roku 1823 dal farár Andrej Laczko postaviť sochu sv. Jána Nepomuckého na briežku, vedúcemu ku kostolu, ktorá je tam dodnes.
V roku 1913 boli zakúpené tri nové zvony, ktoré však boli počas prvej svetovej vojny z kostola odňaté a použité na vojenské účely. Po skončení vojny boli z obecnej zbierky zakúpené nové zvony, ktoré boli v r. 1926 slávnostne vysvätené.
Počas obdobia slovenského štátu sa opravila strecha kostola a fara. V r. 1948 sa do kostola zaviedla elektrina, v r. 1949 bol vyhotovený oltár Sedembolestnej Panny Márie.
Od roku 1957 do r. 1960 bola opravená strecha veže kostola a vymenené drevené okná za kovové so zobrazenými postavami svätcov.
V roku 1965 začala stavba chórusu a bol zakúpený nový dvojmanuálový organ.
V roku 1970 boli zlikvidované bočné oltáre, kazateľnica a postavil sa hlavný oltár a oltár tvárou k ľudu, bola zavedená nová elektrifikácia a po stenách kostola sa vyhotovil mramorový obklad. Na streche sa vymenila stará krytina za škridľu.
Vstupom do kostola sa dostávame do žobráčne, ktorá je od hlavnej časti oddelená presklenou stenou. Tu sa nachádza socha sv. Antona a Sedembolestnej Panny Márie. V hlavnej lodi sú po stranách lavice, pred ktorými sú dva menšie bočné oltáre, po obvodových stenách sú umiestnené obrazy krížovej cesty z roku 1975. Vpredu sa nachádza neskorobarokový oltárny obraz Všetkých svätých z 18. storočia.