Świątynia budzi podziw swym architektonicznym kształtem i wystrojem wnętrza, pokazującym spójną myśl. W nastawie ołtarza głównego widnieje obraz przedstawiający scenę zesłania Ducha Świętego. Nad nimi witraż z gołębicą, symbolem Ducha Świętego, Trzeciej Osoby Boskiej. Obok obrazu w nastawie ołtarza umieszczono sześć obrazów po lewej i sześć po prawej. To dwunastu apostołów Pana Jezusa. W niszach ścian świątyni, w sąsiedztwie prezbiterium, znajdują się obrazy czterech ewangelistów: Mateusza, Marka, Łukasza i Jana. To pomysł proboszcza, ks. Krzysztofa Badeńskiego, który odbył specjalistyczne studia biblijne w Rzymie.

- Oprócz obrazów ewangelistów, w nawie głównej są cztery witraże. Z lewej strony to św. Wojciech, który stanął u początku naszego państwa, i św. Jan Paweł II, który dokonał tak wielkich rzeczy w naszej współczesności. Z prawej strony mamy witraże wielkich głosicieli Ewangelii: św. Pawła, apostoła narodów, i św. Cyryla i Metodego, ewangelizatorów Słowian. Tematykę tych witraży podpowiedział mi ks. Wojciech Zdon, historyk sztuki - mówi ks. Badeński.

Ćwierć wieku temu dobiegało końca drugie tysiąclecie chrześcijaństwa. Papież Jan Paweł II ogłosił program przygotowań do Wielkiego Jubileuszu. W jego ramach rok 1998 został ogłoszony Rokiem Ducha Świętego. I to ten fakt sprawił, że tytuł Zesłania Ducha Świętego otrzymała nowa parafia w Zwoleniu, by była pamiątką tamtych dni w historii świata i Kościoła, który przygotowywał się na rok 2000.

- 25 lat temu żywą w Zwoleniu była dyskusja nad powstaniem nowej parafii. Wywoływał ją fakt rosnącej liczebnie wspólnoty mieszkańców i to, że zabytkowy kościół pw. Podwyższenia Krzyża Świętego z trudem obejmował przychodzących wiernych. Dojrzewała myśl, by w mieście powstała nowa parafia. Erygował ją 1 marca 1998 roku bp Edward Materski - mówi ks. K. Badeński.

Twórcą struktur wspólnoty i budowniczym nowego kościoła w Zwoleniu został ks. Artur Kowalczyk, obecnie proboszcz parafii Chrystusa Odkupiciela w Końskich. Po nim dzieło upiększania świątyni od 2014 roku podjął ks. Badeński, drugi proboszcz.

- Bardzo się cieszę, że dzieło, które podjąłem z wiernymi, tworząc tutaj parafię, wydało tak wspaniałe owoce. Cieszy mnie, że kościół został tak bogato wyposażony, stając się jedną z najpiękniejszych świątyń w diecezji. Kościół parafialny zbudowano według projektu arch. Marka Skrzyńskiego z Warszawy, a architektem konstrukcji był Marek Nowak z Radomia  - mówi ks. Artur Kowalczyk.

Mszy św. z okazji srebrnego jubileuszu istnienia parafii przewodniczył bp Marek Solarczyk. - Niech ta dzisiejsza uroczystość, niech ta Eucharystia umocni w nas to, co jest Boże i sprawi, że będziemy z szacunkiem i wdzięcznością przeżywali te dary Bożego życia, Bożej obecności, ale i tej dobroci wypełniającej życie każdego z nas. Niech nas nigdy nic nie zatrzyma przed tym, abyśmy chcieli iść tą drogą, mając to głębokie przekonanie, że jesteśmy potrzebni, że Bóg nas do tego posyła i że nie zostawia nas samych. Jego błogosławieństwo jest zawsze potwierdzeniem, że On jest, że umacnia, że wspiera. Niech ono nas wypełnia i umacnia oraz wspiera i będzie naszym darem pomocą dla innych - mówił radomski ordynariusz

Homilia bp. Marka Solarczyka: