3 czerwca 1957 r. Pius XII mianował go biskupem pomocniczym sandomierskim. Sakrę biskupią przyjął 28 lipca tegoż roku w Sandomierzu z rąk biskupa Jana Kantego Lorka, po którego śmierci w 1967 r. wybrano go wikariuszem kapitulnym, a 20 lutego 1968 r. Paweł VI mianował go administratorem apostolskim diecezji sandomierskiej. Zmarł 2 listopada 1980 r., sprawując Eucharystię w Nałęczowie. Został pochowany w podziemiach bazyliki katedralnej w Sandomierzu.

Jako zemsta za nieprzejednaną postawę w obronie jedności Kościoła bp Gołębiowski nie otrzymał od władz komunistycznych paszportu i był jedynym polskim biskupem, który nie wziął udziału w żadnej sesji Soboru Watykańskiego II. - Głównym celem polityki wyznaniowej władz komunistycznych w Polsce wobec Kościoła katolickiego było rozbijanie jedności, które miało ułatwić niszczenie Kościoła. Działania dezintegracyjne były podejmowane na różnych płaszczyznach: próbowano rozbijać jedność episkopatu, duchowieństwa, ale także parafii. W 1962 r. polem doświadczalnym, określonym przez Władysława Gomułkę jako "eksperyment", stała się parafia w Wierzbicy, gdzie władzom udało się doprowadzić do podziału wśród parafian. Jedną z przyczyn tego podziału było żądanie nominacji proboszczowskiej dla zbuntowanego duchownego.

  Organizatorem corocznej modlitwy jest proboszcz parafii w Jedlińsku ks. prał. Henryk Ćwiek (z lewej). Pierwszy z prawej ks. Albert Warso
Ks. Zbigniew Niemirski /GN Doszło nawet do porwania z Sandomierza bpa Piotra Gołębiowskiego przez część parafian, którzy chcieli w ten sposób wymusić na nim tę decyzję. Dzięki nieugiętej postawie w Wielki Piątek 1968 r. udało mu się odzyskać kościół i przywrócić pojednanie. Sprawa ta miała tak doniosłe znaczenie dla Kościoła w Polsce, że po latach, podczas koronacji obrazu Matki Bożej w Błotnicy w 1977 r., kard. Karol Wojtyła mówił do bp. Gołębiowskiego: "Pozwól, jeszcze raz tutaj w imieniu wszystkich, a zwłaszcza wszystkich przybyłych tu z całej Polski biskupów, złożę Ci i z Tobą razem Bogu ogólne podziękowanie za to, co w ostatnich dziesięcioleciach dokonało się właśnie w Twojej diecezji. Dziękuję, że tutaj, na ziemi radomskiej, przed kilkunastu laty została zażegnana bardzo niebezpieczna dążność do rozbijania jedności Kościoła katolickiego w naszej Ojczyźnie" - mówi o bp. Gołębiowskim i jego posłudze historyk ks. Albert Warso.

Jako administrator apostolski, bo władze komunistyczne nigdy nie zatwierdziły go jako ordynariusza, przygotował koronacje trzech maryjnych wizerunków: w Studziannie (1968), w Wysokim Kole (1974) i w Błotnicy (1977). Obliczono, że udzielił święceń kapłańskich 242 diakonom, udzielił bierzmowania 313 250 osobom, odbył 484 wizytacje na parafiach.

Bp Gołębiowski zmarł 2 listopada w Nałęczowie. Został pochowany w katedrze sandomierskiej.

  Każdego roku w modlitwie za bp. Piotra Gołębiowskiego biorą udział uczniowie i wychowawcy z Publicznego Gimnazjum w Jedlińsku, którego sługa Boży i ich rodak jest patronem
ks. Zbigniew Niemirski /GN