Urodził się 26 marca 1949 r. w Lipinach Śląskich, jako syn Łucji z domu Borzucki i Romana Gracla, górnika ówczesnej kopalni węgla kamiennego „Matylda”.
29 marca 1949 r. został ochrzczony w parafii św. Augustyna w Świętochłowicach – Lipinach Śląskich. Pierwszą Komunię Świętą przyjął 26 maja 1958 r., a 5 października tegoż roku sakrament bierzmowania. Przez 8 lat pełnił służbę ministrancką w rodzinnej parafii. W 1953 r. ukończył Szkołę Podstawową i podjął naukę w II Liceum Ogólnokształcącym im. Juliusza Ligonia w Chorzowie.
Po zdaniu egzaminu dojrzałości w 1967 r. został przyjęty do Wyższego Śląskiego Seminarium Duchownego w Krakowie.
Święcenia diakonatu otrzymał 15 kwietnia 1973 r., a prezbiteratu – w katowickiej katedrze Chrystusa Króla – 11 kwietnia 1974 r z rąk biskupa ordynariusza – Herberta Bednorza.
Po wakacyjnych zastępstwach w parafii Matki Bożej Bolesnej w Rybniku, Niepokalanego Serca Najświętszej Maryi Panny w Książenicach, oraz rodzinnej parafii św. Augustyna w Świętochłowicach – Lipinach, ks. Józef Gracla był wikariuszem w następujących parafiach: św. M. Magdaleny w Wodzisławiu Śląskim – Radlinie II (1974-1976), Najświętszego Serca Pana Jezusa i Matki Bożej Fatimskiej w Tarnowskich Górach – Strzybnicy (1976-1978), św. Anny w Katowicach – Janowie (1978-1979). W 1979 r. uzyskał tytuł magistra na Wydziale Teologicznym Akademii Teologii Katolickiej w Warszawie i tego też roku podjął zadania wikariusza w parafii Trójcy Przenajświętszej w Rybniku – Popielowie (1979-1982). Następnie kontynuował pracę duszpasterską w parafii św. Jadwigi Śląskiej w Rybniku (1982-1983), Opatrzności Bożej w Katowicach – Zawodziu (1983-1985), świętych Apostołów Piotra i Pawła w Piekarach Śląskich – Kamieniu (1985-1988) Matki Bożej Fatimskiej w Mysłowicach – Wesołej (1988-1993), św. M. Magdaleny w Lubomii (od 1993 r.). Ze względu na stan zdrowia otrzymał rentę inwalidzką i w 1994 r. zamieszkał w rodzinnym domu w Lipinach.
W kwietniu 2012 r. zamieszkał w Domu Świętego Józefa – domu księży emerytów w Katowicach.
Zmarł 11 czerwca 2014 r. w Górnośląskim Ośrodku Kardiologii w Katowicach – Ochojcu.