Nuo 1974 m. iki 1988 m. dirbo Vatikano valstybės Viešųjų reikalų Taryboje. Nuo 1979 m. buvo šios Tarybos pasekretorius. Dėstė Diplomatinę teisę Laterano universitete. Šalia diplomatinių pareigų visose tarnybos vietose aktyviai dalyvavo sielovadiniame darbe: talkino įvairiose parapijose, bendradarbiavo su religinėmis organizacijomis (ypač jaunimo, šeimų), vadovavo rekolekcijoms, pokalbiams ir kt.

1988 m. spalio 4 d. popiežius Jonas Paulius II konsekravo A. J. Bačkį vyskupu (ko-konsekratoriai Ark. Achille Silvestrini, Vysk. Juozas Preikšas). Iš Lietuvos iškilmėse dalyvavo pirmą kartą į Romą atvykęs Vilniaus arkivyskupas Julijonas Steponavičius. Tais pačiais metais paskirtas tituliniu Metos arkivyskupu ir nuncijumi Olandijoje.

1991 m. gruodžio 24 d. popiežius Jonas Paulius II įkūrė Vilniaus bažnytinę provinciją, paskirdamas A. J. Bačkį Vilniaus arkivyskupu metropolitu. Arkivyskupo ingresas įvyko 1992 m. kovo 3 d. 1992–1993 m. buvo popiežiaus Jono Pauliaus II apaštalinės kelionės Lietuvoje (1993 m. rugsėjo 4–8 d.) pasirengimo komiteto pirmininkas. 1993–1999 ir 2002–2005 m. – Lietuvos Vyskupų Konferencijos pirmininkas. 1999 m. popiežiaus Jono Pauliaus II paskirtas Komisijos, rengusios Europos vyskupų Sinodą nariu ir baigiamąjį Sinodo pranešimą parengusios Komisijos vicepirmininku. 1998–2001 m. buvo Lietuvos Vyskupų Konferencijos Jubiliejinių metų komiteto pirmininku.

2001 m. vasario 21 d. paskirtas Šventosios Romos Bažnyčios Kardinolu. Nuo 2001 m. yra Katalikiškojo auklėjimo kongregacijos narys. 2001–2007 m. Popiežiškosios Bažnyčios kultūros paveldo komisijos narys. 1992–2011 m. Popiežiškosios Visuomenės komunikavimo priemonių tarybos narys.

1993 m. atkūrė Vilniaus kunigų seminariją. Tais pačiais metais jo iniciatyva Vilniaus pedagoginiame universitete įkurta Tikybos katedra, kurioje rengiami tikybos mokytojai. Nuo pat atvykimo į Vilnių globoja Tikėjimo ir Šviesos bendruomenę, kuri vienija šeimas, auginančias vaikus su negalia. Padėjo statyti Vilniaus integruoto mokymo katalikiškos pakraipos „Versmės“ mokyklą, kurioje kartu su sveikaisiais mokosi ir neįgalūs vaikai. Yra šios mokyklos dvasinis globėjas. 1992 m. gruodžio mėn. įkūrė vargšų valgyklą „Betanija“, kuri kasdien nemokamai maitina 500 vargingųjų. Dar 100 vaikų iš daugiavaikių ir asocialių šeimų maitinami arkivyskupijos Caritas valgykloje. 1996 m. įkurti Motinos ir vaiko globos namai. Juose gyvena netekusios pastogės ir lėšų, atstumtos artimųjų motinos su mažais vaikais. 1999 m. įkurti Gailestingumo Motinos globos namai. Juose Motinos Teresės seserys kasdien maitina 150 žmonių, slaugo sergančius benamius. Tame pačiame pastate įkurti ir nakvynės namai, kur kasnakt šiltą pastogę randa apie 50 žmonių, stokojančių būsto. Plečia Caritas veiklą parapijose, renka aukas stokojantiems ir nuolat ragina žmones dalytis su vargstančiaisiais duona ir meile. Dažnai lanko ligonines, kalėjimus, pensionatus. 1994 m. įkūrė Šeimos centrą. Jame jaunavedžiai rengiami priimti Santuokos sakramentą. Jiems ir šeimoms teikiama dvasinė ir psichologinė konsultacija. 1997 m. įkūrė Trinapolio rekolekcijų namus, kuriuose nuolat vyksta vaikų, jaunimo, įvairių grupių, kunigų, vienuolių ir pavienių žmonių rekolekcijos. 1999 m. įkūrė Vilniaus arkivyskupijos Sielovados centrą, kuriame veikia įvairios katalikų organizacijos. 2001 m. įkūrė Amatų centrą, kuriame profesionalūs amatininkai padeda jaunimui įgyti staliaus, juvelyro, statybininko, restauratoriaus, virėjo, siuvėjo profesijas. 2001 m. savo tėvelio dr. Stasio Bačkio atminimui iš jo palikimo ir kitų aukotojų dėka pastatė Vilniaus universiteto Santariškių klinikos koplyčią.

1997 m. balandžio 30 d. Vilniaus pedagoginis universitetas suteikė Garbės daktaro vardą. 2000 m. vasario 16 d. apdovanotas Didžiojo kunigaikščio Gedimino 2-jo laipsnio ordinu. 2003 m. vasario 16 d. apdovanotas Vytauto Didžiojo ordino Didžiuoju kryžiumi. 2003 m. gegužės 13 d. Krokuvos Popiežiškoji teologijos akademija suteikė Garbės daktaro vardą.

2013 m. balandžio 5 d. Popiežiui Pranciškui priėmus pagal Kanonų teisės nuostatas įteiktą Arkivyskupo atsistatydinimą, iki JE Gintaro Grušo ingreso balandžio 23 d. ėjo arkivyskupijos administratoriaus pareigas.