Sebelum tahun 1950, di wilayah Kebayoran Baru telah berdiri rumah-rumah permanen yang kebanyakan dihuni oleh orang-orang Eropa, khususnya Belanda: pegawai gubernemen dan pegawai perusahaan-perusahaan pada masa pemerintahan Belanda. Di antaranya terdapat keluarga P. Hofland yang banyak membantu terwujudnya kehadiran gereja di wilayah Kebayoran Baru.

Pegawai-pegawai negeri yang tinggal di Kebayoran Baru antara lain: keluarga Bpk. B.S. Poedjosoekanto, Bpk. J. Mardiwarsito, Bpk Soemarno, dan keluarga Bpk. Bikis Hadiatmodjo. Mereka berusaha menyatukan diri sebagai saudara seiman, dan berusaha mencari rekan seiman lainnya di blok-blok tersebut.

Pada tanggal 29 Oktober 1950, pada Hari Raya Kristus Raja, Pastor J. Awick SJ mempersembahkan Misa Kudus yang pertama di rumah keluarga Bpk. P. Hofland. Inilah cikal bakal kehadiran Gereja Katolik di wilayah Kebayoran Baru. Dan saat perayaan Natal di rumah keluarga Soemarno, Jl. Cilegon (sekarang Ciasem I) tanggal 25 Desember 1950, mulai tumbuh keinginan untuk memiliki tempat ibadat.

Pada tanggal 25 Januari 1951 dimulai pencatatan buku baptis Paroki St. Yohanes Penginjil dengan baptisan no. 1 adalah Horbert, anak dari Walterus Bernardus van Ginneken dan Johanna Antonia Maria Engelbregt dengan pastor pembaptis adalah P. Awick SJ.

Paroki St. Yohanes Penginjil diresmikan pada tanggal 2 Maret 1952 dengan pengangkatan Pengurus Gereja dan Dana Papa St. Yohanes Penginjil. Susunan pengurus pada saat itu adalah: P. Middendorp SJ (ketua), R. M.Th. Poerbodibroto (sekretaris), Dr. J. J. Sugondho, F.H.M. Hense dan E.P.J. Vocke.

Altar gedung gereja St. Yohanes Penginjil yang kedua 1953Tanggal 17 Agustus 1952, pembangunan gedung SD dan Aula di Jl. Srikandi (sekarang Jl. Barito) selesai dan siap digunakan. Mgr. Willekens SJ didampingi Rm. Middendorp SJ, dan Rm. Doumen SJ melakukan peresmian dan pemberkatan gedung SD dan aula. Dalam upacara peresmian tersebut dinyatakan bahwa pengelolaan sekolah diserahkan kepada Yayasan Strada. Sedangkan aula berfungsi sebagai gereja. Inilah gereja St. Yohanes Penginjil yang pertama.

Pada tahun 1953 dibangunlah bangunan gereja baru yang masih bersifat semi permanen di sebelah Pastoran di ujung Jl. Melawai (sekarang berdiri Gedung Yohanes). Inilah bangunan gereja yang kedua.

Pada tahun 1957 sekolah SD yang dikelola oleh Yayasan Strada diserahkan sepenuhnya kepada para suster CB. Sejak itu dinamakan SD Tarakanita I dan merupakan sekolah Tarakanita yang pertama di Jakarta.

Pada akhir tahun 1953, Vikaris Apostolik Jakarta, Mgr. A. Djajasepoetra SJ (yang nanti pada tahun 1961 menjadi Uskup Agung Jakarta pertama), memutuskan untuk membangun gereja yang lebih besar di ujung Jl. Melawai Raya. Tiga orang imam Jesuit yang dikenal sebagai Pastor B-3 (Rm. A. van den Braak SJ, Rm. N. Brantjes SJ, dan Rm. J. Bastiaanse SJ) mulai berkarya. Tugas pokok Rm. A. van den Braak SJ adalah membangun gereja baru. Dibentuklah panitia pembangunan gereja, yang salah satu anggotanya adalah Bpk. Bambang Widjarnako, Ajudan Presiden Soekarno pada waktu itu. Pembangunan gereja ini kemudian dilaksanakan di atas tanah yang ditunjuk oleh Presiden Soekarno. Tanah bangunan yang sebenarnya direncanakan untuk gereja tetap menjadi milik paroki namun digunakan oleh PMKRI.

Pada tanggal 19 Desember 1965 akhirnya gereja St. Yohanes Penginjil Blok B diresmikan dan diberkati oleh Uskup Jakarta Mgr. A. Djajasepoetra SJ. Inilah gereja St. Yohanes Penginjil yang ketiga, yang digunakan hingga hari ini.

Tahun 1964 di Jl. Brawijaya IV, Kebayoran Baru, dibangun gedung sekolah oleh para bruder FIC. Meskipun pembangunannya belum selesai 100%, pada tanggal 2 Agustus 1965 sudah dimulai SMP dan SMA di kompleks tersebut. Pada tahun 1969 gedung SMP Pangudi Luhur selesai dibangun di daerah Cipete, maka sejak itu SMP Pangudi Luhur dipindah dari Jl. Brawijaya ke Jl. Haji Nawi, kemudian pada tahun 1972 SD Pangudi Luhur juga didirikan. Pada tahun 1974 dimulai pembangunan bruderan baru di tanah yang sama, dan pada tahun 1976 komunitas FIC Jakarta menempati rumah barunya di Jl. Haji Nawi no. 21.

Dalam rangka pengembangan paroki dan memenuhi pelayanan pada umat, pada tahun 1978 berdirilah Paroki baru, yaitu: St. Stefanus Cilandak, sebagai anak pertama dari Paroki St. Yohanes Penginjil.

Pada tahun 1979 dimulai pembangunan aula dan pastoran baru untuk menggantikan aula dan pastoran lama yang sudah tidak memenuhi syarat. Kepanitiaan pembangunan dipimpin oleh Bpk. A. Wiratno Puspoatmodjo. Tanggal 7 September 1980 pembangunan tahap pertama selesai dan diresmikan oleh Uskup Agung Jakarta, Mgr. Leo Soekoto SJ. Gedung ini kemudian dinamakan Gedung Yohanes. Pembangunan aula dan pastoran tahap kedua selesai dan diresmikan pada tanggal 17 Agustus 1982 oleh Rm. R. Kurris SJ.

Pada tanggal 21 September 1982 berdirilah Paroki St. Matius di Bintaro sebagai anak kedua Paroki St. Yohanes Penginjil.

Rm. L. van der Werf SJ memprakarsai dibukanya Kapel Sembah Sujud Abadi di aula lantai atas, yang digunakan sejak September 1986 sampai sekarang.

Pada tahun 2001 dirintis pengembangan sebagian wilayah paroki untuk menjadi sebuah stasi, yaitu: Stasi Tarsisius di Kebayoran Lama. Tahun 2002 KAJ mengeluarkan surat persetujuan untuk membeli tanah tanah seluas 6.845 m2, yang terletak di Jl. Raya Kebayoran Lama no.295, Kel. Sukabumi Selatan, Kebon Jeruk, Jakarta Barat. Tahun 2003 di lokasi itu didirikan Balai Pengobatan Bakti Sosial Kesehatan St. Tarsisius. Dengan demikian sekarang paroki Blok B mempunyai 2 poliklinik untuk melayani kesehatan masyarakat.