Đức Giáo hoàng Gioan II tên thật là Mercurê (Mercurius), sinh tại Rôma, được bầu chọn làm Giáo hoàng ngày 2-1-533. Ngài là vị Giáo hoàng đầu tiên đổi tên thật của mình để lấy tên mới khi lên ngôi Giáo hoàng.
Nhận thấy Giáo hội đã trải qua những tranh chấp và chia rẽ trong việc bổ nhiệm các Giám mục và bầu chọn Giáo hoàng, ngài đã xin hoàng đế Athalaricô ban chỉ dụ quy định những luật lệ trong việc bầu chọn Giáo hoàng và nhà vua có quyền phê chuẩn kết quả bầu cử.
Trong giáo triều này, hoàng đế Justinianô vẫn nuôi hy vọng tiếp quản nước Ý vào đế quốc của mình, nên đã dâng cúng nhiều khoản tiền lớn và những tặng vật quý giá cho Vương cung thánh đường thánh Phêrô. Hoàng đế cũng tuyên thệ với ngài niềm tin chính thống, trong đó có việc Đức Maria là Mẹ Thiên Chúa và tái xác nhận tín điều về nhân tính và Thiên tính của Chúa Giêsu. Ngài qua đời ngày 8-5-535.
