Во время безбожных гонений в советском государстве переехал в Белград, где получил духовное образование. В 1926 г. принял постриг с именем Иоанн. Через несколько лет рукоположен в иеромонаха.  Уже в то время современники почитали отца Иоанна за праведного – он непрестанно молился, строго держал пост, ежедневно служил Литургии. Его жизнь напоминала житие великих аскетов Церкви, ведь после принятия монашества он никогда не ложился. Святой был тверд в вере, строг к себе, кроткий и добрый к людям.

В 1934 г. иеромонах Иоанн был рукоположен во епископа и отбыл на место служения в Шанхай. Молодой архипастырь каждый день посещал больницы, исповедуя и причащая тех, кто там находился. Неоднократно по его молитвам выздоравливали неизлечимые пациенты.

Святитель вынужден был покинуть Китай, когда к власти пришла компартия.

С 1951 г. — управляющий Западноевропейского экзархата Русской Зарубежной Церкви.

В Европе, а затем и в США он активно миссионерствовал. Это принесло немалые плоды, так как проповедь подкреплялась личным молитвенным примером епископа Иоанна. Святитель Иоанн Шанхайский знал несколько языков, что помогло привести к Православию многих французов, голландцев и жителей других стран.

Владыка стал известным как среди православных людей, так и среди инославных. В Париже его именовали «святой Иоанн Босой», так как он одним благословение мог исцелить человека, а одет он был в старую монашескую одежду и ходил по улицам без обуви. Епископа звали во многие госпитали Европы, где он мог ночами молится за умирающих, причем любого вероисповедания.

Архипастырь получал откровения от Бога и часто приходил к людям, которым крайне необходима была молитвенная поддержка, а также многих спасал от грядущих бед.

В 1962 г. архиерей прибыл на служение на Американскую землю, где в 1963 г. стал архиепископом Западно-Американским и Сан-Францисским.

В последние годы жизни праведному святителю прошлось много претерпеть от людей, которые на него клеветали, завидовали и преследовали. Порой дело доходило до судов.

Как и многим своим угодникам, Бог открыл святому Иоанну день кончины. Это произошло в 1966 г., когда святитель с архипастырским визитом посещал г. Сиэтл с чудотворным Курско-Коренным образом Пресвятой Богородицы. Перед главной святыней Русского Зарубежья праведник и отошел ко Господу. Весть об этом наполнила скорбью сердца множества людей по всему миру.

Отпевание состоялось 7 июля в соборе иконы «Всех скорбящих Радость» в Сан-Франциско. Верующие плакали, провожая святителя в последний путь. Вскоре у его могилы стали происходить исцеления и разрешения в различных житейских трудностях.

Святой Иоанн канонизирован в 1994 г. Его память отмечается дважды в году – 2 июля и 12 октября (обретение мощей).