Filho de um oficial do exército bizantino que morreu em batalha. Depois da morte de sua mãe, em algum momento depois, ele e seu irmão Basílio se tornaram monges no mosteiro do Monte Olimpo, na Grécia. Paulo mais tarde deixou-se para se tornar um eremita no Monte Latros, Bitínia, Ásia Menor. Sua reputação de santidade se espalhou, e ele começou a atrair seguidores e estudantes, tantos que ele os organizou em uma comunidade em Latros. Depois de doze anos como seu líder, Paulo deixou de viver como um eremita em uma caverna na ilha de Samos. Sua reputação, no entanto, seguiu-o, e o ciclo repetiu – mais estudantes se reuniram, e mais comunidades foram formadas. Tarde na vida Paulo voltou para Latros, onde passou nos anos restantes em oração e solidão.