Alla fine del 1964 cominciò a delinearsi la possibilità di un ritorno a Firenze. Tuttavia, ci furono delle opposizioni da parte dell'arcivescovo fiorentino. Per questo motivo si trovò un compromesso: la badia fiesolana, sotto la giurisdizione del vescovo di Fiesole. In questi anni ci furono molti scontri e tensioni con i vertici della gerarchia ecclesiastica per via delle posizioni, politiche e ideologiche, assunte da Balducci. Questo non gli impedì di continuare la sua attività di conferenziere, docente e scrittore. Nel frattempo la Badia fiesolana era divenuta punto di riferimento per una comunità di laici e di scolopi che si riuniva attorno alla liturgia domenicale da lui celebrata e che promuoveva incontri di riflessione e solidarietà sia sul piano internazionale (con l’appoggio a iniziative concrete) sia nella città (ad esempio nell’ambito della psichiatria o delle carceri). Si era dunque creato una piccola Chiesa locale, una comunità eucaristica nella quale meditava la parola e dalla quale diceva e scriveva di trarre ispirazione. La comunità di Badia fu più volte visitata dal cardinale Piovanelli (arcivescovo di Firenze dal 1983) e partecipò ai lavori del sinodo fiorentino.