Grossman quería crear un nuevo grupo que ampliara y actualizara la fórmula de los Weavers, un grupo de armonía folk formado por una mujer y tres hombres (uno de ellos Pete Seeger) que tuvo un gran éxito en los años cincuenta. Le presentó al Sr. Yarrow a la Sra. Travers, quien había actuado en clubes del pueblo y cantado con el Sr. Seeger varias veces. El dúo se convirtió en trío cuando, por sugerencia de la Sra. Travers, agregaron a Noel Paul Stookey, con quien había actuado en un club local. Usaron el segundo nombre del Sr. Stookey y se decidieron por su pegadizo apodo bíblico.
El trío presentó una imagen visual convincente: los dos hombres, con corbatas oscuras, perilla beatnik y expresiones serias, flanqueaban a la Sra. Travers, cuyo cabello rubio enmarcaba sus refinados pómulos. El señor Grossman la contrató para correr en Bitter End en Bleecker Street, y hubo un gran revuelo. En 1961, el grupo firmó con Warner Bros. Records, donde su álbum debut, titulado simplemente Peter, Paul and Mary, fue lanzado en mayo siguiente.
Yarrow cantó el primer sencillo del grupo, “Lemon Tree”, basado en una canción popular brasileña que alcanzó el Top 40 de Billboard. El álbum completo surgió después de que su segundo sencillo, “If I Had a Hammer”, escrito por Pete Seeger y Lee Hays de los Weavers, se convirtiera en un éxito Top 10 y ganara dos premios Grammy. El álbum permaneció entre los 20 primeros durante dos años y vendió más de dos millones de copias.
La continuación del grupo, “Movin'”, lanzado a principios de 1963, incluía “Puff the Magic Dragon”, cuya letra se basó en un poema escrito por un amigo de Yarrow, Lenny Lipton, cuando tenía 19 años. inspirado en un poema anterior de Ogden Nash titulado “El cuento de Custard the Dragon”. Más tarde surgieron especulaciones de que la canción se refería a fumar marihuana, interpretación que Yarrow negó rotundamente.
