Nacido en Shanyin, provincia de Zhejiang, China, estudió en la Academia Imperial de Hamlin, donde alcanzó las más altas distinciones del sistema feudal de enseñanza, al que pronto se opuso desde una posición liberal y modernizadora. Ejerció como docente en distintas escuelas e institutos público. Fundador del diario Alerta, difusor de las ideas de cambio que le llevaron al exilio. Con 40 años de edad, viajó a Alemania, donde estudió filosofía, psicología e historia del arte en la Universidad de Leipzig. En 1912, tras la caída del régimen imperial, fue nombrado ministro de Educación en el Gobierno provisional de la República China, del que dimitió durante la presidencia de Yuan Shikai para viajar de nuevo a Alemania y Francia. De regreso a China, fue nombrado rector de la Universidad de Pekín (1917-26), por lo que se le considera padre de la nueva enseñanza superior china. Introdujo amplias medidas de modernización y gestión democrática, defendiendo el principio de la libertad de cátedra, la libertad de expresión y el debate de las ideas. Asimismo, amplió el abanico disciplinar y las áreas de conocimiento de la oferta académica para adaptarlas a los modelos de las sociedades más avanzadas. Contrató a Xu Baohuang, que había estudiado periodismo en la Universidad de Michigan, y creó los estudios superiores de Periodismo en China (Xinwenxue yanjiuhui) en 1918, con la idea de conseguir la modernización y profesionalización de una prensa libre y responsable. Promovió el estudio de lenguas extranjeras y se mostró partidario del esperanto como solución universal de comunicación.
Por la Universidad de Pekín, en sus años de rector, pasaron pensadores como John Dewey, por el que Yuanpei sentía especial admiración, y Bertrand Russell, entre otros muchos. Se rodeó de los más prestigiosos académicos de ideologías muy diversas, entre ellos dos de los que años más tarde, en 1921, fundarían el Partido Comunista Chino, Chen Duxiu (1880-1942) y Li Dazhao (1888-1927). En 1927, fue nombrado presidente del Consejo Universitario (Daxueyuan), que asumió las funciones el antiguo Ministerio de Educación. Defendió una educación laica, independiente de la religión y de la política, participativa y democrática. Cofundador del Conservatorio de música de Shangai, en 1928 fue nombrado presidente de la Academia China de Ciencias (Sinica). Partidario de Jiang Jieshi (Chiang Kai-shek) en su oposición a los comunistas, cambió de posteriormente de postura y denunció los padecimientos a los que la dictadura militar había llevado a la población. En 1932, fue cofundador y vicepresidente de la Liga China de los Derechos Humanos. A raíz de la guerra chino-nipona, se refugió en Hong Kong, donde falleció.
Su pensamiento ejerció gran influencia en el movimiento estudiantil de protesta del 4 de mayo de 1919 en Pekín, contrario a las concesiones a Japón derivadas del Tratado de Versalles. Crítico de la cultura medieval china, combatió los estigmas paralizantes del feudalismo y la necesidad de una ruptura histórica, basada en la alfabetización y el acceso generalizado a la enseñanza. Teórico de la cultura del progreso, de la capacidad transformadora de la ciencia y el conocimiento, trató de buscar una síntesis entre los valores de identidad chinos y otros de modernidad aprendidos en Europa, especialmente de la cultura alemana, de la que tradujo al chino diversos libros de referencia. Trabajó a favor de una educación liberadora, con la mirada puesta en el futuro y en el mundo, en Europa y Estados Unidos, en la sociedad industrial, y no tanto en la instrucción endogámica, basada en la memoria histórica nacional. Luchó contra las prácticas culturales vejatorias de la dignidad de la mujer, como la reducción de los pies femeninos (pies de loto), el concubinato y la ausencia de derechos elementales frente al marido, como el del divorcio, y la necesidad de su plena incorporación al sistema educativo.
Entre sus libros, Cai Jiemin Xiansheng Yanxing Lu [Textos y trabajos de Cai Yuanpei], Beijing, 1920; Zhongxue Xioushen Gaoke Shu [Escuela, moral y educación], Shanghai, 1921; Zhexue Gangyao [Fundamentos de filosofía], Shanghai, 1924; Zhongguo Lunlixue Shi [Historia de la ética china], Shanghai, 1937.