1902年，他与蒋智由等，在上海创办了我国教育会，并出任会长；后来还创立爱国学社、爱国女学，都被推为总理。
1904年，他发起组建反清组织光复会，主编《俄事警闻》《警钟日报》，提倡民权，鼓吹革命；第二年他参加孙中山的中国同盟会，并任上海分会会长。
1906年，革命形势出现低潮，革命队伍内部又出现分裂，他失望之中返回绍兴。同年，清廷计划派翰林编修出国留学，他想利用这个机会去海外学习，便再次来到北京。
然而，由于经费欠缺，且大部分翰林又不愿去欧美留学，朝廷便改派留学日本。他不想去日本，便在译学馆暂时担任教授，讲授国文及西洋史。译学馆归属于1898年创办的京师大学堂，也是北京大学的前身。
后来他自己回忆说，这“是我在北大服务之第一次”。虽然他已经是知识界领袖人物，但他内心始终没有失去书生本色，“盖弟数年来，视百事皆无当意。所耿耿者，唯此游学一事耳。”他心中仍然期盼能够实现游学欧美的夙愿。
