1919年5月4日，天安门前的呐喊震惊了神州大地，赵家楼的大火照亮了世界东方的天际。伴随历史新时期的到来，中国社会舞台上开始奏响激越的青春旋律。伴随着中国共产党的创建活动，中国青年以前所未有的姿态，站在了时代斗争的前沿。

五四运动中一批比较年轻的左翼骨干，在马克思主义的指导下，积极地投身到群众斗争中去，促使马克思主义得到广泛传播并密切地同中国工人运动相结合。中国的民族解放运动开始走入一个崭新的天地。

1920年8月，在共产国际的帮助下，中国工人阶级最密集的中心城市上海首先建立了共产主义小组。在这个党的早期组织的筹建过程中，共产党的发起人李大钊、陈独秀等人就对发展中国青年运动、在青年中培养和挑选预备党员的工作给予了极大的关注。因此，上海共产主义小组一成立，陈独秀便指派小组内最年轻的成员俞秀松组建社会主义青年团。

8月22日，上海社会主义青年团由俞秀松、施存统等8人正式发起建立。俞秀松担任了中国第一个地方青年团组织的书记，而团的机关就设在当时上海法租界的一个普通民居——霞飞路渔阳里6号。

为了联系和团结进步青年，上海共产党和青年团组织就在这里开办了中国党、团组织的第一所培养青年革命者的学校——外国语学社，并且在这个学社的学员中发展青年团员。后来成为中国共产党第一代领导集体成员的刘少奇、任弼时二人就是从这里踏上革命征程的。

继上海青年团早期组织成立之后，1920年秋至1921年春，北京、武汉、广州、长沙等地的革命青年分别在李大钊、董必武、谭平山、毛泽东等人的领导下，也在当地建立了社会主义青年团的早期组织。