伏龙芝1904年在彼得堡工学院上学时参加俄国社会民主党，逐渐地他成为一名出色的工人运动组织者，在说到他的志愿时，1905年参加彼得堡10万工人请愿游行受伤后给他妈妈的信中，就说得很清楚，他“已把自己的一切献给革命”，革命的需要，就是他可选择的一条不平坦的道路。在他生命中，有一件永远使他无法忘怀的事，那就是他第一次和列宁交谈。

1906年4月，他作为伊万诺夫——沃兹涅先斯克布尔什维克的代表，出席了俄国社会民主工党第四次代表大会。在会议休息时间，列宁很有兴趣地和他谈起了关于军事斗争问题。列宁当时曾对他说，莫斯科起义说明革命需要自己的军事家、布尔什维克要比沙皇军官更好地懂得军事。列宁的这次谈话给了他极大的鼓舞，使他开始了对军事的研究，并在革命斗争中开始注意了对工农群众的武装训练。

1917年彼得格勒武装起义爆发时，他正在舒雅县任苏维埃主席，当听到武装起义胜利的消息后，他就立即率领一支由2000多名工人和士兵组成的武装队伍赶到莫斯科支援。伏龙芝在早期的武装斗争已经充分地表明他的军事才能，这也就决定了他在苏维埃政权遭到帝国主义武装干涉后，真正地走上军事的岗位。

1918年8月，他正式被任命雅罗斯拉夫军区的军事委员，同时12月，又被任命为第四军司令员。

1919年春，盘距在西伯利亚的沙俄海军上将高尔察克以20万兵力越过乌拉尔山向莫斯科推进时，他以东方战线南方集团军的身份组织起对高尔察克的反攻。

1919年8月，他又改任土耳克斯坦战线司令部，肃清了当时的反革命武装。以后，他又转战于南方战线，一次又一次地击溃了协级国的武装干涉军。其中最著名的一仗，就是克里木战役。弗兰格尔线部凭借彼列科普地峡的天然形势，请法国军事专家修筑了坚固的工事，吹嘘这里是第二个凡尔登，是不可攻破的。但是，战斗中，伏龙芝奇兵突起，强渡锡瓦什海峡成功，一切神话都破灭了。列宁对这次战役评价很高，认为“这次胜利是红军史上最光辉的一页”。为了表彰他的功绩，苏维埃政府授予他荣誉革命武装——一把带有“人民英雄”题词的军刀。