就在他流浪时，元末农民大起义爆发了。他去过的那些地方，是韩林儿红巾军活动的地方，他的家乡也有红巾军郭子兴的军队在活动。他想到当和尚没有出头的日子，想去参加红巾军，又怕失败了要砍头，心里很矛盾。想来想去，就用占卜的方法决定自己的去留，结果得了个吉卜，于是他就去濠州城里，参加了郭子兴的部队。可是刚到部队，便被怀疑是元军的奸细，被抓起来了。以前是做农民、和尚的痛苦，这时开始了军人的考验。他被绑着，要杀头，但毫不畏惧，眼里冒着怒火，怪这伙人自家人不认识自家人。郭子兴赶来问明情况，收他入伍。他走南闯北，见多识广，办事又用心，很快成了郭子兴的亲信，郭子兴又把义女马氏嫁给了他。这位夫人就是后来以贤德著称的马皇后。
1353年，朱元璋回到家乡，招募了700人入伍，成为军官。接着他去定远驴牌寨，那里有一支民兵，朱元璋只带少数几个人去见该部首领劝降。同行的害怕，要求增加人数。朱元璋说人多了反倒使对方疑惧，办事不顺利，说着骑马到达寨中。对方答应投降，但三天后就反悔了。朱元璋把他们的头领抓获，使3000名壮士归顺了他。这次的以少胜多的成功，表现了朱元璋敢做敢为的英雄气概。朱元璋四出打仗，连连获得胜利，他把战利品都分给了部下。别的统领获胜回来都给郭子兴夫妇送财宝，朱元璋却没有。这使得郭子兴夫妇不高兴。马夫人就把自己的东西送给郭子兴夫人，以示弥补，缓和双方关系。郭子兴脾气暴躁，把朱元璋当作家小看待，动不动就对他耍态度，严重时关禁闭，不给饭吃。马夫人便偷着给朱元璋送吃的。一次，马夫人将刚出炉的烧饼揣在怀里，瞒过众人，把饼送到朱元璋手里，结果她的胸部被烫红了。
朱元璋为人部下，资历又浅，只有提高自己的涵养，按下火气，低头小心地伺候郭子兴，为他出兵打仗。后攻下和州，军士抢占民间妇女，朱元璋便申明纪律，让百姓领回妻女。
这时有友军孙德崖部来到和州，朱元璋只得接待。但孙德崖与郭子兴不和。郭子兴听人诬传，以为朱元璋与孙德崖合作了，又抢人妻女，掳掠财物，便突然来到朱元璋军营，怒气冲天。朱元璋见状赶忙跪下，不敢辩白，只说若我做儿女的有罪，家里事好说。孙德崖是外人，弄不好要打仗，得先处理，郭子兴这才消了气。孙德崖听说郭子兴来了，便要走。朱元璋怕走时部队会发生冲突，就亲自把他送出城，并要求孙德崖留在后面弹压。哪知郭子兴把孙德崖给扣下了。孙德崖的部下便把朱元璋刺伤，用铁链锁起来。开始时要杀他，有人说，要拿他换回孙元帅，不能杀。这样，他被关押了3天，双方交换了俘虏，朱元璋才死里逃生，回到自己的部队。不久，郭子兴病死，朱元璋成为该部的实际统帅。
1356年朱元璋率军攻下金陵，从此以这里为根据地，东征西战。当时在他上游的是起义军徐寿辉、陈友谅集团，力量强大。1360年，陈友谅率部打到金陵城下，朱元璋在大雨中作战，打退了陈军。1363年，双方在鄱阳湖决战，陈军号称60万，舟船巨大，高达10余丈，又把船连在一起，远看像座山。而朱元璋船小，便采用火攻的方法。战斗中，陈军骁将张定远突然出现在朱元璋的指挥船面前，而朱元璋的船因遇沙滩搁浅了。正在危险的时侯，朱军众将来救，因船多势猛，把水涌到朱元璋所在的船的地方，使他的船乘水势离开浅滩，才脱离了危险。这一仗朱元璋取得了胜利，陈部一蹶不振。有了这些胜利，1364年朱元璋建立吴王政权；1368年推翻元朝，正式建立明朝，统一了全国。
朱元璋在位31年，奖励垦荒，轻徭薄役，严惩贪官污吏，对中国历史的发展做出了贡献。他发迹在郭子兴的部队，他要不是忍受郭子兴对他的态度，也就没有出头的日子了，更谈不上后来做皇帝，重要的一点，他是从极端贫困，卑贱中锻炼出来的。