马芳自幼开始“曲木为弓”，精练骑射武艺，每发皆中。一次随阿勒坦汗狩猎，遇猛虎直扑阿勒坦，众人登时惊慌逃避时，马芳非常冷静，弯弓搭箭击毙猛虎。阿勒坦对马芳赞赏不已，赠予他“良弓矢，善马”，还命他“侍左右”。
马芳虽然受到阿勒坦的重用，但是他心在明朝，嘉靖十六年，马芳乘跟随阿勒坦至临近明朝边镇的大同外围狩猎之机，趁夜盗马逃出，连夜投奔至大同军营。此后就开始了他开挂一般的人生：
因他在蒙古生活多年，熟知蒙古骑兵的作战特点，所以每战皆能重创来敌。他先从队长干起，逐渐积累功劳，干到了把总。
嘉靖二十八年，他献计并率精骑抄袭蒙古骑兵后路，迫使蒙古大军北撤，立下人生第一件大功；随后在嘉靖二十九年“庚戌之变”中，身先士卒，叠出奇绩。从八月到十月，连续三场战役，把阿勒坦打的没脾气，世宗当时称赞说：“勇无过马芳。”
马芳因功升任宣府游击将军后，廉洁公正，重立“军战连坐法”，规定临战畏敌不前者，后队斩前队，将领畏敌不前者，士兵斩将领，每战依旧率先冲杀敌阵，引得属下殊死效命。
此后从嘉靖三十四年到隆庆四年，马芳从游击至参将、最后成为宣府总兵，一直与阿勒坦为主力的鞑虏正面对抗。
嘉靖四十年，马芳顶着巨大压力，杀出自己的宣府防区，在山西大同七战七捷，赢得大胜。从宣府到大同、从大同至怀安，马芳军的奔袭距离，在这场战斗中竟长达一千里。捷报传来，大明上下震惊，朝野上下一片狂喜，世宗擢升其为宣府总兵官。
任宣府总兵时，马芳在万全堡战役中力压戚继光、李成梁等人，终于成长为“大明将帅之冠”。
马芳此役利用了其在蒙古人心目中“马太师”之威名，用一万精锐对上阿勒坦十万骑兵，在马莲堡城墙倒塌，已成绝地的情况下，先偃旗息鼓，摆出空城计吓唬阿勒坦，并顶住了阿勒坦的多次试探。
等第二天阿勒坦想退兵的时候，马芳率兵“大破之”，把阿勒坦主力赶进了明军早已设伏良久的大同，延绥两镇精兵乘机出动，取得了九边罕见的大胜——虽然没打成歼灭战，但是首级功和缴获也很多。
其后的隆庆四年，马芳终于反守为攻，杀出国门——率领精锐骑兵在咸宁海子外围兜住阿勒坦主力，又是一战“大创之”。——他以此功从一个农家子终于第二次干到了一品左都督，再往上就是伯爵了。
被马芳打的快崩溃的鞑靼蒙古，终于因阿勒坦强娶其孙把汉纳吉的未婚妻乌纳楚导致了大分裂。
隆庆四年、五年，阿勒坦和王崇古会谈，经一番辩论，阿勒坦终于屈服，交出了赵全、李自馨、王廷辅等汉奸，接受朝廷下诏册封为“顺义王”，其兄弟子侄部下皆受封都督、同知、千户等官职，在延绥，红山敦，宁夏清水营等地开设“互市”，恢复汉蒙两族边民贸易。
一直到万历四年，基本上保持了六七年和平的九边——是马芳等将士抛头颅，洒热血打出来的。然而，隆庆六年，万历皇帝继位之后，因高拱被逐，大腿倒塌，马芳被勒令“归家闲住”。
朱翊钧成立武学之后，如此猛将如何能不用？因此再次启用他为前军都督府佥书管事，此际任武学作战系教授。
武学对马芳的评价：“虽表面憨鲁，实心细如发，更兼胸怀韬略，大将帅才也。”
兵部的评价：“大小百十接，身被数十创，以少