据《史记•匈奴列传》记载：“匈奴，其先祖夏后氏之苗裔也”，就是说匈奴这个民族是从夏朝遗民演变而来，与汉族同属于炎黄子孙。国学大师王国维曾对匈奴的来历做过系统的考证，他认为，商周时期的鬼方、混夷、猃狁，春秋时期的戎、狄，战国时的胡，都是后世所谓的匈奴。
公元前215年，秦朝大将蒙恬将匈奴驱逐出河套及河西走廊，从此匈奴世居长城以北的大漠地区，以游牧为生。匈奴这个民族有个特点，内部并不团结，凡是处于内讧时期，匈奴对于中原基本没有威胁，一旦形成统一便具有强大的军事能力，这一点和后期的蒙古很像。
秦汉时期，匈奴是中国北方最强大的外族势力，虽然是少数民族，但其能够投入作战的人员比例比中原王朝要高出很多。出于游牧民族的生存条件，无论是为了获得猎物还是打仗，骑马射猎都是匈奴人必备的技能。从这个意义上说，每一个匈奴牧民，战时都是极具杀伤力的骑兵。
匈奴人打仗不分男女，只要会骑马射箭就能上战场。史载，冒顿单于时期的匈奴，拥有控弦之士三十万，且全都为骑兵，骑兵的好处就是每个士兵都能自带补给，无需专门的后勤人员。匈奴骑兵从不携带盾牌，而是穿戴铠甲，机动灵活。进攻性武器远战用弓弩，近战用短刀。战法飘忽不定，时聚时散，善于发动突然袭击。
而西汉初期的常备军力也不过三十万左右，且以步兵为主，战马数量不足以和匈奴展开骑兵对战，步兵作战还需要后勤辎重作为配套，无论冲击力和机动性都远不如骑兵。汉高祖刘邦曾被匈奴大军围困白登七天七夜，刚刚诞生的汉朝差点夭折。无奈之下，西汉王朝只好对匈奴采取和亲政策，以避免匈奴对中原的进犯。
到了汉武帝时期，经过数十年的国力积蓄，西汉终于结束忍气吞声的时代，开始收拾匈奴这个北方大患。经过河南之战、河西之战、漠北之战后，匈奴被彻底打趴，无力南侵。公元前57年，匈奴分裂为南北两支，北匈奴远遁漠北，南匈奴在呼韩邪单于的率领下向汉朝投降，为了稳固汉朝与匈奴的双边稳定，汉朝将四大美女之一的王昭君嫁给呼韩邪单于为妻，汉朝与匈奴之间保持了50年和平。
东汉初年，南匈奴南下定居，被汉朝安置在河套附近，更加接近中原地区，为后来五胡乱华埋下深重的隐患。公元89年开始，汉朝大军与南匈奴一起对北匈奴展开夹击，北匈奴被赶出漠北，被迫走上西迁之路，从此在中国史书中彻底消失。
据传言，北匈奴经过三百年迁徙最终进入欧洲大陆，进攻日耳曼人的几大支系，导致日耳曼人和哥特人逐渐强大起来，最终灭掉了西罗马帝国。这个说法一度令很多人信以为真，但随着生物学的发展，科学家对古代欧洲匈奴人的DNA与亚洲匈奴人进行比对之后发现，欧洲匈奴人与亚洲匈奴人并不属于一个民族。从科学角度讲，北匈奴并没有进入欧洲大陆，而是神秘消失了。
定居河套的南匈奴在东汉末年被瓦解成了五个部分，西晋时期，匈奴首领刘渊趁八王之乱，拥兵在并州自立，自称汉王，成为十六国时期前赵政权的开国皇帝。公元310年，刘渊病逝，其子刘聪继位后，于311年攻陷西晋都城洛阳，俘获晋怀帝。西晋朝廷又在长安拥立晋愍帝，西晋政权得到短暂延续，公元316，匈奴大军进攻长安，晋愍帝献城投降，西晋宣告灭亡。