Народився у заможній віргінській родині. Навчався вдома і в приватних школах, потім закінчив Коледж Нью-Джерсі. У думках, ставати адвокатом чи священником, Медісон долучився до війни за незалежність, а отже, до політичного життя у громаді і штаті. Погане здоров'я завадило йому служити у війську.
У 1780 році обраний делегатом Континентального конгресу, де він відіграв важливу роль. Був одним з найвпливовіших прихильників скликання установчого конвенту. Приїхав до Філадельфії з проєктом нового уряду, вів докладні записи засідань, понад 150 разів брав слово і безупинно працював у різних комісіях. Як один з авторів «Федераліста» був провідною постаттю і в змаганнях за ратифікацію Конституції. Після конвенту був обраний до Палати представників, допоміг скласти Білль про права і організувати діяльність федерального уряду. За часів Джефферсона служив державним секретарем. Виступав разом з Томасом Джефферсоном проти Александера Гамілтона в боротьбі між демократичнішими поглядами Джефферсона й аристократичними, властивими правлячому класові — Гамілтона. Як міністр закордонних справ уряду Джефферсона 1801—1809, Медісон зробив Луїзіанську покупку і вів переговори з Джеймсом Монро.
У 1809 році заступив Джефферсона на посаді президента. Під час його правління велася війна з Англією 1812. У відставці надалі висловлювався з політичних питань.
Під час другого президентства Джеймса Медісона з'явилися такі всесвітньо відомі символи Сполучених Штатів, як жартівливий образ країни під іменем «Дядечко Сем» і текст гімну США.
Під час президентсва Медісона, 35-річний юрист і поет-аматор Френсіс Скотт Кі написав текст американського гімну, ставши свідком британського обстрілу форту Мак-Генрі в Балтиморі у 1812 році. Пісня стала популярною серед американських патріотів. Пісня офіційно виконувалась офіцерами Військово-морських сил США. Хоча офіційним гімном країни вона стала значно пізніше.
За Медісона остаточно розпалася Федералістська партія, яка відмовилася підтримати війну.
Медісон перший президент США, який вступив на посаду якій передувала посада Державного секретаря, а не віце-президента, як у Джона Адамса та Томаса Джефферсона (займав посаду державного секретаря перед вступом у повноваження віце-президента)
Ф. Кирилюк. Медісон Джеймс // Політична енциклопедія. Редкол.: Ю. Левенець (голова), Ю. Шаповал (заст. голови) та ін. — К.:Парламентське видавництво, 2011. — с.435 ISBN 978-966-611-818-2