Флеминг родился 6 августа 1881 года в Лохфильде, расположенном в области Эйршир в Шотландии. Он был третьим из четырех детей от второй жены фермера Хуга Флеминга, Грэйс Стирлинг Мортон, дочери соседнего фермера. Также у Хуга Флеминга было еще четверо детей от первого брака. Второй раз он женился в 59 лет, а умер, когда Александру было всего 7 лет.

До двенадцати лет Флеминг учился в сельской школе в Дарвеле, а затем еще два года в академии Килмарнок. В четырнадцать лет он переехал к своим братьям в Лондон, где начал работать клерком в офисе доставки, а также посещать занятия в Политехническом институте на Риджент-стрит.

Его старший брат Томас уже работал врачом-офтальмологом и, последовав его примеру, Александр также решил изучать медицину. На его выбор медицинской школы в значительной степени повлияло то, что он участвовал в матче по водному поло со студентами из госпиталя Святой Марии. В медицинской школе Флеминг выиграл стипендию в 1901 году. Также стипендии Лондонского университета MB и BS в 1906 году достались ему.

В то время у него не было сильного пристрастия к какой-либо конкретной области медицинской практики. Работы по хирургии показали, что он мог бы быть выдающимся хирургом. Но жизнь направила его по другому пути, связанному с лабораторной медициной. Будучи студентом, он попал под влияние профессора патологии Алмрота Райта, который приехал в госпиталь Святой Марии в 1902 году. Он, еще будучи на Военно-медицинской службе, успешно разработал вакцинацию против брюшного тифа. Но у Райта были еще и другие идеи, направленные на стимуляцию пациентов, уже страдающих от бактериальных инфекций, с целью вызвать немедленный ответ на эти инфекции путем активации антител. Он пытался измерять количество этих антител в крови пациента. Это требовало новых методов и значительного труда. Группа молодых людей, которые присоединились к Райту, в том числе Джон Фриман, Бернар Спилсбери и Джон Уэллс, были уже не в состоянии справиться с этой работой. Поэтому и Флеминг был приглашен присоединиться к команде, как только он получил ученую степень в 1906 году.

Попав таким образом в первую исследовательскую лабораторию, прикрепленную к больнице, Флеминг оставался там до самой его смерти пятьюдесятью годами спустя. В 1946 году он стал директором Института. Флеминг приобрел всемирную известность как первооткрыватель пенициллина. Во время Первой Мировой войны Флеминг служил капитаном в Королевской медицинской армии. Он и многие его коллеги работали в госпиталях на поле боя на западном фронте во Франции. В 1918 году Флеминг вернулся в госпиталь Святой Марии, где он был избран профессором бактериологии в 1928 году.