Джон Фрэнк Аллен родился в канадском Виннипеге в семье профессора физики, преподававшего в университете Манитобы.
В 1928 году окончил тот же университет со степенью балалавра физики (BA in physics) и перешёл в Торонто для получения докторской степени под руководством Джона Макленнана (John McLennan). Там он сконструировал первый криостат, сейчас экспонируемый в музее Лондонского Королевского института.
В 1930—1933 годах работал в Национальном исследовательском центре в Оттаве.
В 1933 году стал доктором философии (PhD).После научно неблагодарной двухлетней постдокторантуры в Калифорнийском технологическом институте он обратился к Эрнесту Резерфорду, чтобы узнать, есть ли возможность работать с Петром Капицей в Мондской лаборатории (the Royal Society Mond Laboratory). Получив утвердительный ответ, в 1934[* 1] году Аллен переезжает в Кэмбридж, но вновь оказывается один, так как теперь пионеру в области физики низких температур Петру Капице по личному указанию Сталина запретили выезд из СССР.Десять лет работы в Монде были необычайно продуктивными.
В 1937 году Аллен и Дон Майзнер[en] в своих опытах над жидким гелием и изучением его свойств обнаружили очень низкий предел вязкости жидкого гелия II при его протекании через узкие капилляры. Эту очевидную аномалию в своей лаборатории в Москве независимо от них наблюдал Петр Капица, он же назвал её «сверхтекучестью» .
В январе 1938 года на соседних страницах журнала Nature вышли статья Аллена и Майзнера и работа Капицы, посвящённые сверхтекучести.
В дальнейших исследованиях Аллен подтвердил результат Виллема Кеезома, полученный в 1928–1932 годах в Лейденской криогенной лаборатории, зафиксировав аномально высокое значение теплопроводности жидкого гелия. Они выявили, что при уменьшении температуры жидкого гелия II его теплопроводность непропорционально увеличивалась, в миллионы раз превышая соответствующее значение для гелия I. Для объяснения явления Аллен и Майзнер ввели понятие пристенного слоя.
В феврале 1938 года Аллен вместе с Х. Джонсом открыли фонтанирование жидкого гелия, впоследствии получившее название термомеханического эффекта. Аллен вспоминал, что когда явление впервые демонстрировали в Лондонском королевском обществе, присутствовавший там писатель Герберт Уэллс залезал под стол, чтобы удостовериться в отсутствии какого-либо насоса.По воспоминаниям Рассела Доннели[en], Аллен всегда себя укорял, что не оценил в должной мере предложение Ласло Тисса искать «температурные волны» , ставшие позднее известными как второй звук в жидком гелии.
С началом Второй мировой войны все фундаментальные исследования в Кэмбридже были свёрнуты, и Аллен занялся разработкой кислородных станций для пилотов бомбардировщиков и электронного таймера взрывателей для зенитных снарядов.
В 1946 году Аллен и Лоуренс Брэгг организовали в Кэмбридже первую крупную послевоенную конференцию.
На ней Фриц Лондон во вступительной речи отметил несомненную связь между явлением сверхтекучести и квантовой жидкостью (Конденсат Бозе — Эйнштейна), прежде имевшей характер сугубо теории.Менее известным, но не менее важным фактом, является внедрение Алленом вакуумного уплотнения в насосных соединениях.
В 1937 году он использовал уплотнительное кольцо из неопрена взамен использовавшихся до того ненадёжных соединений из проволоки или пластилина.
В 1947 году с этой же целью внедрил индий-кольцо (indium-ring cryogenic seal).Параллельно с работой в лаборатории Аллен с 1934 по 1947 год был лектором в Кембриджском университете.
В 1947 году он был назначен на кафедру естественной философии в шотландском университете Сент-Эндрюс и взял с собой группу учёных, занимающихся низкотемпературной физикой, создав в университете соответствующий отдел.
В Сент-Эндрюсе Аллен постепенно отошёл от научной деятельности и проявил себя как успешный администратор.Среди его достижений — надзор за проектированием и строительством нового научного здания, открывшегося в 1966 году.
Он дважды был деканом факультета естественных наук и создал отдельный факультет прикладной науки в тогдашнем Королевском колледже в Данди, который был частью Сент-Эндрюса до получения статуса отдельного университета в 1960-е годы. Перед его отставкой в 1978 году он заинтересовался историей шотландских физиков.
В 1978 году Нобелевский комитет вручил премию по физике Петру Капице «за фундаментальные изобретения и открытия в области физики низких температур» , обойдя вниманием вклад Джона Аллена и Дона Майзнера.Джон Аллен умер на 93-м году жизни от связанных с возрастом осложнений.