Родился в Ботропе (Рурская область, Германия) 19 марта 1888 г. в семье ремесленника.
В 1908—1913 г. и 1916—1919 г. работал учителем в начальных школах Рура, в том числе и в своем родном городе.
В 1913—1916 г. занимался в берлинской Королевской школе искусств, художественно академии Эссена.
В 1919—1920 годах учился в Мюнхене, у Франца фон Штука.БаухаузВ 1920 г. стал студентом высшей школы Баухаус в Веймаре.
В 1922 году он создаёт в Баухаусе новую мастерскую художественного стекла, а затем возглавляет там мастерскую мебели.Его ранние ксилографии и литографии не выделяются над средним уровнем экспрессионизма. Под влиянием конструктивизма Баухауса (где одним из его главных наставников был Ласло Мохой-Надь) перешёл к гораздо более строгому абстрактно-геометрическому стилю, увлекаясь т. н. диафаниями, прозрачными композициями на стекле, исполненными с помощью пескоструйного аппарата. Переехав вместе со школой в Дессау (1925 г.), был преемником М. Брейера на посту руководителя мебельной мастерской, а с 1930 г. — заместителем директора всей школы. Активно работал как дизайнер, создавая эскизы мебели, а также стеклянной и металлической утвари.
В СШАВ 1933 году, после прихода к власти нацистов, стал одним из первых преподавателей Баухауза, эмигрировавших в США. Преподавал в колледже Блэк-Маунтин в Эшвилле, Северная Каролина до 1949 года. Среди его учеников были В. де Кунинг, Р. Мозеруэлл, К. Ноланд и Р. Раушенберг.
В 1950 году возглавил кафедру дизайна в Школе искусств Йельского университета, где читал лекции до 1960 года.
К 1970 г. Альберс стал почётным членом четырнадцати школ и академий; в 1971 г. состоялась ретроспективная выставка его работ в Метрополитен-музей.
В последние годы своей жизни художник создавал в основном монументальные настенные композиции для общественных зданий, в том числе для Аспирантского центра Гарвардского университета, издательств «Тайм» и «Лайф» в Нью-Йорке, Музея истории искусств и культуры в Мюнстере и т.д.Умер Альберс в Нью-Хейвене, Коннектикут 25 марта 1976 года.