Родился в еврейской ремесленной семье. Уже с 12 лет подрабатывал перепиской бумаг в Сиротском суде (вероятно, в ту пору у него и выработался изящный мелкий почерк).Курс гимназии сдал экстерном (в Минске в 1893 году в возрасте 22 лет) — очно учиться не удалось из-за того, что придерживавшийся крайне националистических взглядов отец запрещал ему учить русский язык.
В том же году поступил в Петербургский технологический институт. Во время учёбы в институте подрабатывал частными уроками по математике и древнееврейскому языку. Как и многие другие студенты-технологи, он оказался вовлечённым в политическую жизнь, вошёл в социал-демократический кружок.
В год окончания института (1899) он стал членом РСДРП.
В 1899 году окончил Петербургский технологический институт и начал работать на Харьковском заводе Русского паровозостроительного и механического общества.
В 1903 году он — инженер на строящейся линии Восточно-Китайской железной дороги, через полгода — заведующий техотделом Северного механического и котельного завода в Санкт-Петербурге.
В 1906 году Б. Г. Галеркин становится членом Петербургского Комитета РСДРП и профессиональным революционером (нигде не служит).
В 1906 году был арестован и за участие в революционном движении осуждён на 1,5 года заключения. Приговор оказался удивительно мягким, если учесть, что при аресте некоторые комитетчики отстреливались.
В заключении написал первую свою научную работу «Теория продольного изгиба и применение её к расчету конструкций» (опубликовано в 1909 году)С 1909 года преподает в Петербургском политехническом институте.
В 1920 году избран заведующим кафедрой строительной механики на механическом факультете Петроградского политехнического института.
В 1924—1929 годах преподавал также в ЛГУ.
В 1934 году получил две учёные степени: доктора технических наук и доктора математики, а также звание Заслуженного деятеля науки и техники РСФСР.Консультировал проектирование и строительство крупных гидроэлектростанций (Волховская ГЭС, Днепрогэс и других) и теплоэлектростанций в СССР. По завершении строительства ДнепроГЭС (1932) Б. Г. Галеркин — член Правительственной комиссии по его приемке.
В 1936 году он был назначен председателем комиссии по экспертизе проекта конструкции Дворца Советов в Москве.Один из создателей и первый директор Института механики АН СССР (1939). Главный редактор журнала «Прикладная математика и механика» .
В 1939 году возглавил кафедру строительной механики Военного инженерно-технического университета в Ленинграде, получил звание инженер-генерал-лейтенанта.Участвовал в обороне Ленинграда. Летом 1941 года, с началом Великой Отечественной войны, была создана Комиссия по руководству строительством оборонительных сооружений Ленинграда.
В её составе оказалось несколько академиков и крупных учёных, но имел непосредственное отношение к строительству только один Б. Г. Галеркин, по существу ставший руководителем Комиссии.Борис Галёркин разработал методы решения дифференциальных уравнений теории упругости: его именем назван метод конечных элементов математического анализа, применяемый для численного и аналитического решения дифференциальных уравнений в частных производных.Один из создателей теории изгиба пластинок.Методы Галёркина включают в себя: собственно метод Галёркина, или метод Бубнова — Галёркина,метод Петрова — Галёркина.Могила Б. Г. Галёркина на Литераторских мостках в Санкт-Петербурге.Умер 12 июля 1945 года. Похоронен на Литераторских Мостках, академический участок Волковского Православного кладбища Санкт-Петербурга. Надгробие (скульптор Г. Ф. Ветютнев) создано в 1947 году