Карл Гербель родился 3 июля 1788 года в городе Санкт-Петербурге; происходил из дворян Санкт-Петербургской губернии швейцарского происхождения, младший сын генерал-лейтенанта Густава Родионовича Гербеля, внук генерал-поручика Родиона Николаевича.
В 1804 году был выпущен из Артиллерийского кадетского корпуса подпоручиком.
В 1805 году, во время первой войны с Наполеоном, находился в десантном корпусе в Померании, а в 1806—1807 годах, во время второй войны, был ранен при Прейсиш-Эйлау и награждён золотым крестом.
В Отечественную войну 1812 года участвовал в противодействии корпусу Макдональда в Прибалтике и награждён орденом св. Анны 4-й степени.
В Заграничной кампании 1813 года сражался при Тильзите, Розенберге, Данциге, Бауцене, Торгау, Кульме, Лейпциге и в блокаде Гамбурга, после сдачи которого возвратился в Россию. Наградой за эту войну были чины штабс-капитана и капитана и ордена св. Анны 2-й степени, св. Владимира 4-й степени с бантом и прусский «Пур ле мерит» .
В 1817 году произведён в подполковники, в 1820 году — в полковники с переводом в гвардейскую конную артиллерию.
В 1823 году назначен начальником этой артиллерии. 14 декабря 1825 года, во время восстания декабристов, находился в составе правительственных войск и за отличие пожалован 15 января 1826 года во флигель-адъютанты.
В 1828 году принял участие в турецкой войне и был в делах во время осады Варны, при преследовании турок за реку Камчик и других. За отличие при Варне награждён 29 сентября 1828 года чином генерал-майора.По окончании войны назначен начальником резервной артиллерии действующей армии, состоявшей при гвардейском корпусе, и за устройство её награждён орденом св. Анны 1-й степени.
В 1831 году, во время войны с польскими мятежниками, участвовал в сражении при Старом Якаце (командовал здесь артиллерией авангарда гвардейского корпуса), Рудках, Тыкочине, Жолтках (командовал артиллерией авангарда и награждён золотой саблей с алмазами), Пясках. При Остроленке он командовал всей артиллерией, находившейся с правой стороны города, близ левого берега Нарева, огнём её наносил сильный урон неприятелю и тем способствовал переправе наших войск через Нарев, удержанию этой переправы и отбитию трех орудий. 22 августа награждён орденом св. Георгия 3-й степени (№ 434)В воздаяние отличнаго мужества и храбрости, оказанных в сражении против польских мятежников, где, находясь впереди и презирая опасность, поражал неприятеля метким огнём, в особенности же при овладении Остроленкою.По присоединении гвардейского корпуса к главной армии, участвовал во всех делах от движения к Плоцку до штурма Варшавы и в преследовании армии мятежников до прусской границы.
В том же году ему была пожалованы императорская корона к ордену Святой Анны 1-й степени и золотая сабля с надписью «За храбрость» .
В 1834 году назначен начальником 1-й драгунской дивизии и награждён орденом св. Владимира 2-й степени, в 1837 году — чином генерал-лейтенанта и орденом Белого Орла. 30 августа 1839 года пожалован в генерал-адъютанты.
В 1842 году уволен по болезни от командования дивизией.
В 1849 году, с открытием Венгерской кампании, вернулся на службу и командуя авангардом 3-го пехотного корпуса, участвовал в сражениях при с. Дуко и Вайцене, в преследовании Гёргея к Ретшагу и в делах при этом местечке, при Тисса-Фюред и Дебречине и при сдаче Гёргея; за отличие награждён орденами св. Александра Невского и австрийским Леопольда большого креста.Карл Густавович Гербель скончался 9 июля 1852 года в родном городе и был погребён на Свято-Троицком кладбище в Старом Петергофе.Один из сыновей его, Даниил Карлович (1819—1873) был генерал-лейтенантом, а другой, Сергей Карлович (родился в 1821 году), числясь ротмистром лейб-гвардии Уланского полка, участвовал в Крымской войне и был ранен при обороне Севастополя 25 октября 1854 года, умер от ран 12 ноября того же года, третий сын — Михаил (1835—1861); также у него была дочь Александра Карловна (—1853), которая была замужем за генерал-майором Э. Ф. Зенгером.