Сын генерала-от-инфантерии Якова Александровича Гребенщикова (1837—1907) и жены его Елена Ивановна Салери (1848—1911).Окончил Полоцкий кадетский корпус (1893) и Николаевское кавалерийское училище (1895), откуда выпущен был корнетом в 37-й драгунский Военного ордена полк. 6 мая 1896 года переведен в лейб-гвардии Драгунский полк. Произведен в поручики 6 декабря 1899 года, в штабс-ротмистры — 6 декабря 1903 года.
В 1907 году окончил Николаевскую академию Генерального штаба по 1-му разряду, в 1908 году — курс Офицерской кавалерийской школы. Цензовое командование эскадроном отбывал в лейб-гвардии Драгунском полку (1908—1910). 26 ноября 1910 года переведен в Генеральный штаб с назначением старшим адъютантом штаба 14-й кавалерийской дивизии и переименованием в капитаны. 4 марта 1912 года назначен помощником старшего адъютанта штаба войск гвардии и Санкт-Петербургского военного округа. 6 декабря 1913 года произведен в подполковники с назначением штаб-офицером для поручений при том же штабе.
С началом Первой мировой войны, 21 октября 1914 года назначен исправляющим должность начальника штаба 68-й пехотной дивизии. 20 февраля 1915 года назначен и. д. начальника штаба 4-й кавалерийской дивизии, а 6 декабря того же года произведен в полковники. 5 января 1916 года назначен и. д. начальника штаба 1-й гвардейской кавалерийской дивизии, а 27 октября того же года — командующим лейб-гвардии Драгунским полком. 20 сентября 1917 года назначен начальником штаба 44-го армейского корпуса. Произведен в генерал-майоры 21 ноября 1917 года. 7 декабря 1917 года отчислен от должности за болезнью с назначением в резерв чинов при штабе Киевского военного округа.
В декабре 1917 года переехал в Сумы. После установления власти гетмана Скоропадского, 27 апреля 1917 года назначен старостой Сумского уезда.
В гетманской армии с 18 июля 1918 года, был переименован в генеральные хорунжие. После свержения гетмана в декабре 1918 года с офицерским отрядом пробился из Сум в Одессу, где 1 января 1919 года подал рапорт о зачислении в Добровольческую армию.
С 18 января 1919 года состоял в резерве чинов штаба войск Новороссийской области. 2 февраля 1919 года назначен в штаб Кавказской армии, куда прибыл 15 апреля через о. Халки и Новороссийск. Затем состоял в резерве чинов при штабе Кавказской армии, с 6 августа 1919 года — в резерве чинов при штабе Добровольческой армии. 16 февраля 1920 года эвакуировался из Новороссийска в Салоники.
На май 1920 — в Югославии.
В эмиграции в Югославии. Состоял председателем Общества офицеров лейб-гвардии Драгунского полка в Белграде и преподавателем Высших военно-научных курсов. Опубликовал сборник стихов «Родина» (Белград, 1931). Оставил воспоминания, опубликованные под заглавием «Воспоминания генерала Сергея Яковлевича Гребенщикова» (Симферополь, 2009). Умер в 1933 году в Белграде. Похоронен на Новом кладбище.