Из дворян Петербургской губернии. В 1870 г. по первому разряду окончил Пажеский корпус. Службу начал в лейб-гвардии Конно-гренадерском полку. В 1876 г. стал слушателем Николаевской академии Генерального штаба. В ходе русско-турецкой войны 1877-1878 гг. принимал участие в сражениях под Горным Дубняком, Филиппополем, в штурме Телишской крепости.

В мае 1903 г. в чине генерал-майора принял командование расквартированной в Омске 9-й пехотной дивизией. По окончании русско-японской войны 1904-1905 гг., в ходе которой его дивизия храбро сражалась в Маньчжурии, был награжден золотым оружием и представлен к званию генерал-лейтенанта.

С 15 января 1906 г. командовал войсками Московского военного округа, а с 5 июля одновременно начал исполнять обязанности по управлению московским генерал-губернаторством. Этот период отмечен расширением границ московского градоначальства за счет включения прилегающих территорий уезда, проведением в городском Манеже 1-й международной автомобильной выставки с 3 по 20 мая 1908 г., открытием 1 октября 1908 г. Городского народного университета им. А.Л. Шанявского. Активно продолжил начатое его предшественником дело собирания портретной галереи генерал-губернаторов в доме на Тверской.

Ситуация в Москве по-прежнему оставалась сложной. В 1907 г. на С.К. Гершельмана была совершена попытка покушения. Брошенная бомба ранила кучера.

Несмотря на то, что 17 марта 1909 г. вышел приказ о переводе его командующим войсками Виленского округа, С.К. Гершельман, согласно высочайшему повелению, продолжал исполнять прежние обязанности до 15 апреля 1909 г. Скончался в г. Вильно. 22 ноября 1910 г. погребен в Александро-Невской лавре (С.-Петербург).