В 1873 году поступил на службу по Министерству внутренних дел, где пробыл 6 лет, а затем перевёлся на службу в главное тюремное управление старшим делопроизводителем и уже в 1882 году назначен инспектором VI класса. В качестве последнего не раз был командирован для осмотра мест заключения гражданского ведомства и для указаний на месте порядка переустройства некоторых тюремных замков и пересыльной больницы в Москве. При его содействии улучшено санитарное состояние тюрем, введён закон об обязательном труде арестантов, во многих губерниях учреждены губернские тюремные инспекции.Шаблон:Ref
В 1886 году за результаты, достигнутые преобразованием порядка управления и хозяйства в санкт-петербургских местах заключения, ему объявлено монаршее благоволение.
В 1890 году назначен инспектором V класса и за труды по изданию Устава о ссыльных снова удостоен монаршего благоволения.
В 1892 году назначен помощником статс-секретаряГосударственного Совета в отделение государственной экономики, в 1895 г. он уже исправлял должность статс-секретаря, в 1897 году назначен статс-секретарём. С 1898 года потомственный дворянин.
С 29 января 1909 года — министр путей сообщения, сменил на этом посту генерал-лейтенанта Н. К. Шафгаузен-Шенберг-эк-Шауфуса. К тому времени ввод новых линий резко упал: если в 1906 году было открыто 2504 км путей, то в последующие годы этот показатель падает до нуля. Рухлов меняет эту тенденцию. Начиная с 1912 года прокладка железных дорог повышается до почти 5 тыс. верст в год. В 1913 году эксплуатационная длина сети составила 58,5 тыс. км.
В годы его управления повысилась и пропускная способность железных дорог. В Сормово был построен паровоз серии С, развивавший в пробных поездках скорость 110 км/ч.Шаблон:Ref
Выступал противником крупных монополий, считая их интересы противоположными интересам казны, и являлся сторонником усиления государственного влияния на экономику. Он осуществлял выкуп в казну частных железных дорог и добился бездефицитной работы железных дорог.
Благодаря четкой работе железных дорог мобилизация в России в связи с началом Первой мировой войны прошла в установленные срокиШаблон:Ref.
10 октября 1915 годаимператрица Александра Фёдоровна пишет императору : «Хвостов говорит, что виноват во всем Рухлов, так как он стар и не ездит сам посмотреть, как идут дела»Шаблон:Ref. Несколько дней спустя, объединённое заседание совещания по перевозкам и совещания по обороне решает «считать деятельность Министерства путей сообщения не вполне соответствующей тому, что надо было делать во время настоящей войны»Шаблон:Ref.
Рухлов подал в отставку и 27 октября 1915 года был освобожден по болезни с награждением бриллиантовыми знаками к ордену св. Александра Невского. Его преемником на посту стал А. Ф. Трепов, занявший менее чем через год пост председателя Совета министров.
29 августа 1918 года арестован в Ессентуках ЧК Северного Кавказа, содержался в Пятигорске в составе группы заложников по делу «О покушении на жизнь вождей пролетариата» и был вместе с ними зарублен шашками на горе МашукШаблон:Ref. Расправой руководил чекист Атарбеков. Дата казни в источниках приводится разная.
По инициативе Рухлова 11 марта 1901 года образовано «Общество вспомоществования учащимся в Санкт-Петербурге вологжанам» (с 1904 года — Общество вспомоществования вологжанам в Санкт-Петербурге). Сергей Васильевич избран был его первым председателем, а позднее — почётным членом.Шаблон:Ref
Принимал участие в работе различных комиссий. В 1904 году стал одним из инициаторов образования и первым председателем Российского морского союза. Был избран председателем Общества российского морского права.
В 1906 году выступил как один из соучредителей Северного кружка любителей изящных искусств[2]. Оказывал материальную помощь в осуществлении деятельности кружка, благодаря авторитету С. В. Рухлова в Санкт-Петербурге в выставках кружка в Вологде участвовали столичные художники[3].
Покровительствовал организациям правого и ультраправого толка, в том числе Союзу русского народа.
Единственный в Совете министров голосовал против циркуляра, позволяющего открыть евреям свободное поселение с правом приобретения недвижимого имущества повсюду в Империи за исключением столиц, сельских местностей, казачьих областей и района ЯлтыШаблон:Ref.
мать, Рухлова, рожд. Кузнецова, Екатерина Кузьминична
Жена:
Емельянова Екатерина Ефимовна
Дети:
Вера (04.09.1879—?). В 1904 году вышла замуж[5] за н.с. Павла Ивановича Мессароша;
Файл:Lidia rukhlova.jpgЛидия Сергеевна РухловаЛидия Сергеевна Рухлова, в замужестве Соловьёва (20.05.1883—1957, Тбилиси). В 1906 году вышла замуж[6] за инженера Петра Евграфовича Соловьёва, одного из руководителей строительства железной дороги Петроград-Мурманск.
Игорь (08.04.1885—?) — выпускник Александровского лицея (1906), камер-юнкер, перед 1917 годом — столоначальник Департамента железнодорожных дел Министерства финансов; женат на Ферапонтовой Анне Иосифовне (род. 10.10.1889) в г. Ельце Орловской Губернии, (ум. в августе 1969); женат[7] в 1908 на Чебыкиной Александре Александровне (1890- после 1941), женат на Нечиной Надежде Матвеевне (1915—1964).
Список гражданским чинам первых трех классов. — Петроград, Сенатская типография, 1914 г.
[ldn-knigi.lib.ru/R/Tiazel_Dni.htm Тяжелые дни. Секретные заседания Совета Министров, 16 июля — 2 Сентября 1915.)] Сост. Яхонтов А. Н. — АРР, 1926, т. XVIII. — С. 47-48, 57.
Шилов Д. Н. Государственные деятели Российской империи : Главы высших и центральных учреждений, 1802—1917 : Биобиблиографический справочник. 2-е изд. — СПб., 2002. — С. 643—645. — ISBN 5-86007-144-2.
Гуркина Н. К., Павлов В. Е. Из вологодских крестьян — в царские министры // История Петербурга. 2011. № 5.
