Чваркова называли в прессе одним из организаторов подготовки к парламентским и президентским выборам в армии. По словам источника "Интерфакса", свою роль в его отставке могла сыграть скандальная история с публикацией в СМИ копии письма министра обороны Анатолия Сердюкова Владимиру Путину. В письме, датированном 5 декабря 2012 года, раскрывались результаты голосования военнослужащих на выборах в Госдуму 4 декабря. Согласно законодательству, такие данные могут быть доступны только Центральной избирательной комиссии.
В мае газета "Известия" сообщала о планах Чваркова уйти в отставку по собственному желанию. Сам генерал-майор подобные слухи опровергал. Возможным преемником Чваркова назывался полковник Александр Цыганков.
Сергей Чварков был назначен главным воспитателем Минобороны в июле 2011 года. На своей должности он сменил генерал-лейтенанта Анатолия Башлакова, отправленного в отставку в начале 2010 года по состоянию здоровья. Впоследствии Башлакова приговорили к семи годам лишения свободы за взятку.
