В 1433 году участвовал в заговоре, приведшем к падению всесильного фаворита Карла VII Жоржа де Ла Тремуй. После этого вошёл в состав королевского совета, где долгое время играл ведущую роль. Став новым фаворитом короля, вместе с матерью и братом герцогом Рене во многом стал определять политику королевства. Важные должности получили люди, близкие к анжуйскому клану: Жан де Бёй, Артур де Ришмон, Пьер де Брезе, Жан де Дюнуа.
С 1437 года участвовал в походах Карла VII против англичан. В 1440 году король назначил его губернатором Лангедока.
Недовольство засильем анжуйцев вылилось в так называемую Прагерию. Крупные феодалы во главе с дофином Людовиком требовали от короля отстранения Карла Мэнского и Артура де Ришмона. Восстание потерпело неудачу, его участники были помилованы.
В 1443 году женился на Изабелле Люксембургской, дочери Пьера I, графа де Сен-Поль. После этого король передал Карлу графство Гиз, отобранное им у брата Изабеллы Людовика Люксембургского. Однако вскоре Карл начал терять своё влияние. В 1445 году под влиянием фаворитки Агнессы Сорель король приблизил к себе Пьера де Брезе, а Карл Мэнский и его брат Рене Анжуйский оказались в опале. Только спустя десять лет граф Мэнский вернулся в королевский совет.
Определённое влияние имел в первые годы правления Людовика XI. Однако в 1464—1465 годах во время восстания Лиги общественного блага повёл себе довольно двусмысленно. Во время битвы при Монлери оставил короля и бежал с поля боя. Несмотря на это, король доверил ему вести переговоры с восставшими феодалами. Но после того как к Лиге присоединился Жан Лотарингский, племянник Карла, тот окончательно впал в немилость. Король отобрал у него губернаторство в Лангедоке и повелел удалиться в свои земли.