Представитель древнего австрийского баронско-графско-княжеского рода. Старший сын имперского губернатора Ломбардии графа Иеронима фон Коллоредо-Вальдзее. Матерью была Йоханна Каролина, дочь австрийского государственного министра Венцеля Норберта графа Кински фон Вхиница и Теттау.
Образование получил в Милане, Праге и Вене. При поддержке своего тестя Коллоредо-Вальдзее сделал быструю карьеру на имперской службе. Уже в 22 года стал надворным советником. С 1731 по 1734 год был посланником Чешского королевства в Вечном Рейхстаге в Регенсбурге. Также был имперским посланником при различных князьях империи и полномочным министром в имперских округах и уполномоченным по выборам епископов в Аугсбурге.
После восшествия на престол императора Карла VII ушёл в отставку, но оставался послом на австрийской службе.
В 1745 году, после преждевременной смерти императора, Коллоредо-Вальдзее подписал мирный договор между Баварией и Австрией от имени Австрии. Когда был избран император Франц I Стефан, Коллоредо присутствовал как представитель электората Богемии. После избрания император назначил его имперским вице-канцлером. При Иосифе II Коллоредо потерял влияние, император также пытался внести изменения в дела канцелярии императорского двора.
