Он был похоронен на самаркандском кладбище Чокардиза, где, по преданию, погребены более 3000 учёных-богословов. Могила с надгробным камнем была разрушена в 1940-х годах. Мавзолей находится в центральной части города Самарканд, на территории так называемого старого города, между улицами Вабкентская, Бухарская и Гиждуванская, в примерно километре к юго-востоку от площади и ансамбля Регистан.
В 2000 году, по инициативе Первого президента Узбекистана И.Каримова по случаю 1225 летней годовщины со дня рождения Абу Мансура Мухаммада ибн Мухаммада аль-Матуриди, на месте разрушенного мавзолея был сооружен архитектурный комплекс занимающий площадь 4 гектара, в центре которого находится мавзолей учёного. На территории комплекса помимо самого мавзолея и могил учёных-богословов, разбит парк из зелёных насаждений.
Высота мавзолея составляет 12 метров, вместе с куполом 15 метров. Здание увенчано двойным куполом, внешний — ребристый — отделан голубой майоликой, барабан украшен 24 арками. На белом мраморном могильном камне вырезаны изречения учёного.
На западе от мавзолея расположено невысокое здание с куполом, с северной стороны помещено возвышение (суфа) с надгробными камнями IX—XVIII веков.
