Клан восходит от сэра Саймона Фрейзера, который женился на леди Маргарет Синклер, дочерью графа Кейтнесса. Именно он приобрел земли клана Биссет вокруг Бьюли.
В документе, датированном 12 сентября1367 года, Хью Фрейзер именуется, как лэрд Ловат и владелец Эрда. До 1422 года Фрейзеры из Ловата расширили свои владения, включив Стретерик около Лох-Несса.
Около 1460 года Хью Фрейзер, 6-й лэрд Ловат, стал первым лордом Лаватом.
В 1544 году возник спор между Фрейзерами из Ловата и Макдональдами с Кланраналда, которая повлекла битву, вошедшую в историю под названием «Битва рубашек» (англ. Battle of the Shirts).
Саймон Фрейзер, 11-й лорд Ловат (1667—1747), прозванный «Лисом», поскольку одновременно вел переговоры и с представителями правительства и с якобитами, был последним дворянином, который был обезглавлен на Тауэр-Хилл в 1747 году. Решением парламента титул лорда Ловата был аннулирован, а имения перешли в государственную собственность. В 1774 году собственность на землю, но не на титул, была возвращена старшему сыну, генерал-лейтенантуСаймону Фрейзеру, мастеру Ловата (1726—1782).
Начальная линия рода оборвалась со смертью в 1815 году младшего брата мастера Саймона Фрейзера — Арчибальда Фрейзера (1736—1815). Имения перешли к ближайшему мужчине-наследнику — Томасу Александру Фрейзеру (1802—1875), 10-го лэрду Стричена (Абердиншир), который в 1837 году был признан бароном Ловатом, а в 1857 году стал 12-м лордом Ловатом.
