Сформулировал аналог доказательства теоремы Эвклида о параллелограммах и впервые использовал циклические знаки (ганьчи) как алгебраические обозначения неизвестных в линейных системах. Критиковал математиков, которые «меняют названия своих методов от задачи к задаче».
В 1261 году написал «Сянцзе цзючжан суаньфа» («Подробное разъяснение методов исчисления в девяти разделах“) в 12 цзяней с приложением „Цзючжан суань фацзуань лэй“ („Методы счисления в девяти разделах в последовательной классификации»). Каждая задача рассмотрена в трех аспектах: ее логики, числового решения, применения представленного метода для решения других подобных задач.
В 1275 году написал трактат «Тяньму би лэй чэнчу цзефа» («Эффективные методы умножения и деления при сравнении и классификации полей и пахоты») 2 цзяна, посвященный нахождению площадей (фан тянь), извлечению квадратных корней (кай фан) и матричным решениям линейных уравнений (фан чэн). Другая работа — «Сюйгу чжайци суаньфа» («Наследственная давняя коллекция редких методов счисления») — ценное собрание необычных и забытых математических текстов древних ученых, содержит, в частности, 13 видов магических квадратов от 3х3 до 10х10, впервые названных сроком цзунхенту («продольно-поперечное изображение»). Этот уникальный в истории мировой математики набор, кроме известного с древности квадрата Ло Шу, включает по два квадрата 4-8-го порядков и по одному 9-10-го. Три трактаты 1274-1275 позже объединились в «Ян Хуэй суаньфа» («Методы исчисления Ян Хуэя»).
В 1303 году, через 5 лет после смерти Яна Хуэя была выпущена книга «Яшмовое зеркало четырёх элементов» китайского математика Чжу Шицзе, в которой был изображен треугольник Паскаля на одной из иллюстраций, считается, что его изобрёл Ян Хуэй (поэтому китайцы называют его треугольником Яна Хуэя).
Источники
Lam Lay Yong. A Critical Study of the Yang Hui Suan Fa, 13th Century Chinese Mathematish Treatise. Singapore, 1977.
Needham, Joseph (1986). Science and Civilization in China: Volume 3, Mathematics and the Sciences of the Heavens and the Earth. Taipei: Caves Books, Ltd.