Английская Википедия:Edgeworth series

The Gram–Charlier A series (named in honor of Jørgen Pedersen Gram and Carl Charlier), and the Edgeworth series (named in honor of Francis Ysidro Edgeworth) are series that approximate a probability distribution in terms of its cumulants.^[1] The series are the same; but, the arrangement of terms (and thus the accuracy of truncating the series) differ.^[2] The key idea of these expansions is to write the characteristic function of the distribution whose probability density function Шаблон:Mvar is to be approximated in terms of the characteristic function of a distribution with known and suitable properties, and to recover Шаблон:Mvar through the inverse Fourier transform.

Gram–Charlier A series

We examine a continuous random variable. Let <math>\hat{f}</math> be the characteristic function of its distribution whose density function is Шаблон:Mvar, and <math>\kappa_r</math> its cumulants. We expand in terms of a known distribution with probability density function Шаблон:Math, characteristic function <math>\hat{\psi}</math>, and cumulants <math>\gamma_r</math>. The density Шаблон:Math is generally chosen to be that of the normal distribution, but other choices are possible as well. By the definition of the cumulants, we have (see Wallace, 1958)^[3]

<math>\hat{f}(t)= \exp\left[\sum_{r=1}^\infty\kappa_r\frac{(it)^r}{r!}\right]</math> and

<math> \hat{\psi}(t)=\exp\left[\sum_{r=1}^\infty\gamma_r\frac{(it)^r}{r!}\right],</math>

which gives the following formal identity:

<math>\hat{f}(t)=\exp\left[\sum_{r=1}^\infty(\kappa_r-\gamma_r)\frac{(it)^r}{r!}\right]\hat{\psi}(t)\,.</math>

By the properties of the Fourier transform, <math>(it)^r \hat{\psi}(t)</math> is the Fourier transform of <math>(-1)^r[D^r\psi](-x)</math>, where Шаблон:Mvar is the differential operator with respect to Шаблон:Mvar. Thus, after changing <math>x</math> with <math>-x</math> on both sides of the equation, we find for Шаблон:Mvar the formal expansion

<math>f(x) = \exp\left[\sum_{r=1}^\infty(\kappa_r - \gamma_r)\frac{(-D)^r}{r!}\right]\psi(x)\,.</math>

If Шаблон:Math is chosen as the normal density

<math>\phi(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right]</math>

with mean and variance as given by Шаблон:Mvar, that is, mean <math>\mu = \kappa_1</math> and variance <math>\sigma^2 = \kappa_2</math>, then the expansion becomes

<math>f(x) = \exp\left[\sum_{r=3}^\infty\kappa_r\frac{(-D)^r}{r!}\right] \phi(x),</math>

since <math> \gamma_r=0</math> for all Шаблон:Mvar > 2, as higher cumulants of the normal distribution are 0. By expanding the exponential and collecting terms according to the order of the derivatives, we arrive at the Gram–Charlier A series. Such an expansion can be written compactly in terms of Bell polynomials as

<math>\exp\left[\sum_{r=3}^\infty\kappa_r\frac{(-D)^r}{r!}\right] = \sum_{n=0}^\infty B_n(0,0,\kappa_3,\ldots,\kappa_n)\frac{(-D)^n}{n!}. </math>

Since the n-th derivative of the Gaussian function <math>\phi</math> is given in terms of Hermite polynomial as

<math>\phi^{(n)}(x) = \frac{(-1)^n}{\sigma^n} He_n \left( \frac{x-\mu}{\sigma} \right) \phi(x),</math>

this gives us the final expression of the Gram–Charlier A series as

<math> f(x) = \phi(x) \sum_{n=0}^\infty \frac{1}{n! \sigma^n} B_n(0,0,\kappa_3,\ldots,\kappa_n) He_n \left( \frac{x-\mu}{\sigma} \right).</math>

Integrating the series gives us the cumulative distribution function

<math> F(x) = \int_{-\infty}^x f(u) du = \Phi(x) - \phi(x) \sum_{n=3}^\infty \frac{1}{n! \sigma^{n-1}} B_n(0,0,\kappa_3,\ldots,\kappa_n) He_{n-1} \left( \frac{x-\mu}{\sigma} \right), </math>

where <math>\Phi</math> is the CDF of the normal distribution.

If we include only the first two correction terms to the normal distribution, we obtain

<math> f(x) \approx \frac{1}{\sqrt{2\pi}\sigma}\exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right]\left[1+\frac{\kappa_3}{3!\sigma^3}He_3\left(\frac{x-\mu}{\sigma}\right)+\frac{\kappa_4}{4!\sigma^4}He_4\left(\frac{x-\mu}{\sigma}\right)\right]\,,</math>

with <math>He_3(x)=x^3-3x</math> and <math>He_4(x)=x^4 - 6x^2 + 3</math>.

Note that this expression is not guaranteed to be positive, and is therefore not a valid probability distribution. The Gram–Charlier A series diverges in many cases of interest—it converges only if <math>f(x)</math> falls off faster than <math>\exp(-(x^2)/4)</math> at infinity (Cramér 1957). When it does not converge, the series is also not a true asymptotic expansion, because it is not possible to estimate the error of the expansion. For this reason, the Edgeworth series (see next section) is generally preferred over the Gram–Charlier A series.

The Edgeworth series

Edgeworth developed a similar expansion as an improvement to the central limit theorem.^[4] The advantage of the Edgeworth series is that the error is controlled, so that it is a true asymptotic expansion.

Let <math>\{Z_i\}</math> be a sequence of independent and identically distributed random variables with finite mean <math>\mu</math> and variance <math>\sigma^2</math>, and let <math>X_n</math> be their standardized sums:

<math>X_n = \frac{1}{\sqrt{n}} \sum_{i=1}^n \frac{Z_i - \mu}{\sigma}.</math>

Let <math>F_n</math> denote the cumulative distribution functions of the variables <math>X_n</math>. Then by the central limit theorem,

<math>

   \lim_{n\to\infty} F_n(x) = \Phi(x) \equiv \int_{-\infty}^x \tfrac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}q^2}dq
 </math>

for every <math>x</math>, as long as the mean and variance are finite.

The standardization of <math>\{Z_i\}</math> ensures that the first two cumulants of <math>X_n</math> are <math>\kappa_1^{F_n} = 0</math> and <math>\kappa_2^{F_n} = 1.</math> Now assume that, in addition to having mean <math>\mu</math> and variance <math>\sigma^2</math>, the i.i.d. random variables <math>Z_i</math> have higher cumulants <math> \kappa_r</math>. From the additivity and homogeneity properties of cumulants, the cumulants of <math>X_n</math> in terms of the cumulants of <math>Z_i</math> are for <math>r \geq 2</math>,

<math> \kappa_r^{F_n} = \frac{n \kappa_r}{\sigma^r n^{r/2}} = \frac{\lambda_r}{n^{r/2 - 1}} \quad \mathrm{where} \quad \lambda_r = \frac{\kappa_r}{\sigma^r}. </math>

If we expand the formal expression of the characteristic function <math>\hat{f}_n(t)</math> of <math>F_n</math> in terms of the standard normal distribution, that is, if we set

<math>\phi(x)=\frac{1}{\sqrt{2\pi}}\exp(-\tfrac{1}{2}x^2),</math>

then the cumulant differences in the expansion are

<math> \kappa^{F_n}_1-\gamma_1 = 0,</math>

<math> \kappa^{F_n}_2-\gamma_2 = 0,</math>

<math> \kappa^{F_n}_r-\gamma_r = \frac{\lambda_r}{n^{r/2-1}}; \qquad r\geq 3.</math>

The Gram–Charlier A series for the density function of <math>X_n</math> is now

<math> f_n(x) = \phi(x) \sum_{r=0}^\infty \frac{1}{r!} B_r \left(0,0,\frac{\lambda_3}{n^{1/2}},\ldots,\frac{\lambda_r}{n^{r/2-1}}\right) He_r(x).</math>

The Edgeworth series is developed similarly to the Gram–Charlier A series, only that now terms are collected according to powers of <math>n</math>. The coefficients of n^−m/2 term can be obtained by collecting the monomials of the Bell polynomials corresponding to the integer partitions of m. Thus, we have the characteristic function as

<math> \hat{f}_n(t)=\left[1+\sum_{j=1}^\infty \frac{P_j(it)}{n^{j/2}}\right] \exp(-t^2/2)\,,</math>

where <math>P_j(x)</math> is a polynomial of degree <math>3j</math>. Again, after inverse Fourier transform, the density function <math>f_n</math> follows as

<math> f_n(x) = \phi(x) + \sum_{j=1}^\infty \frac{P_j(-D)}{n^{j/2}} \phi(x)\,.</math>

Likewise, integrating the series, we obtain the distribution function

<math> F_n(x) = \Phi(x) + \sum_{j=1}^\infty \frac{1}{n^{j/2}} \frac{P_j(-D)}{D} \phi(x)\,. </math>

We can explicitly write the polynomial <math>P_m(-D)</math> as

<math> P_m(-D) = \sum \prod_i \frac{1}{k_i!} \left(\frac{\lambda_{l_i}}{l_i!}\right)^{k_i} (-D)^s,</math>

where the summation is over all the integer partitions of m such that <math>\sum_i i k_i = m</math> and <math>l_i = i+2</math> and <math>s = \sum_i k_i l_i.</math>

For example, if m = 3, then there are three ways to partition this number: 1 + 1 + 1 = 2 + 1 = 3. As such we need to examine three cases:

1 + 1 + 1 = 1 · k₁, so we have k₁ = 3, l₁ = 3, and s = 9.
1 + 2 = 1 · k₁ + 2 · k₂, so we have k₁ = 1, k₂ = 1, l₁ = 3, l₂ = 4, and s = 7.
3 = 3 · k₃, so we have k₃ = 1, l₃ = 5, and s = 5.

Thus, the required polynomial is

<math>

\begin{align} P_3(-D) &= \frac{1}{3!} \left(\frac{\lambda_3}{3!}\right)^3 (-D)^9 + \frac{1}{1! 1!} \left(\frac{\lambda_3}{3!}\right) \left(\frac{\lambda_4}{4!}\right) (-D)^7 + \frac{1}{1!} \left(\frac{\lambda_5}{5!}\right) (-D)^5 \\ &= \frac{\lambda_3^3}{1296} (-D)^9 + \frac{\lambda_3 \lambda_4}{144} (-D)^7 + \frac{\lambda_5}{120} (-D)^5. \end{align} </math>

The first five terms of the expansion are^[5]

<math>\begin{align}

f_n(x) &= \phi(x) \\ &\quad -\frac{1}{n^{\frac{1}{2}}}\left(\tfrac{1}{6}\lambda_3\,\phi^{(3)}(x) \right) \\ &\quad +\frac{1}{n}\left(\tfrac{1}{24}\lambda_4\,\phi^{(4)}(x) + \tfrac{1}{72}\lambda_3^2\,\phi^{(6)}(x) \right) \\ &\quad -\frac{1}{n^{\frac{3}{2}}}\left(\tfrac{1}{120}\lambda_5\,\phi^{(5)}(x) + \tfrac{1}{144}\lambda_3\lambda_4\,\phi^{(7)}(x) + \tfrac{1}{1296}\lambda_3^3\,\phi^{(9)}(x)\right) \\ &\quad + \frac{1}{n^2}\left(\tfrac{1}{720}\lambda_6\,\phi^{(6)}(x) + \left(\tfrac{1}{1152}\lambda_4^2 + \tfrac{1}{720}\lambda_3\lambda_5\right)\phi^{(8)}(x) + \tfrac{1}{1728}\lambda_3^2\lambda_4\,\phi^{(10)}(x) + \tfrac{1}{31104}\lambda_3^4\,\phi^{(12)}(x) \right)\\ &\quad + O \left (n^{-\frac{5}{2}} \right ). \end{align}</math>

Here, Шаблон:Math is the j-th derivative of Шаблон:Math at point x. Remembering that the derivatives of the density of the normal distribution are related to the normal density by <math>\phi^{(n)}(x) = (-1)^n He_n(x)\phi(x)</math>, (where <math>He_n</math> is the Hermite polynomial of order n), this explains the alternative representations in terms of the density function. Blinnikov and Moessner (1998) have given a simple algorithm to calculate higher-order terms of the expansion.

Note that in case of a lattice distributions (which have discrete values), the Edgeworth expansion must be adjusted to account for the discontinuous jumps between lattice points.^[6]

Illustration: density of the sample mean of three χ² distributions

Файл:Edgeworth expansion of the density of the sample mean of three Chi2 variables.png

Density of the sample mean of three chi2 variables. The chart compares the true density, the normal approximation, and two Edgeworth expansions.

Take <math> X_i \sim \chi^2(k=2), \, i=1, 2, 3 \, (n=3)</math> and the sample mean <math> \bar X = \frac{1}{3} \sum_{i=1}^{3} X_i </math>.

We can use several distributions for <math> \bar X </math>:

The exact distribution, which follows a gamma distribution: <math> \bar X \sim \mathrm{Gamma}\left(\alpha=n\cdot k /2, \theta= 2/n \right)=\mathrm{Gamma}\left(\alpha=3, \theta= 2/3 \right)</math>.
The asymptotic normal distribution: <math> \bar X \xrightarrow{n \to \infty} N(k, 2\cdot k /n ) = N(2, 4/3 )</math>.
Two Edgeworth expansions, of degrees 2 and 3.

Discussion of results

For finite samples, an Edgeworth expansion is not guaranteed to be a proper probability distribution as the CDF values at some points may go beyond <math>[0,1]</math>.
They guarantee (asymptotically) absolute errors, but relative errors can be easily assessed by comparing the leading Edgeworth term in the remainder with the overall leading term.^[2]

References

Шаблон:Reflist

Партнерские ресурсы
Криптовалюты	Обмен криптовалют - www.bestchange.ru Криптовалютная биржа CoinEx Криптовалютная биржа Binance HIVE OS - операционная система для майнинга e4pool - Мультивалютный пул для майнинга.
Магазины	AliExpress — глобальная виртуальная (в Интернете) торговая площадка, предоставляющая возможность покупать товары производителей из КНР; computeruniverse.net - Интернет-магазин компьютеров(Промо код 5 Евро на первую покупку:FWWC3ZKQ);
Хостинг	DigitalOcean - американский провайдер облачных инфраструктур, с главным офисом в Нью-Йорке и с центрами обработки данных по всему миру;
Разное	Викиум - Онлайн-тренажер для мозга Like Центр - Центр поддержки и развития предпринимательства. Gamersbay - лучший магазин по бустингу для World of Warcraft. Ноотропы OmniMind N°1 - Усиливает мозговую активность. Повышает мотивацию. Улучшает память. Санкт-Петербургская школа телевидения - это федеральная сеть образовательных центров, которая имеет филиалы в 37 городах России. Lingualeo.com — интерактивный онлайн-сервис для изучения и практики английского языка в увлекательной игровой форме. Junyschool (Джунискул) – международная школа программирования и дизайна для детей и подростков от 5 до 17 лет, где ученики осваивают компьютерную грамотность, развивают алгоритмическое и креативное мышление, изучают основы программирования и компьютерной графики, создают собственные проекты: игры, сайты, программы, приложения, анимации, 3D-модели, монтируют видео. Умназия - Интерактивные онлайн-курсы и тренажеры для развития мышления детей 6-13 лет SkillBox - это один из лидеров российского рынка онлайн-образования. Среди партнеров Skillbox ведущий разработчик сервисного дизайна AIC, медиа-компания Yoola, первое и самое крупное русскоязычное аналитическое агентство Tagline, онлайн-школа дизайна и иллюстрации Bang! Bang! Education, оператор PR-рынка PACO, студия рисования Draw&Go, агентство performance-маркетинга Ingate, scrum-студия Sibirix, имидж-лаборатория Персона. «Нетология» — это университет по подготовке и дополнительному обучению специалистов в области интернет-маркетинга, управления проектами и продуктами, дизайна, Data Science и разработки. В рамках Нетологии студенты получают ценные теоретические знания от лучших экспертов Рунета, выполняют практические задания на отработку полученных навыков, общаются с экспертами и единомышленниками. Познакомиться со всеми продуктами подробнее можно на сайте https://netology.ru, линейка курсов и профессий постоянно обновляется. StudyBay Brazil – это онлайн биржа для португалоговорящих студентов и авторов! Студент получает уникальную работу любого уровня сложности и больше свободного времени, в то время как у автора появляется дополнительный заработок и бесценный опыт. Автор24 — самая большая в России площадка по написанию учебных работ: контрольные и курсовые работы, дипломы, рефераты, решение задач, отчеты по практике, а так же любой другой вид работы. Сервис сотрудничает с более 70 000 авторов. Более 1 000 000 работ уже выполнено. StudyBay – это онлайн биржа для англоязычных студентов и авторов! Студент получает уникальную работу любого уровня сложности и больше свободного времени, в то время как у автора появляется дополнительный заработок и бесценный опыт.

Английская Википедия:Edgeworth series

Содержание

Gram–Charlier A series

The Edgeworth series

Illustration: density of the sample mean of three χ² distributions

Discussion of results

See also

References

Further reading

Навигация

Действия на странице

Действия на странице

Персональные инструменты

Навигация

Поиск

Инструменты