Теорема Вейерштрасса о приближении многочленами (подробно)

Упрощённую версию можно найти в этой заметке.

Теорема Вейерштрасса о приближении многочленами

Основная идея аппроксимационной теоремы Вейерштрасса заключается в том, что любую функцию, непрерывную на замкнутом промежутке (отрезке), можно с произвольной наперед заданной точностью равномерно приблизить обыкновенным алгебраическим многочленом.

1. Теорема Вейерштрасса

Пусть функция $f(x)$ непрерывна на отрезке $[a,b]$, то есть $f\in C[a,b]$. Тогда для любого $\epsilon >0$ существует такой алгебраический многочлен $P(x)$, что для всех $x\in [a,b]$ выполнено неравенство:

$$|f(x)-P(x)|<\epsilon$$

Замечание: Данное свойство эквивалентно тому, что существует последовательность многочленов $\{P_n(x)\}$, равномерно сходящаяся к функции $f(x)$ на отрезке $[a,b]$. На лекции мы говорили о том, что $su{p}_{x\in [a,b]}|f(x)-P(x)|<\epsilon$ или $max$ вместо $sup$

2. Доказательство через многочлены Бернштейна

Для простоты изложения (без ограничения общности) перейдем от произвольного отрезка $[a,b]$ к отрезку $[0,1]$ с помощью линейной замены переменной.

1. Определение многочленов Бернштейна

Это так чисто напомнить про многочлены Бернштейна Все доказательства тождеств есть тут: Многочлены Бернштейна

Теорема Вейерштрасса о приближении многочленами

Многочлены Бернштейна позволяют конструктивно доказать теорему Вейерштрасса

Многочлены Бернштейна

Определение

Пусть $f(x)$ — функция, непрерывная на отрезке $[0,1]$. Многочленом Бернштейна степени $n$ для функции $f$ называется выражение вида:

$$B_n(f;x)=\sum _{k=0}^{n}f\left(\frac{k}{n}\right)p_{n,k}(x),\text{где }{p}_{n,k}(x)=C_n^k{x}^k(1-x{)}^{n-k}$$

Здесь $C_n^k=\frac{n!}{k!(n-k)!}$ — биномиальные коэффициенты.

Вероятностная интерпретация

Рассмотрим схему из $n$ независимых испытаний Бернулли с вероятностью успеха $x\in ⟨0,1⟩$. Пусть $S_n$ — случайная величина, равная количеству успехов. Вероятность того, что произойдет ровно $k$ успехов, задается формулой:

$$P(S_n=k)=C_n^k{x}^k(1-x{)}^{n-k}$$

Известно, что для данной случайной величины математическое ожидание $E[S_n]=nx$, а дисперсия $D(S_n)=nx(1-x)$.

1. Первое тождество

$$\sum _{k=0}^n{C}_n^k{x}^k(1-x{)}^{n-k}=1$$

Доказательство

• Данная сумма представляет собой полную вероятность всех возможных исходов в схеме из $n$ испытаний:

  $$\sum _{k=0}^{n}P(S_n=k)=1$$

• Согласно формуле бинома Ньютона, это выражение тождественно равно $(x+(1-x){)}^n=1^n=1$.

2. Второе тождество

$$\sum _{k=0}^n\frac{k}{n}{C}_n^k{x}^k(1-x{)}^{n-k}=x$$

Доказательство

• Выражение в левой части можно записать через математическое ожидание случайной величины $S_n$:

  $$\sum _{k=0}^n\frac{k}{n}P(S_n=k)=\frac{1}{n}E[S_n]$$

• Так как $E[S_n]=nx$, получаем:

  $$\frac{1}{n}(nx)=x$$

3. Третье тождество

$$\sum _{k=0}^n\frac{k^2}{n^2}{C}_n^k{x}^k(1-x{)}^{n-k}=x^2+\frac{x(1-x)}{n}$$

Доказательство

• Левая часть есть математическое ожидание квадрата величины $S_n/n$:

  $$\sum _{k=0}^n\frac{k^2}{n^2}P(S_n=k)=E\left[{\left(\frac{S_n}{n}\right)}^2\right]=\frac{1}{n^2}E[S_n^2]$$

• Используя связь момента второго порядка с дисперсией $E[S_n^2]=D(S_n)+(E[S_n]{)}^2$:

  $$E[S_n^2]=nx(1-x)+(nx{)}^2=nx(1-x)+n^2{x}^2$$

• Подставляя это в выражение:

  $$\frac{nx(1-x)+n^2{x}^2}{n^2}=\frac{nx(1-x)}{n^2}+\frac{n^2{x}^2}{n^2}=\frac{x(1-x)}{n}+x^2$$

  Что и требовалось доказать.

Ссылка на оригинал

2. Вспомогательные тождества

Для доказательства нам понадобятся три базовых соотношения, вытекающих из формулы бинома Ньютона.

• Тождество 1: $$\sum _{k=0}^n{C}_n^k{x}^k(1-x{)}^{n-k}=1$$
• Тождество 2: $$\sum _{k=0}^n\frac{k}{n}{C}_n^k{x}^k(1-x{)}^{n-k}=x$$
• Тождество 3: $$\sum _{k=0}^n\frac{k^2}{n^2}{C}_n^k{x}^k(1-x{)}^{n-k}=x^2+\frac{x(1-x)}{n}$$

3. Вывод ключевого неравенства

Используя полученные три тождества, преобразуем сумму, содержащую квадрат отклонения узла $\frac{k}{n}$ от точки $x$:

$$\sum _{k=0}^n{\left(x-\frac{k}{n}\right)}^2{C}_n^k{x}^k(1-x{)}^{n-k}=$$ $$=\sum _{k=0}^n\left(x^2-2x\frac{k}{n}+\frac{k^2}{n^2}\right)C_n^k{x}^k(1-x{)}^{n-k}=$$ $$=x^2\cdot 1-2x\cdot x+\left(x^2+\frac{x(1-x)}{n}\right)=\frac{x(1-x)}{n}$$

Поскольку на отрезке $[0,1]$ максимальное значение функции $x(1-x)$ достигается в точке $x=\frac{1}{2}$ и равно $\frac{1}{4}$, мы получаем фундаментальную оценку:

$$\sum _{k=0}^n{\left(x-\frac{k}{n}\right)}^2{C}_n^k{x}^k(1-x{)}^{n-k}\le \frac{1}{4n}$$

4. Доказательство равномерной сходимости

Покажем теперь, что при $n\to \infty$ разность $|f(x)-B_n(f;x)|\to 0$ равномерно по всем $x\in [0,1]$.

• Пользуясь Тождеством 1, запишем функцию $f(x)$ в виде:

  $$f(x)=f(x)\cdot 1=\sum _{k=0}^{n}f(x)C_n^k{x}^k(1-x{)}^{n-k}$$

• Тогда разность между функцией и многочленом Бернштейна равна:

  $$|f(x)-B_n(f;x)|=\left|\sum _{k=0}^n\left(f(x)-f\left(\frac{k}{n}\right)\right)C_n^k{x}^k(1-x{)}^{n-k}\right|\le$$ $$\le \sum _{k=0}^n\left|f(x)-f\left(\frac{k}{n}\right)\right|C_n^k{x}^k(1-x{)}^{n-k}$$

• Зафиксируем произвольное $\epsilon >0$. В силу теоремы Кантора, непрерывная на замкнутом отрезке $[0,1]$ функция $f(x)$ является равномерно непрерывной на нем. Это значит, что для нашего $\epsilon$ существует такое $\delta >0$, что для любых точек $x,y\in [0,1]$, удовлетворяющих условию $|x-y|<\delta$, выполнено:

  $$|f(x)-f(y)|<\frac{\epsilon }{2}$$

• Функция $f(x)$ непрерывна на компактном множестве, а значит, ограничена на нем по теореме Вейерштрасса (ограниченность непрерывной функции):

  $$|f(x)|\le M,\forall x\in [0,1]$$

• Разобьем всю сумму индексации $\{0,1,\dots ,n\}$ на две группы в зависимости от расстояния между точкой $x$ и узлом $\frac{k}{n}$:

  • Множество $K_1$: индексы, для которых $\left|x-\frac{k}{n}\right|<\delta$.
  • Множество $K_2$: индексы, для которых $\left|x-\frac{k}{n}\right|\ge \delta$.

• Оценим первую сумму ${\Sigma }_1$ (по индексам из $K_1$):

  Для этих членов выполнено неравенство равномерной непрерывности $\left|f(x)-f\left(\frac{k}{n}\right)\right|<\frac{\epsilon }{2}$Вынося эту оценку за знак суммы, получаем:

  $${\Sigma }_1=\sum _{k\in K_1}\left|f(x)-f\left(\frac{k}{n}\right)\right|C_n^k{x}^k(1-x{)}^{n-k}<$$ $$<\frac{\epsilon }{2}\sum _{k\in K_1}{C}_n^k{x}^k(1-x{)}^{n-k}\le \frac{\epsilon }{2}\sum _{k=0}^n{C}_n^k{x}^k(1-x{)}^{n-k}=\frac{\epsilon }{2}$$

• Оценим вторую сумму ${\Sigma }_2$ (по индексам из $K_2$):

  Для этих членов расстояние велико, но мы можем использовать ограниченность функции:

  $$\left|f(x)-f\left(\frac{k}{n}\right)\right|\le |f(x)|+\left|f\left(\frac{k}{n}\right)\right|\le 2M$$

  Поскольку для этих членов выполнено неравенство $\frac{(x-k/n{)}^2}{{\delta }^2}\ge 1$, мы можем записать:

  $${\Sigma }_2=\sum _{k\in K_2}\left|f(x)-f\left(\frac{k}{n}\right)\right|C_n^k{x}^k(1-x{)}^{n-k}\le 2M\sum _{k\in K_2}{C}_n^k{x}^k(1-x{)}^{n-k}\le$$ $$\le 2M\sum _{k\in K_2}\frac{(x-\frac{k}{n}{)}^2}{{\delta }^2}{C}_n^k{x}^k(1-x{)}^{n-k}\le \frac{2M}{{\delta }^2}\sum _{k=0}^n{\left(x-\frac{k}{n}\right)}^2{C}_n^k{x}^k(1-x{)}^{n-k}$$

  Используя ранее доказанное базовое неравенство $\le \frac{1}{4n}$, окончательно получаем:

  $${\Sigma }_2\le \frac{2M}{{\delta }^2}\cdot \frac{1}{4n}=\frac{M}{2n{\delta }^2}$$

• Суммируя обе части, имеем оценку для любого $x\in [0,1]$:

  $$|f(x)-B_n(f;x)|\le {\Sigma }_1+{\Sigma }_2<\frac{\epsilon }{2}+\frac{M}{2n{\delta }^2}$$

• Выберем номер $N$ столь большим, чтобы для всех $n>N$ выполнялось неравенство $\frac{M}{2n{\delta }^2}<\frac{\epsilon }{2}$. Это возможно, так как величина $\frac{M}{2{\delta }^2}$ постоянна при фиксированном $\epsilon$ (и, соответственно, $\delta$). Таким образом, для любого $n>N$ выполнено:

  $$|f(x)-B_n(f;x)|<\frac{\epsilon }{2}+\frac{\epsilon }{2}=\epsilon$$

Поскольку выбор номера $N$ зависел исключительно от величин $M,\delta$ и $\epsilon$ и совершенно не зависел от точки $x\in [0,1]$, это доказывает равномерную сходимость последовательности полиномов Бернштейна к непрерывной функции $f(x)$.

Теорема полностью доказана.