Русская Википедия:Суффиксный автомат

Содержание

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Текст

Шаблон:Структура данных Су́ффиксный автома́т (Шаблон:Lang-en) — структура данных, позволяющая хранить в сжатом виде и обрабатывать информацию, связанную с подстроками данной строки. Представляет собой детерминированный конечный автомат, принимающий все суффиксы слова <math>S=s_1 s_2 \dots s_n</math> и только их, и обладающий наименьшим возможным числом состояний среди всех таких автоматов. Менее формально, суффиксный автомат — это ориентированный ациклический граф с выделенной начальной вершиной и набором «финальных» вершин, дуги которого помечены символами, такой что у любой вершины символы на исходящих из неё дугах попарно различны и для любого суффикса слова <math>S</math> существует путь из начальной вершины в некоторую финальную вершину, символы на котором при конкатенации образуют данный суффикс. Из всех графов, удовлетворяющих данному описанию, суффиксным автоматом называется тот, который обладает наименьшим возможным числом вершинШаблон:Переход.

Суффиксный автомат был впервые описан группой учёных из Денверского и Колорадского университетов в 1983 году, они же показали, что размер автомата линейно зависит от длины <math>S</math>, а также предложили Шаблон:Не переведено 5 для его построения с линейным временем работыШаблон:Переход. В дальнейших работах на эту тему была обнаружена тесная связь суффиксного автомата с суффиксными деревьямиШаблон:Переход, а сама концепция суффиксного автомата получила различные обобщения. Так были введены сжатый суффиксный автомат, получаемый из исходного процедурой, аналогичной той, которая применяется к суффиксному бору для получения суффиксного дерева, а также обобщённый суффиксный автомат, который строится для набора слов <math>S_1, S_2, \dots, S_k</math> и принимает слова, являющиеся суффиксами хотя бы одного из данныхШаблон:Переход.

С помощью суффиксного автомата можно эффективно решать такие задачи как поиск подстроки в строке, определение наибольшей общей подстроки двух и более строк и другиеШаблон:Переход.

История

Файл:Anselm Blumer with DAWG.jpg

Ансельм Блумер, на доске изображён сжатый суффиксный автомат для строк ababc и abcab

Концепция суффиксного автомата была представлена группой учёных из Денверского и Колорадского университетов Ансельмом Блумером, Шаблон:Не переведено 5, Шаблон:Не переведено 5, Россом МакКоннеллом и Джанет Блумер в 1983 году, хотя связанные с ним структуры встречались ранее в работах Питера Вайнера, Вона Пратта и Анатолия Олесьевича Слисенко, посвящённых алгоритмам построения суффиксных деревьев. В той же работе Блумер и другие показали, что построенный по слову <math>S</math> длины больше <math>1</math> автомат содержит не больше <math>2|S|-1</math> состояний и не больше <math>3|S|-4</math> переходов, а также привели линейный алгоритм построения автомата.

В 1983 году Му Тянь Чэнь и Джоэл Сейферас независимо разработали алгоритм построения суффиксного автомата, показывающий, что алгоритм Вайнера, предложенный в 1973 году для построения суффиксного дерева слова <math>S</math>, также строит суффиксный автомат для обращённого слова <math display="inline">S^R</math> в качестве вспомогательной структуры. В 1987 году Блумер и другие, по аналогии с суффиксным деревом, описали сжатый суффикный автомат, получаемый из суффиксного автомата удалением нефинальных состояний с полустепенью исхода, равной единице, а в 1997 году Шаблон:Iw и Рено Верин разработали линейный алгоритм для его прямого построения. В 2001 году Сюнсукэ Инэнага и другие разработали линейный онлайн-алгоритм для построения сжатого суффиксного автомата, а также линейный алгоритм для построения сжатого суффиксного автомата для набора слов, заданного префиксным деревом.

В своей исходной работе Блумер с коллегами определили описанную ими структуру как минимальный автомат, распознающий все подстроки (а не суффиксы) данного слова. Данную структуру они назвали ориентированным ациклическим графом слов (Шаблон:Lang-en). Впоследствии данное название также использовалось как синоним Шаблон:Не переведено 5 — минимального автомата, распознающего произвольный конечный набор слов (не обязательно составляющих множество суффиксов или подстрок некоторой строки).

Обозначения

При описании суффиксных автоматов и связанных с ними фактов и теорем часто используются обозначения из теории формальных языков в целом и теории автоматов в частности:

• Алфавит — конечное множество <math>\Sigma</math>, из которого могут состоять слова. Его элементы называются символами;
• Слово — конечная последовательность символов алфавита <math>\omega = \omega_1 \omega_2 \dots \omega_n</math>. Длина слова <math>\omega</math> обозначается как <math>|\omega|=n</math>;
• Формальный язык — некоторое множество слов над заданным алфавитом;
• Язык всех слов обозначается как <math>\Sigma^*</math>(здесь символ «*» несёт смысл звезды Клини), пустое слово (слово нулевой длины) — символом <math>\varepsilon</math>;
• Конкатенация (произведение) слов <math>\alpha = \alpha_1 \alpha_2 \dots \alpha_n</math> и <math>\beta = \beta_1 \beta_2 \dots \beta_m</math> обозначается как <math>\alpha \cdot \beta</math> или <math>\alpha\beta</math> и равна слову, получаемому приписыванием <math>\beta</math> к <math>\alpha</math> справа, то есть, <math>\alpha \beta = \alpha_1 \alpha_2 \dots \alpha_n \beta_1 \beta_2 \dots \beta_m</math>;
• Конкатенация языков <math>A</math> и <math>B</math> обозначается как <math>A \cdot B</math> или <math>AB</math> и равна множеству попарных конкатенаций <math>AB = \{\alpha \beta : \alpha \in A, \beta \in B\}</math>;
• Если слово <math>\omega\in\Sigma^*</math> представимо в виде <math>\omega = \alpha\gamma\beta</math>, где <math>\alpha,\beta,\gamma \in \Sigma^*</math>, то слова <math>\alpha</math>, <math>\beta</math> и <math>\gamma</math> называют префиксом, суффиксом и подсловом (подстрокой) слова <math>\omega</math> соответственно;
• Если <math>T_l T_{l+1} \dots T_r = S</math>, то говорят, что слово <math>S</math> входит (встречается) в <math>T</math> как подслово. При этом <math>l</math> и <math>r</math> называются левой и правой позициями вхождения <math>S</math> в <math>T</math> соответственно.

Структура автомата

Формально, детерминированный конечный автомат определяется набором из пяти элементов <math>\mathcal A = (\Sigma, Q, q_0, F, \delta)</math>, где:

• <math>\Sigma</math> — алфавит, из которого состоят слова, распознаваемые автоматом,
• <math>Q</math> — множество состояний автомата,
• <math>q_0 \in Q</math> — начальное состояние автомата,
• <math>F \subset Q</math> — множество финальных состояний автомата,
• <math>\delta : Q \times \Sigma \mapsto Q</math> — Шаблон:Не переведено 5 функция переходов автомата, такая что <math>\delta(q, \sigma)</math> для <math>q \in Q</math> и <math>\sigma \in \Sigma</math> либо не определена, либо указывает на состояние, в которое может быть произведён переход из <math>q</math> по <math>\sigma</math>.

Чаще всего на практике конечные автоматы представляются в виде ориентированного графа (диаграммы) такого что:

• Множество вершин графа соответствует множеству состояний <math>Q</math>,
• В графе выделена некоторая вершина, соответствующая начальному состоянию <math>q_0</math>,
• В графе выделен набор вершин, соответствующих множеству финальных состояний <math>F</math>,
• Множество дуг в графе соответствует множеству переходов <math>\delta</math>,
• При этом переходу <math display="inline">\delta(q_1, \sigma) = q_2</math> соответствует дуга из <math>q_1</math> в <math>q_2</math>, помеченная символом алфавита <math>\sigma</math>. Такой переход также обозначают как <math display="inline">q_1 \begin{smallmatrix}{\sigma}\\[-5pt]{\longrightarrow}\end{smallmatrix} q_2</math>.

В таком графе вершины и дуги отождествляются с состояниями и переходами автомата соответственно. Автомат принимает слово <math>\omega=\omega_1 \omega_2 \dots \omega_m</math> в том и только том случае, если существует путь из начального состояния <math>q_0</math> в некоторое финальное состояние <math>q \in F</math>, такой что если сконкатенировать символы, встретившиеся на этом пути, то получится слово <math>\omega</math>. Множество слов, которые принимает автомат, образуют язык этого автомата.

Состояния автомата

Шаблон:Основная статьяПравым контекстом слова <math>\omega</math> относительно языка <math>L</math> называют множество <math>[\omega]_R=\{\alpha : \omega\alpha \in L\}</math>. То есть это множество слов <math>\alpha</math>, при приписывании которых к слову <math>\omega</math> справа получается слово из языка <math>L</math>. Правые контексты индуцируют естественное отношение эквивалентности <math>[\alpha]_R = [\beta]_R</math> на множестве всех слов. Если язык <math>L</math> может быть задан некоторым детерминированным конечным автоматом, то для него существует единственный, с точностью до изоморфизма, автомат, обладающий при этом наименьшим возможным числом состояний. Такой автомат называется минимальным для данного языка <math>L</math>, теорема Майхилла — Нероуда позволяет задать его в явном виде:Шаблон:Теорема

В таких обозначениях, суффиксный автомат — это минимальный ДКА, принимающий язык суффиксов слова <math>S=s_1s_2\dots s_n</math>. Правый контекст слова <math>\omega</math> относительно данного языка состоит из слов <math>\alpha</math> таких что <math>\omega \alpha</math> — суффикс <math>S</math>. Это позволяет сформулировать следующую лемму, определяющую взаимно-однозначное соответствие между правым контекстом слова и множеством позиций его вхождений в <math>S</math> в качестве подслова:

Шаблон:Теорема Например, для слова <math>S=abacaba</math> и его подслова <math>\omega = ab</math> выполнено <math>endpos(ab)=\{2,6\}</math> и <math>[ab]_R = \{a,acaba\}</math>. Неформально, <math>[ab]_R</math> состоит из слов, которые следуют за вхожениями <math>ab</math> до конца слова, а <math>endpos(ab)</math> — из позиций этих вхождений. В этом примере, элементу <math>x=2 \in endpos(ab)</math> соответствует слово <math>s_3 s_4 s_5 s_6 s_7 = acaba \in [ab]_R</math>. В то же время, слову <math>a \in [ab]_R</math> соответствует элемент <math>7-|a|=6 \in endpos(ab)</math>.

Из этого следует ряд структурных свойств состояний суффиксного автомата и слов, которые ими принимаются. Пусть <math>|\alpha| \leq |\beta|</math>, тогда:

• Если у <math>[\alpha]_R</math> и <math>[\beta]_R</math> есть хотя бы один общий элемент <math>x</math>, то общий элемент также есть у <math>endpos(\alpha)</math> и <math>endpos(\beta)</math>. Это, в свою очередь, значит, что <math>\alpha</math> — суффикс <math>\beta</math> и потому <math>endpos(\beta) \subset endpos(\alpha)</math> и <math>[\beta]_R \subset [\alpha]_R</math>. В приведённом выше примере, <math>a \in [ab]_R \cap [cab]_R</math> и, как следствие, <math>ab</math> — суффикс <math>cab</math>, а также <math>[cab]_R=\{a\} \subset \{a,acaba\} = [ab]_R</math> и <math>endpos(cab) = \{6\} \subset \{2,6\} = endpos(ab)</math>;
• Если <math>[\alpha]_R=[\beta]_R</math>, то <math>endpos(\alpha)=endpos(\beta)</math>, то есть <math>\alpha</math> встречается в <math>S</math> только в качестве суффикса <math>\beta</math>. Это видно на примере слов <math>\alpha=b</math> и <math>\beta = ab</math>, для которых <math>[b]_R = [ab]_R = \{a,acaba\}</math> и <math>endpos(b)=endpos(ab)=\{2,6\}</math>;
• Если <math>[\alpha]_R=[\beta]_R</math> и <math>\gamma</math> — суффикс <math>\beta</math>, такой что <math>|\alpha| \leq |\gamma| \leq |\beta|</math>, то <math>[\alpha]_R = [\gamma]_R = [\beta]_R</math>. В приведённом выше примере, <math>[c]_R = [bac]_R = \{aba\}</math>, а «промежуточным» суффиксом является <math>\gamma = ac</math>. И действительно, <math>[ac]_R = \{aba\}</math>.

Таким образом, любое состояние <math>q = [\alpha]_R</math> суффиксного автомата принимает некоторую непрерывную цепочку вложенных друг в друга суффиксов наибольшей строки из этого состояния.

Левым расширением <math>\overset{\scriptstyle{\leftarrow}}{\gamma}</math> строки <math>\gamma</math> называют самую длинную строку <math>\omega</math>, имеющую тот же правый контекст, что и <math>\gamma</math>. Длину <math>|\overset{\scriptstyle{\leftarrow}}{\gamma}|</math> самой длинной строки, принимаемой состоянием <math>q=[\gamma]_R</math>, обозначают как <math>len(q)</math>. Для него верно, что:

Суффиксной ссылкой <math>link(q)</math> от состояния <math>q=[\alpha]_R</math> называют указатель на состояние <math>p</math>, содержащее наибольший суффикс <math>\alpha</math>, который не принимается состоянием <math>q</math>.

В таких обозначениях можно сказать, что состояние <math>q=[\alpha]_R</math> принимает в точности все суффиксы <math>\overset{\scriptstyle{\leftarrow}}{\alpha}</math>, которые длиннее <math>len(link(q))</math> и не длиннее <math>len(q)</math>. Кроме того, верно следующее:

Связь с суффиксным деревом

Файл:Suffix structures diamond (rus).svg

Преобразования суффиксных структур

Шаблон:Основная статьяПрефиксным деревом (или бором) называют корневое ориентированное дерево, дуги которого помечены символами таким образом, что из любой вершины <math>v</math> этого дерева исходит не больше одной дуги, помеченной данным символом. Некоторые вершины в префиксном дереве помечены. Говорят, что префиксное дерево задаёт множество слов, определяемое путями из корня дерева в помеченные вершины. Таким образом, префиксные деревья представляют собой особую разновидность конечных автоматов, если рассматривать корень как начальное состояние, а помеченные вершины — как финальные состояния. Суффиксным бором слова <math>S</math> называют префиксное дерево, задающее язык суффиксов этого слова. Суффиксным деревом называют дерево, получаемое из суффиксного бора процедурой сжатия, при которой последовательно идущие рёбра склеиваются если между ними находится нефинальная вершина, степень которой равна 2.

По определению, суффиксный автомат может быть получен минимизацией суффиксного бора. Кроме того, сжатый суффиксный автомат может быть получен как минимизацией суффиксного дерева (если считать, что символы алфавита — это слова на рёбрах дерева), так и сжатием обычного автомата. Однако, помимо очевидной связи между суффиксным автоматом и суффиксным деревом одной и той же строки, можно также установить некоторое соответствие между суффиксным автоматом строки <math>S=s_1 s_2 \dots s_n</math> и суффиксным деревом обращённой строки <math>S^R = s_n s_{n-1} \dots s_1</math>.

Аналогично правым контекстам можно ввести левые контексты <math>[\omega]_L = \{\beta \in \Sigma^* : \beta \omega \in L\}</math> и правые расширения <math>\overset{\scriptstyle{\rightarrow}}{\omega~}</math>, соответствующие самым длинным строкам, имеющим заданный левый контекст, а также отношение эквивалентности <math>[\alpha]_L = [\beta]_L</math>. Если рассматривать правые расширения относительно языка <math>L</math> префиксов строки <math>S</math>, то можно получить, что:Шаблон:Теорема

Из чего следует, что дерево суффиксных ссылок для автомата строки <math>S</math> и суффиксное дерево строки <math>S^R</math> изоморфны:

Суффиксные структуры слов abbcbc и cbcbba

Суффиксный автомат для слова abbcbc Суффиксный автомат для слова abbcbc Суффиксный бор, суффиксное дерево и сжатый суффиксный автомат для слова abbcbc. Номера вершин соответствуют состояниям, в которые они переходят при минимизации или сжатии Суффиксный бор, суффиксное дерево и сжатый суффиксный автомат для слова abbcbc. Номера вершин соответствуют состояниям, в которые они переходят при минимизации или сжатии Суффиксное дерево для слова cbcbba (дерево суффиксных ссылок для автомата слова abbcbc) Суффиксное дерево для слова cbcbba (дерево суффиксных ссылок для автомата слова abbcbc)

Аналогично левым расширениям, для правых расширений также может быть сформулирована структурная лемма:

Размер

В суффиксном автомате строки <math>S</math> длины <math>n>1</math> не больше <math>2n-1</math> состояний и не больше <math>3n-4</math> переходов, причём данные оценки достигаются на строках <math>abb\dots bb=ab^{n-1}</math> и <math>abb\dots bc=ab^{n-2}c</math> соответственно. Можно также сформулировать более сильное утверждение о связи числа состояний и переходов в автомате: <math>|\delta| \leq |Q| + n - 2</math>, где <math>|\delta|</math> и <math>|Q|</math> — это число переходов и состояний соответственно.

Максимальные суффиксные автоматы
Суффиксный автомат для <math>ab^{n-1}</math> Суффиксный автомат для <math>ab^{n-1}</math> Суффиксный автомат для <math>ab^{n-2}c</math> Суффиксный автомат для <math>ab^{n-2}c</math>

Построение

Суффиксный автомат строки <math>S=s_1s_2 \dots s_n</math> строится последовательным наращиванием слова, для которого он построен. Изначально имеется тривиальный автомат, построенный для пустого слова, а затем на каждом шаге к текущему слову добавляется один символ, что влечёт за собой перестройку состояний и переходов автомата.

Изменение состояний

После приписывания нового символа к слову, некоторые классы эквивалентности изменятся. Пусть <math>[\alpha]_{R_\omega}</math> — правый контекст слова <math>\alpha</math> относительно языка суффиксов слова <math>\omega</math>. Тогда переход от <math>[\alpha]_{R_\omega}</math> к <math>[\alpha]_{R_{\omega x}}</math> при приписывании символа <math>x</math> к слову <math>\omega</math> описывается следующей леммой: Шаблон:Теорема То есть при добавлении одного символа <math>x</math> к текущему слову <math>\omega</math> правый контекст слова <math>\alpha</math> может измениться только в том случае, если <math>\alpha</math> является суффиксом слова <math>\omega x</math>. Из этого следует, что разбиение всех слов на классы эквивалентности по <math>\equiv_{R_{\omega x} }</math> является измельчением разбиения на классы эквивалентности по <math>\equiv_{R_\omega}</math>. Другими словами, если <math>[\alpha]_{R_{\omega x} } = [\beta]_{R_{\omega x} }</math>, то <math>[\alpha]_{R_{\omega} } = [\beta]_{R_{\omega} }</math>. Кроме того, при добавлении очередного символа к слову расщепление произойдёт у не более чем двух состояний. В первую очередь будет расщеплено состояние, которому соответствует пустой правый контекст (то есть то, которое принимает язык слов, не входящих в <math>\omega</math> в качестве подслова). Из этого состояния будет выделено новое состояние, содержащее всё слово <math>\omega x</math>, а также все его суффиксы, которые встречаются в <math>\omega x</math>, но не встречались в <math>\omega</math>. Соответственно, правый контекст этих слов, который ранее был пустым, теперь будет состоять только из пустого слова.

Учитывая связь между состояниями суффиксного автомата и вершинами суффиксного дерева, можно отследить и второе состояние, которое может расщепиться при добавлении очередного символа. Так как переход от слова <math>\omega</math> к <math>\omega x</math> соответствует переходу от <math>\omega^R</math> к <math>x \omega^R</math> для обращённой строки, приписывание символа <math>x</math> к строке <math>\omega</math> соответствует внесению одного нового (самого длинного) суффикса <math>x\omega^R</math> в суффиксное дерево строки <math>\omega^R</math>. При этом появляется не более двух вершин: одна из них будет соответствовать всему слову <math>x \omega^R</math>, а другая может появиться в том месте, где происходит ответвление от дерева. Таким образом, одно новое состояние соответствует правому контексту всей строки <math>\omega x</math>, а другое (если оно есть) может соответствовать только суффиксной ссылке этого состояния. Данные наблюдения можно обобщить теоремой:

В частности, если <math>\alpha=\beta</math> (например, когда <math>x</math> вообще не встречается в <math>\omega</math> и <math>\alpha=\beta=\varepsilon</math>), расщепления второго состояния не происходит.

Помимо суффиксных ссылок, в новом автомате также нужно определить финальные состояния. Из структурных свойств автомата следует, что суффиксы любого слова <math>\alpha</math> расположены таким образом, что если <math>q=[\alpha]_R</math>, то суффиксы <math>\alpha</math>, чья длина превышает <math>len(link(q))</math>, лежат в <math>q</math>, суффиксы, чья длина больше <math>len(link(link(q))</math>, но не больше <math>len(link(q))</math>, лежат в <math>link(q)</math> и так далее. Иными словами, для любого суффикса <math>\alpha</math> найдётся вершина в суффиксном пути состояния <math>q</math>, который задаётся последовательностью <math>(q, link(q), link^2(q), \dots)</math>. Соответственно если обозначить состояние, принимающее в текущий момент всю строку <math>\omega</math>, как <math>last</math>, то терминальными (принимающими суффиксы <math>\omega</math>) состояниями будут те и только те состояния, которые входят в суффиксный путь <math>(last, link(last), link^2(last), \dots)</math>.

Изменение переходов и суффиксных ссылок

Какие-либо изменения при добавлении очередного символа затрагивают не более чем два новых состояния, поэтому изменения в переходах автомата тоже будут затрагивать только эти состояния. После приписывания <math>x</math> к слову <math>\omega</math> образуется новое состояние <math>[\omega x]_{R_{\omega x} }</math>, а также, возможно, состояние <math>[\alpha]_{R_{\omega x} }</math>. Суффиксная ссылка из <math>[\omega x]_{R_{\omega x} }</math> будет вести в <math>[\alpha]_{R_{\omega x} }</math>, а из <math>[\alpha]_{R_{\omega x} }</math> — в <math>link([\alpha]_{R_{\omega} })</math>. Слова из <math>[\omega x]_{R_{\omega x} }</math> встречаются в <math>\omega x</math> только в виде суффиксов, поэтому из <math>[\omega x]_{R_{\omega x}}</math> не должно быть переходов, а ведущие в него переходы должны вести по символу <math>x</math> из суффиксов <math>\omega</math> с длиной хотя бы <math>|\alpha|</math>. Состояние <math>[\alpha]_{R_{\omega x}}</math> отщепляется от <math>[\alpha]_{R_\omega}</math>, поэтому переходы из этого состояния будут дублировать таковые у <math>[\alpha]_{R_\omega}</math>. А ведущие в него переходы будут вести по символу <math>x</math> из состояний, соответствующим суффиксам <math>\omega</math> длины меньше <math>|\alpha|</math> и не меньше <math>len(link([\alpha]_{R_{\omega} }))</math>, так как ранее эти переходы вели в <math>[\alpha]_{R_\omega}</math> и соответствовали отделившейся части состояния. Состояния, принимающие данные слова, можно определить по суффиксному пути состояния <math>[\omega]_{R_\omega}</math>.

Построение суффиксного автомата для слова abbcbc
∅ → a Файл:Single letter SA.svg Файл:Single letter SA.svg При добавлении первого символа в автомате создаётся единственное новое состояние. Аналогичным образом в суффиксном дереве добавляется единственный лист.	a → ab Файл:Ab SA.svg Файл:Ba ST.svg Новые переходы проводятся из всех финальных состояний, так как новый символ раньше не встречался. По той же причине в дереве суффиксных ссылок новая вершина подвешивается к корню.
ab → abb Файл:Abb SA.svg Файл:Bba ST.svg Состояние 2 принимает слова ab и b, но только b станет суффиксом, поэтому это слово выделяется в состояние 4. В суффиксном дереве развёрнутого слова это соответствует расщеплению ребра, ведущего в вершину 2.	abb → abbc Файл:Abbc SA.svg Файл:Cbba ST.svg Новый символ раньше не встречался, переходы в него проводятся из всех финальных. В дереве суффиксных ссылок добавляется новый лист, подвешенный к корню.
abbc → abbcb Файл:Abbcb SA.svg Файл:Bcbba ST.svg В состоянии 4 только слово b и оно является суффиксом, поэтому расщепления не происходит. Соответственно, в дереве суффиксных ссылок новый лист подвешивается к вершине 4.	abbcb → abbcbc Файл:Suffix Automaton extension.svg Файл:Suffix Tree extension.svg Состояние 5 принимает слова abbc, bbc, bc и c, но только последние два являются суффиксами нового слова, поэтому они отделяются в отдельное состояние 8. Соответственно, в дереве суффиксных ссылок происходит расщепление ребра, ведущего в вершину 5.

Алгоритм построения автомата

Теоретические результаты выше приводят к следующему алгоритму, который принимает символ <math>x</math> и перестраивает суффиксный автомат слова <math>\omega</math> в суффиксный автомат слова <math>\omega x</math>:

1. Поддерживается номер состояния <math>last</math>, соответствующего всей строке <math>\omega</math>;
2. При добавлении символа <math>x</math>, номер <math>last</math> запоминается в переменной <math>p</math>, а в <math>last</math> записывается номер нового состояния, соответствующего слову <math>\omega x</math>;
3. Из состояний, соответствующих суффиксам <math>\omega</math>, проставляются переходы в <math>last</math>. Для этого идёт обход суффиксного пути <math>p, link(p), link^2(p),\dots</math>, пока не встретится состояние, из которого уже есть переход по <math>x</math>;
4. Дальнейшие действия соответствуют одному из трёх случаев:
   1. Если на всём суффиксном пути ни из одного состояния нет перехода по <math>x</math>, то <math>x</math> раньше не встречался в <math>\omega</math> и суффиксная ссылка из <math>last</math> ведёт в <math>q_0</math>;
   2. Если переход по <math>x</math> нашёлся и ведёт из состояния <math>p</math> в состояние <math>q</math>, такое что <math>len(p)+1=len(q)</math>, то необходимости расщеплять <math>q</math> нет и достаточно провести суффиксную ссылку из <math>last</math> в <math>q</math>;
   3. Если же <math>len(q) > len(p)+1</math>, то слова из состояния <math>q</math>, чья длина не превосходит <math>len(p)+1</math> должны быть выделены в отдельное состояние <math>cl</math>;
5. Если на прошлом шаге было выделено отдельное состояние <math>cl</math>, то переходы и суффиксная ссылка из него должны дублировать оные в <math>q</math>, при этом <math>cl</math> станет общей суффиксной ссылкой состояний <math>q</math> и <math>last</math>;
6. Переходы, которые вели в <math>q</math>, но соответствовали словам длины не больше <math>len(p)+1</math>, перенаправляются в <math>cl</math>. Для этого можно продолжать идти по суффиксному пути <math>p</math>, пока не найдётся состояние, переход из которого ведёт не в <math>q</math>.

Процедура, реализующая этот алгоритм, может быть описана следующим псевдокодом:

функция Шаблон:Mvar:
    определить Шаблон:Mvar
    присвоить Шаблон:Mvar
    присвоить Шаблон:Mvar
    пока Шаблон:Mvar не определено:
        присвоить Шаблон:Mvar
    определить Шаблон:Mvar
    если Шаблон:Mvar:
        присвоить Шаблон:Mvar
    иначе если Шаблон:Mvar:
        присвоить Шаблон:Mvar
    иначе:
        определить Шаблон:Mvar
        присвоить Шаблон:Mvar
        присвоить Шаблон:Mvar
        присвоить Шаблон:Mvar
        пока Шаблон:Mvar:
            присвоить Шаблон:Mvar

Здесь <math>q_0</math> — начальное состояние автомата, <math>new\_state()</math> — функция, добавляющая в автомат новое состояние. Предполагается, что <math>last</math>, <math>len</math>, <math>link</math> и <math>\delta</math> хранятся в виде глобальных переменных.

Вычислительная сложность

В зависимости от используемых структур, детерминированная версия описанного выше алгоритма может быть реализована за время <math>O(n \log |\Sigma|)</math> с <math>O(n)</math> памяти или за время <math>O(n)</math> с <math>O(n |\Sigma|)</math> памяти, если считать, что выделение памяти происходит за <math>O(1)</math>. При этом для получения такой оценки времени работы необходимо провести амортизационный анализ внутренних циклов алгоритма. Если рассмотреть, как меняется параметр <math>len(p)</math> после первой итерации первого цикла, то можно увидеть, что с каждой итерацией цикла он строго уменьшается. При этом если на последней итерации предыдущего шага эта величина была равна <math>k</math>, то на второй итерации на следующем шаге эта величина будет равна <math>k+1</math>. То, что <math>len(p)</math> ни в какой момент времени не превосходит <math>n</math> и что между циклами эта величина увеличивается только на единицу, даёт требуемое утверждение. Аналогичным анализом может быть показана линейность суммарного времени исполнения второго цикла алгоритма.

Вариации и обобщения

Суффиксный автомат тесно связан с другими суффиксными структурами и индексами подстрок. Имея суффиксный автомат некоторой строки, возможно сжатием и рекурсивным обходом данного автомата построить суффиксное дерево этой строки за линейное время. Аналогичные преобразования в обе стороны возможны между суффиксным автоматом строки <math>S</math> и суффиксным деревом обращённой строки <math>S^R</math>. Помимо этого был разработан ряд модификаций алгоритма, позволяющих строить автомат для множества строк, заданных префиксным деревом, применять к нему сжатие, поддерживать его структуру в режиме скользящего окна, а также перестраивать при добавлении символов как с конца, так и с начала строки.

Сжатый суффиксный автомат

Как было сказано выше, сжатый суффиксный автомат может быть получен из обычного суффиксного автомата сжатием (удалением состояний, которые не являются финальными и из которых ведёт ровно один переход), а также минимизацией суффиксного дерева, если считать, что алфавит образуют слова, записанные на рёбрах дерева. Кроме того, состояния сжатого автомата могут быть описаны явно, аналогично тому, как это было сделано для несжатого автомата. Двусторонним расширением <math>\overset{\scriptstyle{\longleftrightarrow}}{\gamma}</math> слова <math>\gamma</math> называют самое длинное слово <math>\omega = \beta \gamma \alpha</math>, такое что любому вхождение <math>\gamma</math> в <math>S</math> предшествует слово <math>\beta</math>, а сразу за ним следует слово <math>\alpha</math>. В терминах левых и правых расширений это значит, что двустороннее расширение является левым расширением от правого расширения или, что эквивалентно, правым расширением от левого расширения: <math display="inline">\overset{\scriptstyle\longleftrightarrow}{\gamma} = \overset{\scriptstyle\leftarrow}{\overset{\rightarrow}{\gamma}} = \overset{\rightarrow}{\overset{\scriptstyle\leftarrow}{\gamma}}</math>. В терминах двусторонних расширений сжатый суффиксный автомат можно описать следующим образом:Шаблон:Теорема

Двусторонние расширения порождают отношение эквивалентности <math display="inline">\overset{\scriptstyle\longleftrightarrow}{\alpha} = \overset{\scriptstyle\longleftrightarrow}{\beta}</math>, описывающее слова, принимаемые одним и тем же состоянием сжатого автомата. Это отношение является транзитивным замыканием отношения <math display="inline">(\overset{\scriptstyle{\rightarrow}}{\alpha\,}=\overset{\scriptstyle{\rightarrow}}{\beta\,}) \vee (\overset{\scriptstyle{\leftarrow}}{\alpha} = \overset{\scriptstyle{\leftarrow}}{\beta})</math>, что подчёркивает тот факт, что состояния сжатого суффиксного автомата могут быть получены как склеиванием вершин суффиксного дерева, эквивалентных по <math>\overset{\scriptstyle{\leftarrow}}{\alpha} = \overset{\scriptstyle{\leftarrow}}{\beta}</math> (минимизация суффиксного дерева), так и склеиванием состояний суффиксного автомата, эквивалентных по <math>\overset{\scriptstyle{\rightarrow}}{\alpha\,}=\overset{\scriptstyle{\rightarrow}}{\beta\,}</math> (сжатие суффиксного автомата). Если у слов <math>\alpha</math> и <math>\beta</math> совпадают правые расширения, а у слов <math>\beta</math> и <math>\gamma</math> — левые, то в совокупности у слов <math>\alpha</math>, <math>\beta</math> и <math>\gamma</math> совпадает двустороннее расширение. При этом может оказаться, что у слов <math>\alpha</math> и <math>\gamma</math> не совпадают ни левые, ни правые расширения. В случае <math>S=\beta=ab</math>, <math>\alpha=a</math> и <math>\gamma=b</math> левые и правые расширения таковы: <math>\overset{\scriptstyle{\rightarrow}}{\alpha\,}=\overset{\scriptstyle{\rightarrow}}{\beta\,}=ab=\overset{\scriptstyle{\leftarrow}}{\beta} = \overset{\scriptstyle{\leftarrow}}{\gamma}</math>, но <math>\overset{\scriptstyle{\rightarrow}}{\gamma\,}=b</math> и <math>\overset{\scriptstyle{\leftarrow}}{\alpha}=a</math>. В случае односторонних контекстов и расширений слова из одного и того же класса эквивалентности образовывали непрерывную цепочку вложенных друг в друга префиксов или суффиксов и могли быть однозначно определены длинами самого короткого и самого длинного слов в классе. В случае же двусторонних расширений наверняка можно сказать только то, что слова из одного и того же класса являются подсловами самого длинного слова из этого класса, а в остальном классы могут иметь достаточно сложную структуру. Общее число таких классов эквивалентности не превосходит <math>n+1</math>, из чего следует, что у сжатого суффиксного автомата строки длины <math>n</math> будет не больше <math>n+1</math> состояний. Количество переходов в таком автомате не превосходит <math>2n-2</math>.

Суффиксный автомат для набора строк

Пусть задан набор слов <math>T=\{S_1, S_2, \dots, S_k\}</math>. Аналогично автомату, построенному по единственному слову <math>S</math> можно рассмотреть обобщённый суффиксный автомат, который принимает язык слов, являющихся суффиксом хотя бы одного слова из <math>T</math>. При этом для числа состояний и переходов данного автомата будут выполняться все те же ограничения, которые были указаны выше, если положить <math>n = |S_1| + |S_2| + \dots + |S_k|</math>. Сам алгоритм построения по своей сути похож на алгоритм построения автомата для одной строки, но вместо указателя <math>last</math> на состояние соответствующее слову <math>\omega</math> при переходе к слову <math>\omega x</math> функция add_letter будет принимать указатель на состояние, принимающее слово <math>\omega_i</math>, подразумевая, что переход происходит от текущего набора слов <math>\{\omega_1, \dots, \omega_i, \dots, \omega_k\}</math> к набору <math>\{\omega_1, \dots, \omega_i x, \dots, \omega_k\}</math>. Помимо основных действий, которые уже заложены в алгоритм нужно будет отдельно разобрать случай когда строка <math>\omega_i x</math> уже присутствует в автомате — в таком случае, возможно, придётся расщепить состояние, которое её принимает, аналогично тому, как это происходило при формировании суффиксной ссылки в алгоритме для единичного слова.

Дальнейшим развитием этой идеи стало построение суффиксного автомата для случая когда набор <math>T</math> задан не в явном виде, а префиксным деревом на <math>Q</math> вершинах. Мохри и другие показали, что такой автомат содержит не более <math>2Q-2</math> состояний и может быть построен за линейное от своего размера время. При этом количество переходов в таком автомате может достигать <math>O(Q|\Sigma|)</math> — например, если рассмотреть множество слов <math>T=\{\sigma_1, a\sigma_1, a^2\sigma_1, \dots, a^n \sigma_1, a^n \sigma_2, \dots, a^n \sigma_k \}</math> над алфавитом <math>\Sigma=\{a,\sigma_1,\dots,\sigma_k\}</math>, то суммарная длина слов из этого множества будет порядка <math display="inline">O(n^2+nk)</math>, число вершин в соответствующем префиксном дереве будет равна <math>O(n+k)</math>, а в суффиксном автомате будет порядка <math>O(n+k)</math> состояний и <math>O(nk)</math> переходов. Сам алгоритм, предложенный Мохри, во многом повторяет общий алгоритм построения автомата по набору строк, но вместо того, чтобы каждый раз дописывать символы слова из набора от начала до конца, алгоритм обходит префиксное дерево в порядке обхода в ширину и приписывает очередные символы в том порядке, в котором встречает их при обходе, что гарантирует амортизированно линейное время работы алгоритма.

Скользящее окно

В некоторых алгоритмах сжатия, таких как LZ77 и RLE может быть полезным хранить суффиксный автомат или подобную структуру не для всего считанного слова, а только для <math>k</math> последних символов. В первую очередь, такая необходимость всплывает из-за специфики задач сжатия данных, где сжимаемые строки обычно достаточно велики и использование <math>O(n)</math> памяти нежелательно. В 1985 году Джанет Блумер разработала алгоритм, поддерживающий суффиксный автомат на скользящем окне размера <math>k</math> и работающий за <math>O(nk)</math> в худшем случае и <math>O(n \log k)</math> в среднем, в предположении, что символы в сжимаемом слове распределены независимо и равномерно. В той же работе было показано, что оценка <math>O(nk)</math> является неулучшаемой — если рассмотреть слова, полученные конкатенацией нескольких слов вида <math>(ab)^m c (ab)^m d</math>, где <math>k=6m+2</math>, то число состояний автомата, который соответствует подсловам длины <math>k</math> чередовалось бы с резкими прыжками порядка <math>m</math> по величине, что делает существование даже теоретического алгоритма, улучшающего оценку в <math>O(nk)</math> для суффиксного автомата невозможным.

Казалось бы, то же самое должно быть верно и для суффиксного дерева, так как вершины суффиксного дерева соответствуют состояниям суффиксного автомата развёрнутой строки. Однако, если в суффиксном дереве не выделять отдельную вершину для каждого суффикса, то таких резких скачков уже не будет и построение амортизированного алгоритма, поддерживающего суффиксное дерево на скользящем окне возможно. Соответствующий алгоритм для суффиксного дерева, основанный на алгоритме Маккрейта и поддерживающий добавление нового символа справа и удаление символа слева, был предложен в 1989 году Эдвардом Фиала и Дэниелом Грином, а в 1996 году изложен в терминах алгоритма Укконена Джеспером Ларссоном. В связи с этим долгое время оставался открытым вопрос о том, возможно ли поддержание быстрого скользящего окна для сжатого автомата, который объединяет в себе некоторые свойства как обычного суффиксного автомата, так и суффиксного дерева. Отрицательный ответ на этот вопрос был получен в 2008 Мартином Сенфтом и Томашем Двораком, показавшим, что если алфавит состоит из двух и более символов, то амортизированное время, требуемое для сдвига окна на один символ в худшем случае имеет порядок <math>O(k)</math>.

В то же время, если точная ширина окна не важна и задача заключается лишь в том, чтобы поддерживать окно, чья ширина по порядку величины не превосходит <math>O(k)</math>, это можно сделать приближённым алгоритмом, предложенным Иненагой и другими в 2004 году. Особенностью алгоритма является то, что «окно», которое двигается по слову, имеет переменную длину, которая при этом в любой момент не меньше <math>k</math> и не больше <math>2k+1</math>, при этом суммарное время работы остаётся линейным.

Применения

Суффиксный автомат строки <math>S</math> может использоваться для решения таких задач, как:

• Подсчёт количества различных подстрок <math>S</math> за время <math>O(|S|)</math> в режиме онлайн,
• Поиск самой длинной подстроки <math>S</math>, которая входит в неё хотя бы два раза, за время <math>O(|S|)</math>,
• Поиск наибольшей общей подстроки строк <math>S</math> и <math>T</math> за время <math>O(|T|)</math>,
• Подсчёт числа вхождений строки <math>T</math> в <math>S</math> в качестве подстроки за время <math>O(|T|)</math>,
• Поиск всех вхождений <math>T</math> в <math>S</math> за время <math>O(|T|+k)</math>, где <math>k</math> — количество вхождений.

Здесь стоит считать, что некоторая строка <math>T</math> подаётся на вход, когда автомат уже построен и готов к использованию.

Суффиксные автоматы также нашли своё применение в таких прикладных задачах, как сжатие данных, идентификация музыки по записанным фрагментам и сопоставление геномных последовательностей.

Литература

• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник
• Шаблон:ВД-Источник

Ссылки

• Шаблон:Cite web
• Шаблон:Cite web