Где встречаются системы машинного перевода. Предварительная подготовка текста и постредактирование
Для начала, следует обозначить некоторые важные даты в истории машинного перевода:
1947 - дата рождения машинного перевода, как научного направления. Уоррен Уивер, директор отделения естественных наук Рокфеллеровского фонда, написал письмо Норберту Винеру, в котором рассматривал задачу перевода текстов с одних языков на другие, как еще одну область применения техники дешифрования. За этим письмом последовало множество дискуссий. 1947 - А.Бут и Д.Бриттен разработали подробный "код" для пословного машинного перевода. 1948 - Р.Риченс предложил правила разбиения словоформ на основу и окончание. 1952 - первая конференция по машинному переводу в Массачусетском технологическом институте. 1954 - представлена первая система машинного перевода - IBM Mark II - русско-английская, имела словарь в 250 единиц и 6 грамматических правил. Последовавшее за этим десятилетие было временем бурного развития машинного перевода. 1967 - специально созданная в США Комиссия Национальной Академии наук, исходя из реальной ситуации с переводами в США и показателей стоимости различных способов перевода, пришла к выводу, что машинный перевод нерентабелен. Доклад существенно затормозил развитие МП в целом. 70-е годы - новый подъем работ в области МП. С развитием вычислительной техники появились новые возможности машинной реализации лингвистических алгоритмов. 80-е годы - время работы персональных компьютеров значительно подешевело, машинный перевод наконец-то стал экономически выгодным. 90-е годы - отмечается очередной рост интереса к машинному переводу, что связано с появлением и бурным развитием Internet. Возможности перевода в режиме он-лайн позволяют преодолеть языковой барьер и осуществлять навигацию по иностранным сайтам.
А сейчас следует рассмотреть эти факты подробнее:
Итак, впервые мысль о возможности машинного перевода высказал Чарльз Бэббидж (1791-1871), разработавший в 1836-1848 гг. проект цифровой аналитической машины - механического прототипа электронных цифровых вычислительных машин, появившихся через 100 лет. Идея Ч. Бэббиджа состояла в том, что память объемом 1000 50-разрядных десятичных чисел (по 50 зубчатых колес в каждом регистре) можно использовать для хранения словарей. Ч. Бэббидж привел эту идею в качестве обоснования для запроса у английского правительства средств, необходимых для физического воплощения аналитической машины, которую ему так и не удалось построить (см. Апокин и др. Чарльз Бэббидж. М., Наука, 1981).
Мысль использовать ЭВМ для перевода была высказана в 1946 году, сразу после появления первых ЭВМ. Датой рождения МП как области исследований принято считать 1947 г.: все началось с письма Уоррена Уивера, директора отделения естественных наук Рокфеллеровского фонда, к Норберту Винеру в марте того же года, в котором задача перевода сравнивалась с задачей дешифровки текстов. Последняя в то время уже стала выполняться на электромеханических устройствах. За этим письмом последовало множество дискуссий, появился меморандум о целях, и, наконец, были выделены средства на исследования. Первая публичная демонстрация машинного перевода (так называемый Джорджтаунский эксперимент) состоялась в 1954 году.Несмотря на примитивность той системы (словарь в 150 слов, грамматика из 6 правил, перевод нескольких простых фраз), этот эксперимент получил широкий резонанс: начались исследования в Англии, Болгарии, ГДР, Италии, Китае, Франции, ФРГ, Японии и других странах; в том же 1954 году и в СССР.
Первое поколение систем машинного перевода базировалось на алгоритмах последовательного перевода «слово за словом», «фраза за фразой». Возможности таких систем определялись доступными размерами словарей, прямо зависящими от объема памяти компьютера. Перевод текста осуществлялся отдельными предложениями, смысловые связи между ними никак не учитывались. Такие системы называют системами прямого перевода. На смену им со временем пришли системы последующих поколений, в которых перевод от языка к языку осуществлялся на уровне синтаксических структур. В алгоритмах перевода использовался набор операций, позволяющий путем анализа переводимого предложения построить его синтаксическую структуру по правилам грамматики языка входного предложения (так же, как учат детей языку в средней школе), а затем преобразовать ее в синтаксическую структуру выходного предложения и синтезировать выходное предложение, подставляя нужные слова из словаря. Такие системы называются Т-системами (от английского слова transfer - преобразование).
Наиболее совершенным считается подход к построению систем машинного перевода на основе получения некоторого, независимого от языков, смыслового представления входного предложения путем его семантического анализа. Затем производится синтез выходного предложения по полученному смысловому представлению. Такие системы называют И-системами (И - от слова "интерлингва"). Считается, что следующие поколения систем машинного перевода будут относиться к классу И-систем.
Однако, слишком много трудностей и неясностей было в том, как нужно формализовать и строить алгоритмы для работы с текстами, какие словари надо вводить в машину, какие лингвистические закономерности следует использовать при машинном переводе и каковы вообще эти закономерности.
Выяснилось, что традиционная лингвистика не располагает ни фактическим материалом, ни идеями и представлениями, нужными для построения систем машинного перевода, которые использовали бы смысл переводимого текста.
Традиционная лингвистика не могла дать исходные представления не только в части семантики, но и в части синтаксиса. Ни для одного языка в то время не существовало перечней синтаксических конструкций, не были изучены условия их сочетаемости и взаимозаменяемости, не были разработаны правила построения крупных единиц синтаксической структуры из более мелких. В сущности, ни на один вопрос, поставленный в связи с построением систем машинного перевода, традиционная лингвистика в 50-х годах не могла дать ответа.
А к середине 1960-х в США для практического использования были предоставлены две системы русско-английского перевода:
- · MARK (в Департаменте иностранной техники ВВС США);
- · GAT (разработка Джорджтаунского университета, использовалась в Национальной лаборатории атомной энергии в Окридже и в центре Евратома в г. Испра, Италия).
Однако созданная для оценки подобных систем комиссия ALPAC пришла к выводу, что в силу низкого качества машинно переведенных текстов эта деятельность в условиях США нерентабельна. Хотя комиссия рекомендовала продолжать и углублять теоретические разработки, в целом ее выводы привели к росту пессимизма, снижению финансирования, часто к полному прекращению работ по этой тематике.
Тем не менее, в ряде стран исследования продолжались, чему способствовал постоянный прогресс вычислительной техники. Особенно существенным фактором стало появление мини- и персональных компьютеров, а с ними всё более сложных словарных, поисковых и т. п. систем, ориентированных на работу с естественноязыковыми данными. Росла и необходимость в переводе как таковом ввиду роста международных связей. Все это привело к новому подъему этой области, наступившему примерно с середины 1970-х. В 1980-е наступило время широкого практического использования переводческих систем, сложился рынок коммерческих разработок по этой теме.
Впрочем, мечты, с которыми род людской взялся полвека назад за задачу машинного перевода, в значительной мере остаются мечтами: высококачественный перевод текстов широкой тематики по-прежнему недостижим. Однако несомненным является ускорение работы переводчика при использовании систем машинного перевода: по оценкам конца 1980-х, до пяти раз. В 1990 г. Ларри Чаилдс, специалист по машинному переводу, предложил следующую классификацию систем машинного перевода:
- · FAMT (Fully-automated machine translation) - полностью автоматизированный машинный перевод;
- · HAMT (Human-assisted machine translation) - машинный перевод при участии человека;
- · MAHT (Machine-assisted human translation) - перевод, осуществляемый человеком с использованием компьютера.
В настоящее время существует множество коммерческих проектов машинного перевода. Одним из пионеров в области машинного перевода была компания Systran. В России большой вклад в развитие машинного перевода внесла группа под руководством профессора Пиотровского (Российский государственный педагогический университет им. Герцена, Санкт-Петербург).
40-е: первые шаги
История машинного перевода как научно-прикладного направления началась в конце 40-х годов прошлого века (если не считать механизированное переводное устройство П.П. Смирнова-Троянского, своего рода лингвистический арифмометр, изобретенный в 1933 году). В марте 1947 г. Уоррен Уивер (Warren Weaver ), директор отделения естественных наук Рокфеллеровского фонда (Rockefeller Foundation ), в переписке с Эндрю Бутом (Andrew D. Booth ) и Норбертом Винером (Norbert Wiener ) впервые сформулировал концепцию машинного перевода, которую несколько позже (в 1949 г.) развил в своем меморандуме, адресованном Фонду.
У.Уивер писал: "I have a text in front of me which is written in Russian but I am going to pretend that it is really written in English and that it has been coded in some strange symbols. All I need to do is strip off the code in order to retrieve the information contained in the text. " ("У меня перед глазами текст, написанный по-русски, но я собираюсь сделать вид, что на самом деле он написан по-английски и закодирован при помощи довольно странных знаков. Все что мне нужно - это взломать код, чтобы извлечь информацию, заключенную в тексте"). Аналогия между переводом и дешифрованием была естественной в контексте послевоенной эпохи, если учитывать успехи, которых достигла криптография в годы Второй мировой войны .
Идеи Уивера легли в основу подхода к МП, основанного на концепции interlingva : стадия передачи информации разделена два этапа; на первом этапе исходное предложение переводится на язык-посредник (созданный на базе упрощенного английского языка), а затем результат этого перевода представляется средствами выходного языка.
Меморандум Уивера вызвал самой живой интерес к проблеме МП. В 1948 г. А. Бут и Ричард Риченс (Richard Richens ) произвели некоторые предварительные эксперименты (так, Риченс разработал правила разбиения словоформ на основы и окончания).
В те годы довольно сильно отличались от современных. Это были очень большие и дорогие машины, которые занимали целые комнаты и требовали для своего обслуживания большой штат инженеров, операторов и программистов . В основном эти компьютеры использовались для осуществления математических расчетов для нужд военных учреждений, а также математических и физических факультетов университетов (последние также были тесно связаны с военной сферой). Поэтому на ранних этапах разработка МП активно поддерживалась военными, при этом в США основное внимание уделялось русско-английскому направлению, а в СССР - англо-русскому.
В 1952 г. состоялась первая конференция по МП в Массачусетском технологическом университете, а в 1954 г в Нью-Йорке была представлена первая система МП - IBM Mark II , разработанная компанией IBM совместно с Джоржтаунским университетом (это событие вошло в историю как Джорджтаунский эксперимент). Была представлена очень ограниченная в своих возможностях программа (она имела словарь в 250 единиц и 6 грамматических правил), осуществлявшая перевод с русского языка на английский. Казалось, что создание систем качественного автоматического перевода вполне достижимо в пределах нескольких лет (при этом акцент делался на развитии полностью автоматических систем, обеспечивающих высококачественные переводы; участие человека на этапе постредактирования расценивалось как временный компромисс). Профессиональные переводчики всерьез опасались в скором времени остаться без работы…
50-е: первое разочарование
К началу 50-х годов целый ряд исследовательских групп в США и в Европе работали в области МП. В эти исследования были вложены значительные средства, однако результаты очень скоро разочаровали инвесторов. Одной из главных причин невысокого качества МП в те годы были ограниченные возможности аппаратных средств: малый объем памяти при медленном доступе к содержащейся в ней информации, невозможность полноценного использования языков программирования высокого уровня . Другой причиной было отсутствие теоретической базы, необходимой для решения лингвистических проблем, в результате чего первые системы МП сводились к пословному (word-to-word ) переводу текстов без какой-либо синтаксической (а тем более смысловой) целостности.
В 1959 г. философ Й. Бар-Хиллел (Yohoshua Bar-Hillel ) выступил с утверждением, что высококачественный полностью автоматический МП (FAHQMT ) не может быть достигнут в принципе. В качестве примера он привел проблему нахождения правильного перевода для слова pen в следующем контексте: John was looking for his toy box. Finally he found it. The box was in the pen. John was very happy . (Джон искал свою игрушечную коробку. Наконец он её нашёл. Коробка была в манеже. Джон был очень счастлив.). Pen в данном случае должно переводиться не как "ручка" (инструмент для письма), а как "детский манеж" (play-pen ). Выбор того или иного перевода в этом случае и в ряде других обусловлен знанием внеязыковой действительности, а это знание слишком обширно и разнообразно, чтобы вводить его в компьютер. Однако Бар-Хиллел не отрицал идею МП как таковую, считая перспективным направлением разработку машинных систем, ориентированных на использование их человеком-переводчиком (своего рода "человеко-машинный симбиоз").
Это выступление самым неблагоприятным образом отразилось на развитии МП в США. В 1966 г. специально созданная Национальной Академией наук комиссия ALPAC (Automatic Language Processing Advisory Committee) , основываясь, в том числе и на выводах Бар-Хиллела, пришла к заключению, что машинный перевод нерентабелен: соотношение стоимости и качества МП было явно не в пользу последнего, а для нужд перевода технических и научных текстов было достаточно человеческих ресурсов. За докладом ALPAC последовало сокращение финансирования исследований в области МП со стороны правительства США - и это несмотря на то, что в то время как минимум три различные системы МП регулярно использовались рядом военных и научных организаций (в числе которых ВВС США, Комиссия США по ядерной энергии, Центр Евроатома в Италии).
60-е: низкий старт
Следующие десять лет разработка систем МП осуществлялась в США университетом Brigham Young University в Прово, штат Юта (ранние коммерческие системы WEIDNER и ALPS ) и финансировалась Мормонской церковью, заинтересованной в переводе Библии ; в Канаде группами исследователей, в числе которых TAUM в Монреале с ее системой METEO ; в Европе - группами GENA (Гренобль) и SUSY (Саарбрюкен). Особого упоминания заслуживают работа в этой области отечественных лингвистов, таких, как И.А.Мельчук и Ю.Д.Апресян (Москва), результатом которой стал лингвистический процессор ЭТАП. В 1960 г. в составе Научно-исследовательского института математики и механики в Ленинграде была организована экспериментальная лаборатория машинного перевода, преобразованная затем в лабораторию математической лингвистики Ленинградского государственного университета.
70-80-е: новый импульс
С развитием вычислительной техники в конце 70-х годов (появление микрокомпьютеров, развитие сетей, увеличение ресурсов памяти) машинный перевод вошел в эпоху "Ренессанса". При этом несколько сместились акценты: исследователи теперь ставили целью развитие "реалистических" систем МП, предполагавших участие человека на различных стадиях процесса перевода. Системы МП из "врага" и "конкурента" профессионального переводчика превращаются в незаменимого помощника, способствующего экономии времени и человеческих ресурсов.
О возрождении МП в 70-80-е гг. свидетельствуют следующие факты: Комиссия Европейских общин (CEC ) покупает англо-французскую версию Systran , а также систему перевода с русского на английский (последняя развивалась после доклада ALPAC и продолжала использоваться ВВС США и НАСА); кроме того, CEC заказывает разработку франко-английской и итальяно-английской версий. В то время благодаря CEC были заложены основы проекта EUROTRA , основанного на разработках групп SUSY и GETA . Одновременно происходит быстрое расширение деятельности по созданию систем МП в Японии (главным образом основанных на технологии interligva , разработанной Уивером в конце 40-х гг.); в США Панамериканская организация здравоохранения (PAHO) заказывает разработку испано-английского направления (система SPANAM ); ВВС США финансируют разработку системы МП в Лингвистическом исследовательском центре при Техасском университете в Остине; группа TAUM в Канаде достигает заметных успехов в разработке своей системы METEO (которая использовалась в основном для перевода метеорологических сводок). Целый ряд проектов, начатых в 70-80-е гг. впоследствии развились в полноценные коммерческие системы.
За период 1978-93 в США на исследования в области МП истрачено 20 миллионов долларов, в Европе - 70 миллионов, в Японии - 200 миллионов.
Одной из новых разработок стала технология TM (translation memory) , работающая по принципу накопления: в процессе перевода сохраняется исходный сегмент (предложение) и его перевод, в результате чего образуется лингвистическая база данных; если идентичный или подобный исходному сегмент обнаруживается во вновь переводимом тексте, он отображается вместе с переводом и указанием совпадения в процентах. Затем переводчик принимает решение (редактировать, отклонить или принять перевод), результат которого сохраняется системой. А в конечном итоге "не нужно дважды переводить одно и то же предложение!". В настоящее время разработчиком известной коммерческой системы, основанной на технологии TM , является система TRADOS (основана в 1984 г.) .
От 90-х к XXI веку
90-е годы принесли с собой бурное развитие рынка ПК (от настольных до карманных) и информационных технологий, широкое использование сети Интернет (которая становится все более интернациональной и многоязыкой). Все это сделало возможным, а главное востребованным, дальнейшее развитие систем МП. Появляются новые технологии, основанные на использовании нейронных сетей, концепции коннекционизма, статистических методах.
В настоящее несколько десятков компаний занимаются разработкой коммерческих систем МП, в их числе: Systran , IBM , L&H (Lernout & Hauspie), Transparent Language , Cross Language , Trident Software , Atril , Trados , Caterpillar Co., LingoWare, Ata Software ; Lingvistica b.v. и др. (подробнее о зарубежных разработчиках МП и их системах ).
Появилась возможность воспользоваться услугами автоматических переводчиков непосредственно в Сети: alphaWorks ; PROMT"s Online Translator ; LogoMedia.net ; Yahoo! Babel Fish ; InfiniT.com .
С начала 1990-х гг. на рынок систем ПК выходят отечественные разработчики.
В июле 1990 года на выставке PC Forum в Москве была представлена первая в России коммерческая система машинного перевода под названием PROMT (PROgrammer"s Machine Translation) . В 1991 г. было создано ЗАО "ПРОект МТ" , и уже в 1992 г. компания "ПРОМТ" выиграла конкурс NASA на поставку систем МП (ПРОМТ была единственной неамериканской фирмой на этом конкурсе).
В 1992 г. "ПРОМТ" выпускает целое семейство систем под новым названием STYLUS для перевода с английского, немецкого, французского, итальянского и испанского языков на русский и с русского на английский, а в 1993 г. на базе STYLUS создается первая в мире система МП для Windows . В 1994 г. вышла версия STYLUS 2.0 для Windows 3.Х/95/NT , а в 1995-1996 гг. представлено третье поколение систем машинного перевода, полностью 32-разрядных STYLUS 3.0 для Windows 95/NT , одновременно с этим успешно завершена разработка совершенно новых, первых в мире русско-немецкой и русско-французской систем МП.
В 1997 г. подписано соглашение с французской фирмой Softissimo о создании систем перевода с французского языка на немецкий и английский и обратно, а в декабре этого года была выпущена первая в мире система немецко-французского перевода. В этом же году компания "ПРОМТ" компания выпустила систему, реализованную по технологии Гигант - для поддержки нескольких языковых направлений в одной оболочке, а также специальный переводчик для работы в Интернете WebTranSite .
В 1998 г. выпускается целое созвездие программ под новым названием PROMT 98 . Через год компания ПРОМТ выпустила два новых продукта: уникальный пакет программ для работы в Интернете - PROMT Internet , и переводчик для корпоративных почтовых систем - PROMT Mail Translator . Для корпоративных клиентов разработаны также специальные серверные решения - корпоративный сервер переводов PROMT Translation Server (PTS) и Интернет-решение PROMT Internet Translation Server (PITS) . В 2000 г. "ПРОМТ" обновила всю линию своих программных продуктов, выпустив МП системы нового поколения: PROMT Translation Office 2000, PROMT Internet 2000 и Magic Gooddy 2000 .
Перевод в режиме он-лайн при поддержке системы "ПРОМТ" используется на ряде отечественных и зарубежных сайтов: PROMT"s Online Translator , InfiniT.com и др.
Программные продукты компании "ПРОМТ" удостоены целого ряда отечественных и зарубежных наград, подробнее .
Прошлое и будущее машинного перевода. Основные даты
Впервые опубликовано на сайте Wired
1966 ALPAC публикует отчёт по машинному переводу с выводами о том, что годы исследований в этом направлении не принесли ожидаемого результата. Это привело прекращению финансирования государством программ развития МП.
1982 Джанет и Джим Бейкер основали фирму Dragon Systems (г. Ньютон, Массачусетс).
1983 Представлена автоматическая система обработки речи (ALPS ) - первая программа МП для микрокомпьютеров.
1988 Учёные из Исследовательского центра Томаса Дж. Уотсона компании IBM возвращаются к разработке статистического метода МП, при котором сравниваются параллельные тексты и подсчитывается вероятность соответствия слов.
1990 Dragon Systems выпускает программу DragonDictate , первую систему преобразования устной речи в письменную, способную распознавать 30 тысяч слов.
DAPRA запускает программу "Системы разговорной речи" (SLS ) с целью разработки приложений, обеспечивающих голосовое взаимодействие между человеком и машиной.
1991 Появилась первая рабочая станция переводчика, объединяющая программы STAR"s Transit , IBM"s TranslationManager , Canadian Translation Services" PTT и Eurolang"s Optimizer .
1992 ART-ITL основала Консорциум исследований в области перевода с естественных языков (C-STAR ), который организует первую публичную демонстрацию телефонного перевода между английским, немецким и японским языками.
1993 В Германии идет работа над проектом Verbmobil . Исследователи сосредоточили свое внимание на переносных системах обеспечения перевода деловых переговоров с английского на немецкий и японский.
2264 "Человек глуп, как мешок опилок" , заявило Устройство 296. "Только абсолютно наивным учёным могло прийти в голову разработать технологию для понимания того, что произносят эти неопрятные куски протоплазмы. В шуме, который они производят из отверстий в голове, решительно намного меньше смысла, чем в космическом излучении" .
Составители: Кристин Демос ([email protected]) и Марк Фраунфельдер ([email protected]). 1629-2000: K. D.; 2001-2264: M. F.
Андреева Елена Владимировна
За последние десятилетия компьютер, подключённый к интернету, стал самым главным инструментом переводчика. Ведь благодаря ему обеспечивается доступ к огромным объёмам информации, а также к электронным словарям и переводчикам. Машинный перевод сегодня стал повседневностью.
Термином «машинный перевод» (МП, он же Machine Translation или MT) называют действие, когда один естественный язык переводится на другой с использованием для этого специального программного обеспечения. Программа при этом может быть установлена непосредственно на компьютере (или ) или быть доступной только при подключении к интернету.
Немного истории
Идея задействовать для перевода вычислительное устройство появилась ещё в 1947 году. Но реализация подобного в те годы была просто невозможна, поскольку вычислительная техника находилась в зачаточном состоянии. Однако уже в 1954 году была предпринята первая попытка машинного перевода. Самый первый словарь включал в себя только 250 слов, а грамматика исчерпывалась 6-ю правилами. Тем не менее, этого оказалось достаточно, чтобы убедиться в большом будущем машинного перевода. Работы в данном направлении начались во многих странах, стали появляться первые системы машинного перевода (СМП), создаваться специальные теории.
В начале развитию машинного перевода мешал низкий уровень вычислительной техники, её очень высокая стоимость. Однако постепенное проникновение в нашу жизнь сначала персональных компьютеров, а затем и интернета, привело к стремительному развитию этой отрасли. Сегодня машинный перевод активно используется в самых разных сферах человеческой деятельности.
Кому это нужно
Развитию машинного перевода способствовало расширение международных отношений. Люди стали чаще ездить в другие страны, выход бизнеса за рубеж перестал быть чем-то исключительным, даже по меркам небольших компаний. А раз так, то всё чаще возникают трудности в общении. Как следствие, машинный перевод сегодня всё чаще используется в бизнесе. Пусть даже результат переводов, предоставляемых компьютером, далёк от идеального, это всё же лучше, чем вообще ничего.
При помощи СМП появляется возможность очень быстро понять содержимое больших объёмов текстов, что просто невозможно при традиционном подходе. Это может быть очень полезно, например, при необходимости классификации большого количества информации на иностранном языке. Или для проведения лингвистического анализа.
Также МП стал обычным явлением при общении в интернете, когда очень важна высокая скорость перевода, понимания того, что сказал вам собеседник. Впрочем, о передаче литературных образов в таком случае можно смело забыть, если вы хотите, чтобы вас правильно понимали. Только «сухие» фразы, без каких-либо двусмысленностей.
Участие человека
Несмотря на создание различных подходов и решение вопросов с вычислительными мощностями, качество машинного перевода всё ещё далеко от идеального. Пусть даже успехи в этом деле и можно назвать впечатляющими, но только по сравнению с самыми первыми системами.
Современные СМП уже научились более-менее достойно переводить технические тексты, которые, как известно, не содержат в себе тех литературных вольностей, так часто встречающихся в текстах художественных. На качество перевода сильное влияние оказывает родственность языков. Например, при переводе с на результат будет куда более достойным, чем с на . Во втором случае полученный текст может оказаться просто нечитабельной бессмыслицей.
По этой причине машинный перевод пока не может обходиться без участия человека. Который либо изначально адаптирует текст, устраняя все возможные двусмысленности (предредактирование), либо редактирует уже готовый перевод, убирая из него почти неизбежные ошибки (постредактирование). Существует также и понятие интерредактирования, когда человек непосредственно вмешивается в работу системы, исправляя возникающие неточности «на лету».
Какие бывают СМП
На сегодняшний день работы в сфере МП разделились на два основных направления:
- Статистический машинный перевод (Statistical Machine Translation, SMT) ;
- Машинный перевод, основанный на правилах (Rule-based Machine Translation, RBMT) .
В первом случае перед нами самообучающиеся системы. Перевод становится возможным в результате постоянного анализа огромного количества текстов одинакового содержания, но на разных языках. Система находит и использует всегда существующие закономерности. Качество перевода в случае использования SMT считается достаточно высоким. Но только в том случае, если система уже успела проанализировать огромное количество информации. А для этого необходимо обладать не только самими тестами, но и внушительными вычислительными мощностями. Это означает, что работать в данном направлении могут только крупные компании. Примеры таких систем: Google Translator , Яндекс.Переводчик , а также Bing Translator от Microsoft.
В случае с RBMT-системами все правила создаются людьми, которые затем занимаются их непрестанным «обкатыванием». Соответственно качество результата зависит от того, насколько полно лингвисты сумеют описать естественный язык, с которым они работают. Именно необходимость постоянной поддержки созданной лингвистической базы данных в актуальном состоянии и является главным недостатком RBMT-систем. Зато для создания переводчика, способного обеспечить удовлетворительный результат, не требуются внушительные вычислительные мощности, что позволяет работать в данном направлении небольшим компаниям. В качестве примеров можно привести такие системы, как Multillect , Linguatec и PROMT .
Можно также выделить ещё и третий вариант: гибридный машинный перевод (Hybrid Machine Translation, HMT) . Этот метод объединяет в себе оба подхода, SMT и RBMT. В теории такой подход позволяет получить преимущества обеих технологий. Именно его использует компания Systran , основанная в 1968 году и считающаяся старейшим коммерческим предприятием, работающим в сфере МП.
В настоящее время различают три вида систем машинного перевода:
Системы на основе грамматических правил (Rule-Based Machine Translation, RBMT);
Статистические системы (Statistical Machine Translation, SMT);
Гибридные системы;
Системы на основе грамматических правил производят анализ текста, который используется в процессе перевода. Перевод производится на основе встроенных словарей для данной языковой пары, а так же грамматик, охватывающих семантические, морфологические, синтаксические закономерности обоих языков. На основе всех этих данных исходный текст последовательно, предложение за предложением, преобразуется в текст на требуемом языке. Основной принцип работы таких систем - связь структур исходного и конечного текстов.
Системы на основе грамматических правил часто разделяют еще на три подгруппы - системы пословного перевода, трансфертные системы и интерлингвистические системы.
Преимуществами систем на основе грамматических правил являются грамматическая и синтаксическая точность, стабильность результата, возможность настройки на специфическую предметную область. К недостаткам систем на основе грамматических правил относят необходимость создания, поддержки и обновления лингвистических баз данных, трудоемкость создания такой системы, а так же ее высокая стоимость.
Статистические системы при своей работе используют статистический анализ. В систему загружается двуязычный корпус текстов (содержащий большое количество текста на исходном языке и его «ручной» перевод на требуемый язык), после чего система анализирует статистику межъязыковых соответствий, синтаксических конструкций и т. д. Система является самообучаемой - при выборе варианта перевода она опирается на полученную ранее статистику. Чем больший словарь внутри языковой пары и чем точнее он составлен, тем лучше результат статистического машинного перевода. С каждым новым переведенным текстом улучшается качество последующих переводов.
Статистические системы отличаются быстротой настройки и легкостью добавления новых направлений перевода. Среди недостатков наиболее значительными являются наличие многочисленных грамматических ошибок и нестабильность перевода.
Гибридные системы сочетают в себе подходы, описанные ранее. Ожидается, что гибридные системы машинного перевода позволят объединить все преимущества, которыми обладают статистические системы и системы, основанные на правилах.
1.3 Классификация систем машинного перевода
Системы машинного перевода - программы, осуществляющие полностью автоматизированный перевод. Главным критерием программы является качество перевода. Кроме этого, для пользователя важными моментами является удобство интерфейса, лёгкость интеграции программы с другими средствами обработки документов, выбор тематики, утилита пополнения словаря. С появлением Internet основные поставщики систем машинного перевода включили в свои продукты Web-интерфейсы, обеспечив при этом их интеграцию с остальным программным обеспечением и электронной почтой, что позволило применять механизмы МП для перевода Web-страниц, электронной корреспонденции и онлайновых разговорных сеансов.
Новые члены форума по иностранным языкам компании CompuServe зачастую задают вопрос о том, не мог ли бы кто-нибудь посоветовать им хорошую программу машинного перевода за умеренную цену.
Ответом на этот вопрос неизменно является "нет". В зависимости от отвечающего, ответ может содержать два основных аргумента: либо о том, что машинам перевод не под силу, либо, что машинный перевод стоит слишком дорого.
Оба эти аргумента в определенной степени справедливы. Однако ответ далеко не так прост. Изучая проблему машинного перевода (МП), следует рассмотреть отдельно различные подразделы этой проблемы. Следующее разделение основано на лекциях Лари Чайлдса, проведенных в рамках Международной Конференции по Техническим Коммуникациям 1990 года:
Полностью автоматический перевод;
Автоматизированный машинный перевод при участии человека;
Перевод, осуществляемый человеком с использованием компьютера.
Полностью автоматизированный машинный перевод. Этот вид машинного перевода и подразумевается большинством людей, когда они говорят о машинном переводе. Смысл здесь прост: в компьютер вводится текст на одном языке, этот текст обрабатывается и компьютер выводит этот же текст на другом языке. К сожалению, реализация такого вида автоматического перевода сталкивается с определенными препятствиями, которые еще предстоит преодолеть.
Основной проблемой является сложность языка как такового. Возьмем, к примеру, значения слова "can". Помимо основного значения модального вспомогательного глагола, у слова "can" имеется несколько официальных и жаргонных значений в качестве существительного: "банка", "отхожее место", "тюрьма". Кроме этого, существует архаичное значение этого слова - "знать или понимать". Если предположить, что у выходного языка для каждого из этих значений имеется отдельное слово, каким образом может компьютер их различить?
Как оказалось, определенные успехи были достигнуты в сфере разработки программ перевода, различающих смысл основываясь на контексте. Более поздние исследования при анализе текстов опираются больше на теории вероятности. Тем не менее, полностью автоматизированный машинный перевод текстов с обширной тематикой все еще является невыполнимой задачей.
Автоматизированный машинный перевод при участии человека. Этот вид машинного перевода теперь вполне осуществим. Говоря о машинном переводе при участии человека, обычно подразумевают редактирование текстов как до, так и после их обработки компьютером. Люди-переводчики изменяют тексты так, чтобы они были понятны машинам. После того, как компьютер сделал перевод, люди опять-таки редактируют грубый машинный перевод, делая текст на выходном языке правильным. Помимо такого порядка работы, существуют системы МП, во время перевода требующие постоянного присутствия человека-переводчика, помогающего компьютеру делать перевод особенно сложных или неоднозначных конструкций.
Машинный перевод с помощью человека применим в большей степени к текстам с ограниченным вокабуляром узко-ограниченной тематики.
Экономичность использования машинного перевода с помощью человека - вопрос все еще спорный. Сами программы обычно достаточно дорогостоящи, а для работы некоторых из них требуется специальное оборудование. Предварительному и последующему редактированию необходимо обучаться, да и работа эта не из приятных. Создание и поддержание в рабочем состоянии баз данных слов - процесс трудоемкий и зачастую требует специальных навыков. Однако для организации, переводящей большие объемы текстов в четко-определенной тематической сфере, машинный перевод с помощью человека может оказаться достаточно экономичной альтернативой традиционному человеческому переводу.
Перевод, осуществляемый человеком с использованием компьютера. При этом подходе человек-переводчик ставится в центр процесса перевода, в то время как программа компьютера расценивается в качестве инструмента, делающего процесс перевода более эффективным, а перевод - точным. Это обычные электронные словари, которые обеспечивают перевод требуемого слова, возлагая на человека ответственность за выбор нужного варианта и смысл переведенного текста. Такие словари значительно облегчают процесс перевода, но требуют от пользователя определенного знания языка и затрат времени на его осуществление. И все же сам процесс перевода значительно ускоряется и облегчается.
Среди систем, помогающих переводчику в работе, важнейшее место занимают так называемые системы Translation Memory (TM).Системы ТМ представляют собой интерактивный инструмент для накопления в базе данных пар эквивалентных сегментов текста на языке оригинала и перевода с возможностью их последующего поиска и редактирования. Эти программные продукты не имеют целью применение высокоинтеллектуальных информационных технологий, а наоборот, основаны на использовании творческого потенциала переводчика. Переводчик в процессе работы сам формирует базу данных (или же получает ее от других переводчиков или от заказчика), и чем больше единиц она содержит, тем больше отдача от ее использования.
Вот список наиболее известных систем ТМ:
Transit швейцарской фирмы Star,
Trados (США),
Translation Manager от IBM,
Eurolang Optimizer французской фирмы LANT,
DejaVu от ATRIL (США),
WordFisher (Венгрия).
Системы ТМ позволяют исключить повторный перевод идентичных фрагментов текста. Перевод сегмента осуществляется переводчиком только один раз, а затем каждый следующий сегмент проверяется на совпадение (полное или нечеткое) с базой данных, и, если найден идентичный или похожий сегмент, то он предлагается в качестве варианта перевода.
В настоящее время ведутся разработки по усовершенствованию систем ТМ. Например, ядро системы Transit фирмы Star реализовано на основе технологии нейронных сетей.
Несмотря на широкий ассортимент систем TM, они имеют несколько общих функций:
Функция сопоставления (Alignment). Одно из преимуществ систем ТМ – это возможность использования уже переведенных материалов по данной тематике. База данных ТМ может быть получена путем посегментного сопоставления файлов оригинала и перевода.
Наличие фильтров импорта – экспорта. Это свойство обеспечивает совместимость систем ТМ с множеством текстовых процессоров и издательских систем и дает переводчику относительную независимость от заказчика.
Механизм поиска нечетких или полных совпадений. Именно этот механизм и представляет собой основное достоинство систем ТМ. Если при переводе текста система встречает сегмент, идентичный или близкий к переведенному ранее, то уже переведенный сегмент предлагается переводчику как вариант перевода текущего сегмента, который может быть подкорректирован. Степень нечеткого совпадения задается пользователем.
Поддержка тематических словарей. Эта функция помогает переводчику придерживаться глоссария. Как правило, если в переводимом сегменте встречается слово или словосочетание из тематического словаря, то оно выделяется цветом и предлагается его перевод, который можно вставить в переводимый текст автоматически.
Средства поиска фрагментов текста. Этот инструмент очень удобен при редактировании перевода. Если в процессе работы был найден более удачный вариант перевода какого-либо фрагмента текста, то этот фрагмент может быть найден во всех сегментах ТМ, после чего в сегменты ТМ последовательно вносятся необходимые изменения.
Конечно, как и любой программный продукт, системы ТМ имеют свои достоинства и недостатки, и свою область применения. Однако в отношении систем TM,основным недостатком является их дороговизна.
Особенно удобно использовать системы ТМ при переводе таких документов, как руководства пользователя, инструкции по эксплуатации, конструкторская и деловая документация, каталоги продукции и другой однотипной документации с большим количеством совпадений.
August 21st, 2016
В 1954 году занимающему несколько комнат компьютеру IBM 701 хватило словарного запаса в 250 слов и нескольких простых правил, чтобы точно перевести 60 фраз с русского на английский. Это достижение (знаменитый Джорджтаунский эксперимент) широко освещалось в СМИ, и власти США поверили в светлое будущее - машинный перевод текстов врага на английский уже через десять лет.
Однако этого не случилось. И вот почему...
Обратимся сначала к истории.
История машинного перевода берет начало в XVII веке, когда такими философами, как Лейбниц и Декарт было выдвинуто предположение о существовании некоего кода, соединяющего между собой слова разных языков. Все предположения носили гипотетический характер, и никому не удавалось в действительности создать машину для перевода.
Первые заявления на получение патента на «переводческую машину» были поданы в середине 30-х годов ХХ века. Одно заявление было подано французским изобретателем Ж. Арцруни, просто создавшим автоматический двуязычный словарь на перфоленте. Другое было сделано советским ученым Петром Троянским, чье изобретение было более детальным. Оно включало в себя, как двуязычный словарь, так и способы работы с грамматическими ролями между двумя языками на основе Эсперанто. Данная система представляла собой три этапа: первый заключался в следующем – редактор, носитель языка, должен был связать слова исходного языка (ИЯ) в логические формы в соответствии с синтаксическими функциями; на втором этапе машина должна была «перевести» все эти формы на язык перевода (ПЯ); а на третьем этапе носитель языка перевода занимался редактированием полученного результата. Его схема оставалась неизвестной до конца 50-х годов, когда появились ЭВМ.
Первый план по созданию машин для перевода на базе компьютеров был предложен Уорреном Уивером, исследователем Фонда Рокфеллера, в его меморандуме от июля 1949 года. Данные предложения базировались на теории информации, получившей успех во время Второй Мировой войны в связи с криптографией и распространения идеи об универсальных принципах естественных языков.
Несколько лет спустя, во всех университетах США началась исследовательская деятельность, связанная с машинным переводом. 7 января 1954 года фирма IBM совместно с Джорджтаунским университетом (США) успешно осуществили первую демонстрацию новой системы машинного перевода, которая проходила в Нью-Йорке в головном офисе IBM. Результаты демонстрации были освещены в печати и привлекли большой общественный интерес. Система сама по себе была не более чем, по сегодняшним меркам, игрушечной, поскольку она использовала словарь из 250 слов и осуществила перевод с русского на английский 49 заранее отобранных предложений, имеющих химическую тематику. Однако демонстрация стимулировала распространение идеи о неотвратимости появления машинного перевода, а в частности привлечение финансирования в исследовательские институты не только на территории США, но и по всему миру.
Ранние системы использовали большие двуязычные словари и запрограммированные вручную правила, по выстраиванию на выходе слов в правильном порядке. В конечном итоге, такой способ был признан ограниченным, и развитие лингвистических наук, например, генеративной лингвистики или трансформационной грамматики, было нацелено на улучшение качества перевода.
В это время устанавливались операционные системы. Военно-воздушные силы США пользовались программой, разработанной компанией IBM и Вашингтонским университетом, в то время как комиссия по атомной энергии США и Евроатом в Италии пользовались системой, разработанной Джорджтаунским университетом. И хотя качество выхода было низким, система пользовалась популярностью среди потребителей, в связи с увеличением скорости перевода.
Вернемся к Джорджтаунскому эксперименту. Разумеется, у шоу-эксперимента, помимо научной, была и политическая сторона. Испытание советской атомной бомбы в 1949-м и запуск спутника в 1957-м показали США, что СССР не намерен уступать в научной гонке. Кроме того, чтобы понять, что вообще происходит за железным занавесом, не помешал бы быстрый перевод множества открытых и секретных документов на английский. Проект машинного перевода возник на пересечении интересов американских ученых, гражданских и военных, которые хотели читать советские научные публикации, и сотрудников разведки. Авторы проекта надеялись, что «научный русский», с его простыми фразами и ясной лексикой, позволит вычислительным машинам освоить и столь сложный, вариативный обычный русский язык.
Русские пишут!
К 1948 году на русском языке издавалось 33 процента научной литературы. На немецкий язык в золотые годы «тевтонской» науки приходилось 40 процентов. В частности, если в 1913 году русские тексты составляли 2,5 процента учитываемых Химической реферативной службой (Chemical Abstracts Service) публикаций, то в 1958-м - 17 процентов, заметно обойдя немецко- (10 процентов) и франкоязычные (5 процентов). Уже в 1944 году редактор издания предупреждал читателей о необходимости учить русский.
В конце XIX века американские ученые и инженеры научились читать по-немецки. Но кто же мог подумать, что за каких-то пять лет войны немецкий уйдет на периферию и придется осваивать таинственные кириллические символы! В 1953 году из 400 тысяч опрошенных ученых и инженеров свободно читали по-русски всего 400 человек.
Одна из перфокарт с фразой на русском
Ситуация осложнилась еще из-за политики Сталина. Борясь с «низкопоклонством перед Западом» и утечкой информации, в 1947 году в СССР закрыли все научные журналы на иностранных языках (Comptes rendus АН СССР, Acta Physicochimica и Journal of Physics of the USSR). Более того, перестали публиковать содержание журнала и резюме статей на иностранных языках - и теперь не знающие русского западные ученые даже не могли понять, чему вообще посвящены новые публикации.
С конца 1940-х и особенно после запуска советского спутника Конгресс США выделял десятки миллионов долларов на обучение русскому языку. Чтобы упростить задачу, сами исследователи выдвинули концепцию «научного» или «технического» русского, далекого от непостижимого языка Пушкина и Достоевского. Международная лексика, изобилие формул, простая грамматика должны были максимально облегчить обучение. Но особого прогресса в освоении русского не наблюдалось. Вот тут американцы и обратили свои взоры на новейшие технологии - вычислительные машины.
Машины, на помощь!
Пионером машинного перевода парадоксальным образом стал человек, далекий как от структурной лингвистики, так и от вычислительной техники - личный переводчик генерала Эйзенхауэра Леон Достер (Leon Dostert). Он родился в 1904 году во Франции. В Первую мировую, в годы германской оккупации Леон быстро выучил немецкий и был привлечен к работе в качестве переводчика. То же самое произошло, когда его родной город Лонгви заняли американцы: оценив таланты юного переводчика, офицеры оплатили его обучение в США. В 1939 году он уже был профессором французского в Джорджтаунском университете. После поражения Франции в 1940-м Достер принял американское гражданство и прошел войну в штабе Эйзенхауэра, дослужившись до полковника.
В 1945-м Достер на Международном военном трибунале в Нюрнберге фактически изобрел синхронный перевод - поскольку последовательный недопустимо удлинил бы и без того растянутый процесс. Ему принадлежит идея закрыть переводчиков в «аквариуме» и вести трансляцию речей к каждому из участников процесса индивидуально, через наушники. Все оборудование бесплатно представил приятель Достера Томас Уотсон, будущий президент IBM. Организовав аналогичную систему в ООН, Достер вернулся в университет на должность президента нового Института языков и лингвистики.
Неудивительно, что этот полиглот, судьбу которого радикально изменили две мировые войны, хотел предотвратить третью. Выступая в 1951 году на страницах ARMOR, журнала бронетанковых войск США, Достер скептически отозвался о боеспособности блока НАТО - именно из-за неспособности разноязычных солдат стран-участниц понимать друг друга.
Леон Достер
Спасение пришло с неожиданной стороны. Еще в годы войны перфокартные счетные машины IBM применялись не только для расчета траекторий снарядов и решения логистических задач, но и в криптографии. Это и навело Уоррена Уивера, сотрудника Фонда Рокфеллера, на идею машинного перевода. В 1947 году он написал письмо отцу кибернетики Норберту Винеру: «Проблему перевода можно решить как проблему криптографии. Когда я вижу статью на русском, я говорю себе: "На самом деле она написана на английском, но зашифрована странными символами, которые я декодирую"». Винер, владеющий несколькими языками, разгромил проект, указав на до сих пор не решенную проблему - у слов естественных языков, в отличие от цифр, слишком много смутных и неоднозначных значений, чтобы переводить механическим образом.
Но Уивер получал от Фонда достаточно средств, чтобы и дальше продвигать свои идеи. В 1952 году он спонсировал первую конференцию по машинному переводу, где были озвучены главные технические и философские проблемы этого проекта. Участвовал в симпозиуме и Достер - и быстро смекнул, что для успеха машинного перевода надо не спорить о фундаментальных проблемах, а сконструировать аппарат, который докажет всем осуществимость этой затеи.
Машина Достера опиралась на шесть базовых операций («правил») и, следовательно, могла переводить только предложения, где те применялись. Каждое из 250 слов лексикона кодировалось двумя числами, которые определяли бинарное дерево принятия решений. Компьютер выбирал между прямым и непрямым порядком слов, а также одним из двух словарных значений. При всей ограниченности средств результаты впечатляли: русские фразы латиницей забивались в машину (на перфокартах), и примерно через десять минут выдавался результат:
KRAXMAL VIRABATIVAYETSYA MYEKHANYICHYESKYIM PUTYEM YIZ KARTOFYELYA
Starch is produced by mechanical methods from potatoes
VYELYICHYINA UGLYA OPRYEDYELYAYETSYA OTNOSHYENYIYEM DLYINI DUGI K RADYIUSU
Magnitude of angle is determined by the relation of length of arc to radius
MI PYERYEDAYEM MISLYI POSRYEDSTVOM RYECHYI
We transmit thoughts by means of speech
Чем опасны деньги от ЦРУ
Сенсационный успех демонстрации 1954 года привлек к проектам Достера внимание ВМФ, ЦРУ и других подобных ведомств. Но силовики не спешили раскошеливаться. Тут неожиданную помощь оказал СССР. На статью о Джорджтаунском эксперименте обратил внимание отец советской кибернетики Алексей Ляпунов и вскоре создал в Математическом институте исследовательскую группу. За ним последовал Дмитрий Панов из Института точной математики и вычислительной техники, а к 1958 году машинным переводом занимались уже 79 различных учреждений.
Достер и его коллеги, указав на необходимость «догонять СССР», наконец получили щедрое финансирование - сто тысяч долларов в год. Делу помогло еще и то, что старый фронтовой приятель Достера Аллен Даллес в 1956 году возглавил ЦРУ. Для обработки информации об СССР управлению не хватало русскоязычных аналитиков, и Достер уверил Даллеса, что его машины скоро придут на помощь. За 1956-1958 годы джорджтаунская группа получила от ЦРУ около миллиона трехсот тысяч долларов (10 миллионов по курсу 2016 года). Ни один научный коллектив того времени, кроме физиков-ядерщиков, и мечтать не мог о таких суммах. В коды на перфокартах перевели почти восемь тысяч терминов органической химии. Достер также подписал контракт на перевод советских документов по атомной энергетике.
Достер и Уотсон (справа) во время Джорджтаунского эксперимента
Однако к середине 1960-х над проектом сгустились тучи. Философ Иегошуа Бар-Хиллел, первый в стране специалист по машинному переводу, пришел к выводу о его невозможности даже в будущем. Компьютер, согласно известному примеру Бар-Хиллела, не понимает различия между фразами The box in the pen (коробка в манеже) и The pen is in the box (ручка в коробке) - только человек интуитивно понимает, когда pen значит «манеж», а когда - «ручка».
В 1963 году Достеру удалось отбиться от нападок конгрессменов, которые провели специальные слушания по вопросу автоматического перевода. Но в 1964-м Комитет по прикладной лингвистике Национальной академии наук США констатировал «отсутствие прогресса» - никакого машинного перевода реальных, не адаптированных статей с русского на английский не было и в помине. ЦРУ также прекратило финансирование (без объяснения причин).
Машины - в отставку
Фактически именно сногсшибательный успех Джорджтаунского эксперимента вырыл проекту могилу. Первые фразы были слишком хороши, а переводы более сложных текстов оказались неточными, корявыми или вообще непонятными без дополнительного редактирования.
По словам Гордина, фатальной ошибкой Достера было невнимание к потребителям машинных переводов. Он ориентировался исключительно на госструктуры, которые в любой момент могли прекратить финансирование (что они и сделали).
Впрочем, проблему «тайн советской науки» в США все-таки решили, причем достаточно экономичным способом. Частные издатели создали серию журналов (например, Journal of general chemistry of the USSR), где статьи из советских журналов переводились сплошняком. Сначала эти издания нашли благодарную аудиторию среди американцев, не желающих учить русский, но уже через пару лет львиная доля тиража уходила иностранным специалистам. Ученые из Франции, Японии, Индии или Бразилии, желающие знать, что исследуется и изобретается в СССР, не учили русский, а покупали американские реферативные журналы. Так революционный прогресс советской науки и техники помог утверждению английского как монопольного международного языка ученых.
Публикация отчета в большей степени повлияла на исследования машинного перевода в США и в гораздо меньшей в СССР и Великобритании. По крайней мере, в США такого рода исследования были остановлены на целое десятилетие. В Канаде, Франции и Германии исследования все-таки продолжались. В США главными исключениями стали основатели компаний Systran (Питер Тома)
Если в 60е годы упор был на определенные языковые пары и ввод, то требованием в 70е годы стали малые затраты на системы, способные переводить ряд текстов технической и коммерческой направленности. Спрос был спровоцирован ростом глобализации и спрос на перевод в Канаде, Европе и Японии.
80-е начало 90-х годов
К 80-м годам разнообразие и число программ для машинного перевода увеличилось. Использовались такие переводческие системы, основывающиеся на технологии универсальной вычислительной машины, как Metal.
В результате увеличения пригодности микрокомпьютеров, появился рынок бюджетных программ машинного перевода. Многие компании Европы, Японии и США воспользовались данной возможностью. Системы были представлены на рынке Китая, Восточной Европы, Кореи и СССР.
В 80-е годы в Японии был большой ажиотаж, связанный с машинным переводом. С появлением компьютеров пятого поколения Япония планировала прыгнуть выше всех в области техники и программирования, проект, связанный с созданием программ для перевода с/на английский, заинтересовал многие компании (Fujitsu, Toshiba, NTT, Brother, Catena, Matsushita, Mitsubishi, Sharp, Sanyo, Hitachi, NEC, Panasonic, Kodensha, Nova, Oki).
Исследования 80-х годов основывались на переводе лингвистических единиц при помощи морфологического, синтаксического и семантического анализа.
Первые коммерческие продукты машинного перевода, нашедшие практическое использование в России, появились в середине 80-х годов. Они были реализованы на персональных компьютерах и являлись системами прямого перевода, возможности которых базировались на огромных (по сравнению с первыми системами) словарях, а не на умении анализировать и синтезировать тексты.
Современные коммерческие продукты машинного перевода предлагают отечественные фирмы:
- "Виста Текнолоджиз" и "Адвентис", образованные в 1991 г. коллективом разработчиков, выделившихся из ВИНИТИ;
- ПРОМТ, образованная в 1991 г.;
- "Медиа Лингва".
Например в словарях Retrans Vista хранятся миллионы понятий, к которым относятся не только традиционные устойчивые фразеологические обороты, но, прежде всего, словосочетания, используемые в повседневной речи. Кроме того, есть программа концептуального анализа, автоматически выделяющая из текста новые словосочетания и включающая их в словарь. Основные словари системы Retrans Vista содержат термины и фразеологические единицы по естественным и техническим наукам, экономике, бизнесу и политике. Объем политематического машинного словаря - около 3,4 млн. слов (1,8 млн. в русско-английской части, 1,6 млн. - в англо-русской), причем 20% из них являются словами, а 80% - устойчивыми словосочетаниями со средней "длиной" в 2,2 слова.
В конце 80-х годов произошел рост числа методов, используемых при машинном переводе. Система, разработанная компанией IBM, базировалась на статистическом методе. Другие группы использовали методы, основывающиеся на большом числе примеров переводов, такая техника называется машинный перевод на основе примеров. Определяющая черта обоих подходов стал недостаток семантических и синтаксических правил и опора на манипуляции с корпусами текстов.
В 90-х годах после успеха программ по распознаванию речи и ее синтеза и с развитием Verbmobil, начались разработки по переводу речи.
В результате появления бюджетных и более мощных компьютеров вырос спрос на программы машинного перевода. Именно в начале 90х годов перевод стал осуществляться не громоздкими ЭВМ, а персональными компьютерами и дисплейными терминалами. Одна из компаний, которая стояла во главе рынка ПК на тот момент были Systran.
Недавние исследования
За последние несколько лет машинный перевод пережил значительные изменения. В настоящий момент большое количество исследований ведется в области статистического машинного перевода и машинного перевода на базе примеров перевода. Сегодня немногие компании используют статистический машинный перевод в коммерческих целях, например, Microsoft (использует свою собственную патентованную статистическую программу МП для перевода статей базы). Возобновился интерес к гибридизации, исследователи совмещают синтаксические и морфологические (т. е. лингвистические) знания в статистических системах с уже существующими правилами.
источники
