我嘗試創建一個特定於領域的神經機器翻譯引擎 - 專注於數據收集和性能驗證(第 2 部分)

特定領域 NMT 發動機的性能驗證

我嘗試創建一個特定領域的神經機器翻譯引擎 - 我實際上使用(第 1 部分)中收集的 IT 領域的中日雙語數據製作了一個特定於領域的日日和中日NMT 引擎的原型,專注於數據收集和性能驗證。
為了創建翻譯引擎的模型,我們使用了一個名為 OpenNMT 的工具。

現在,讓我們實際翻譯測試文本 (IT 字段) 並查看 IT NMT 的性能。
在這裡,要比較的通用 NMT 是業界最先進的 Google Translate。
表中的數位是 BLEU 值(4 克),這是自動評估標準。 (BLEU 解釋

  中國和日本
IT 領域的 NMT 40.79 35.35
谷歌 37.53 28.43

 

從生成的 BLEU 值中,發現在 IT 領域的測試中,即使數據量很小,IT NMT 也可以比通用的 Google Translate 更好地評估。

事實上,NMT 在 IT 領域的翻譯比通用的 Google 翻譯更好呢?
例如:

源語言 翻譯 IT 領域的 NMT 翻譯 谷歌翻譯
過渡權重 遷移權重 遷移權重 過渡權重

 

IT 領域 NMT 的日文翻譯正確地變成了中文“權重 = weight”,但谷歌錯誤地將“權重”的一般含義輸入為“權重 = weight”。

這樣,通用 NMT 的技術術語的翻譯問題可以通過在 IT 領域使用 NMT 來改善。

即使雙語數據量不足,特定領域的 NMT 也可能優於通用 NMT

在這項研究中,我們檢查了一種收集雙語數據以創建特定領域的 NMT 引擎的方法。 如果有機會,我想介紹一下本文中介紹的其他數據收集方法。
此外,性能驗證表明,即使使用的雙語數據量不足,特定領域的 NMT 也可能優於最先進的通用 NMT。
在確保特定領域的 NMT 後,我們最終可以提出滿足客戶期望的翻譯服務。 翻譯過程如下。
1. 自動確定輸入句子欄位的功能
2. 交付給每個特定於現場的 NMT 引擎
3. 從適當的欄位引擎輸出翻譯
你怎麼看?
我希望您對特定領域的 NMT 有一點瞭解。
我們計劃在未來推出更多與 NMT 相關的內容,敬請期待!