Google-Neural-Machine-Translation-GNMT, 它是GNMT的tensorflow实现

分享于 

3分钟阅读

GitHub

  繁體 雙語
It is a tensorflow implementation of GNMT
  • 源代码名称:Google-Neural-Machine-Translation-GNMT
  • 源代码网址:http://www.github.com/shawnxu1318/Google-Neural-Machine-Translation-GNMT
  • Google-Neural-Machine-Translation-GNMT源代码文档
  • Google-Neural-Machine-Translation-GNMT源代码下载
  • Git URL:
    git://www.github.com/shawnxu1318/Google-Neural-Machine-Translation-GNMT.git
    Git Clone代码到本地:
    git clone http://www.github.com/shawnxu1318/Google-Neural-Machine-Translation-GNMT
    Subversion代码到本地:
    $ svn co --depth empty http://www.github.com/shawnxu1318/Google-Neural-Machine-Translation-GNMT
    Checked out revision 1.
    $ cd repo
    $ svn up trunk
    
    Google-Neural-Machine-Translation-GNMT

    这是由谷歌发布的GNMT的一个tensorflow实现。

    关键字:机器翻译

    Tensorflow版本:0.11.0

    抽象

    机器翻译( NMT ) 是一种用于自动翻译的end-to-end学习方法,有可能克服传统短语翻译系统中存在的许多不足。 不幸的是,NMT系统在培训和翻译推理方面都是相当昂贵的。 此外,大多数NMT系统都有很难使用。 这些问题阻碍了nmt在实际的部署和服务中的使用,其中准确性和速度都是必要的。 本文提出了GNMT机器翻译系统的神经网络,尝试解决这些问题。 我们的模型由一个带有八个编码器和八个解码层的深LSTM网络组成,它们使用注意和剩余连接。 为了提高并行性,减少训练时间,我们的注意机制将解码器的底层连接到编码器的最顶层。 为了加快最终的翻译速度,我们在推理计算中采用了低精度算法。 在处理稀有词时,我们把单词分成一组有限的通用子词单元("字块,分别输入和输出两个单词。 这种方法在"字符"-delimited模型的灵活性和"单词"-delimited模型的效率上提供了良好的平衡,最终提高了系统的整体精度。 我们的梁搜索技术采用了一个长度标准化程序,使用覆盖罚,鼓励一个输出句子。 在WMT的14 English-to-French和English-to-German基准上,GNMT实现了竞争优势。 基于谷歌生产系统的短语相比,在一组孤立的简单句子中使用人工side-by-side评估可以减少翻译错误的平均值。

    demo

    什么是实现

    • 双向 lstm

    • 堆叠剩余 lstm

    • 注意模型

    • 多 gpu

    结构类似于下面这样: model

    将实现什么

    • 将来将实现子单词和 one-to-many

    引用


    相关文章