NLP 论文领读｜文本生成模型退化怎么办？SimCTG 告诉你答案

本期分享者：白承麟 澜舟科技算法实习生，北京交通大学自然语言处理实验室二年级硕士生，目前正在进行文本生成方向的研究。 Email: chenglin.bai09@gmail.com 写在前面开放式文本生成技术是各种自然语言应用（如故事生成、对话系统）中不可或缺的组成部分，其目标是根据给定语境创作一段连贯的文本。然而，基于 MLE 训练的语言模型往往面临退化问题，即随着生成文本长...

人工智能 | ShowMeAI资讯日报 #2022.06.29

1.工具&框架 预训练模型：YaLM 100B - 100B参数预训练语言模型tags: [预训练，语言模型，大模型] 大型模型用于文本生成和处理的类GPT开源预训练神经网络 ‘YaLM 100B - Pretrained language model with 100B parameters，a GPT-like neural network for generati...

人工智能 | ShowMeAI资讯日报 #2022.06.27

1.工具&框架 工具库：ClearML - 开源的机器学习工具包，自带简洁美观的可视化界面tags: [机器学习，建模，可视化，工具包] 该工具可用于简化机器学习开发、运维流程，自动完成实验跟踪与结果记录，并提供了灵活多变的数据管理方案。 GitHub: https://github.com/allegroai/clearml 工具库：Movenet.Pytorch...

人工智能 | ShowMeAI资讯日报 #2022.06.23

1.工具&框架 工具库：PyTorch Lightning + Hydra深度学习项目模板tags: [pytorch，lightning，深度学习，模板] ‘PyTorch Lightning + Hydra Template - PyTorch Lightning + Hydra + Optuna + Weights&Biases. A very gener...

文本匹配——【NAACL 2021】AugSBERT

背景与挑战论文地址：https://arxiv.org/abs/2010.08240 目前，最先进的 NLP 架构模型通常重用在 Wikipedia 和 Toronto Books Corpus 等大型文本语料库上预训练的 BERT 模型作为基线 。通过对深度预训练的 BERT 进行微调，发明了许多替代架构，例如 DeBERT、RetriBERT、RoBERTa ……它们对各种...

浅谈BERT预训练源码

hi！又到每周分享的时刻了，希望大家能有收获呀！！！！！！！！！！！ ”BERT“ 这个词相信大家已经不在陌生了, 发布至今，BERT 已成为 NLP 实验中无处不在的基线。这里稍微扯一下什么是BERT毕竟不是今天的重点，BERT在模型架构方面沿用了Transformer的Encoder端（不知道什么是transformer的小伙伴们可以去阅读论文：)，它是一个预训练模型，模型...

新手必看的Bert源码解读

目录 一、模型结构（modeling.py）1、BertConfig2、Embedding_lookup(BERT词向量token_embedding)3、embedding_postprocessor（其实就是补全bert的输入）4、attention_mask5、Mutil-Head Attention6、Transformer_model7、Bert函数入口（init）...

自制基于HMM的python中文分词器

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第20天，点击查看活动详情 不像英文那样单词之间有空格作为天然的分界线， 中文词语之间没有明显界限。必须采用一些方法将中文语句划分为单词序列才能进一步处理， 这一划分步骤即是所谓的中文分词。 主流中文分词方法包括基于规则的分词，基于大规模语料库的统计学习方法以及在实践中应用最多的规则与统计综合方法。 隐马尔科夫...