发表于
Tips：MOS evaluation for NN-based speech super-resolution.Listen to all utterances in the Table and score them subjectively. In specific, the clean aud ...
阅读全文 »

发表于 | 分类于
【图解】随机采样 & 相邻采样本系列主要针对深度学习过程中的零碎知识点整理与直观理解。先验知识：采样序列总字符长度：$L$批量大小（每个批量中的样本数）：batch_size = n每个样本包含的时间步：num_step = t小批量采样：每次只处理一个批量的样本，每个字符最多只能出现在一个 ...
阅读全文 »

发表于 | 分类于
机器翻译和数据集机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。不能用传统RNN实现，机器翻译输出于输入序列长度可能不一样。12import osos.l ...
阅读全文 »

发表于 | 分类于
GRURNN存在的问题：梯度较容易出现衰减或爆炸（BPTT）⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系RNN:$$H_{t} = ϕ(X_{t}W_{xh} + H_{t-1}W_{hh} + b_{h})$$GRU:$$R_{t} = σ(X_tW_{xr} + H_{t−1}W_{ ...
阅读全文 »

发表于 | 分类于
梯度消失、梯度爆炸以及Kaggle房价预测梯度消失和梯度爆炸考虑到环境因素的其他问题Kaggle房价预测梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为$L$的多层感知机的第$ ...
阅读全文 »

发表于 | 分类于
过拟合、欠拟合及其解决方案过拟合、欠拟合的概念权重衰减丢弃法模型选择、过拟合和欠拟合训练误差和泛化误差在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测 ...
阅读全文 »

发表于 | 分类于
循环神经网络本节介绍循环神经网络，下图展示了如何基于循环神经网络实现语言模型。我们的目的是基于当前的输入与过去的输入序列，预测序列的下一个字符。循环神经网络引入一个隐藏变量$H$，用$H_{t}$表示$H$在时间步$t$的值。$H_{t}$的计算基于$X_{t}$和$H_{t-1}$，可以认为$H_ ...
阅读全文 »

发表于 | 分类于
随机采样下面的代码每次从数据里随机采样一个小批量。其中批量大小batch_size是每个小批量的样本数，num_steps是每个样本所包含的时间步数。在随机采样中，每个样本是原始序列上任意截取的一段序列，相邻的两个随机小批量在原始序列上的位置不一定相毗邻。1234567891011121314151 ...
阅读全文 »

发表于 | 分类于
语言模型一段自然语言文本可以看作是一个离散时间序列，给定一个长度为$T$的词的序列$w_1, w_2, \ldots, w_T$，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：$$P(w_1, w_2, \ldots, w_T).$$本节我们介绍基于统计的语言模型，主要是$n$元语法（$ ...
阅读全文 »
0%