biggan的博客

Transformer

Transformer机器翻译模型

Transformer 1. transformer架构分析 1.Transformer主体都是由Encoders和Decoders两部分构成 ENCODER对源句子进行一个表示，得到一个叫encoder_outputs的输出，然后将这个输出作为 DECODER的部分输入，然后对目的句子进行预测。 2.Transformer的Encoders和Encoders都是层叠结构 ...

Posted by biggan on April 3, 2019

file & chars encoding

文件格式、字符编码

关于字符编码的那些事 1.为什么需要字符编码计算机中只能存储的0和1，对于一个英文、汉语等字符，只有将其编码成01串才能传入计算机。因此，我们需要定义一套编码规则，能将不同的字符转换成不同的01串。为了描述这个编码规则，进而又产生了编码字符集和字符编码方式这两个概念。 2.编码字符集、字符编码方式 (1 编码字符集和字符编码的关系一个编码字符集可以有一种或者多种字符编码...

Posted by biggan on March 30, 2019

Common code segment

常用代码段

常用的代码段文件读写 txt文件 '''文件读''' with open('data_path', 'r', encoding='utf-8') as f: f.read() #读取整个文件，返回结果为str类型 f.readline() #读取一行，返回结果为str类型 f.readlines() #读取整个文件，返回结果为list...

Posted by biggan on February 15, 2019

Text Classification（3）

文本分类三（TextCNN、TextRCNN、DPCNN)

文本分类三 1.TextCNN （1）概述利用CNN进行文本分类，和TextRNN仅仅在文本表示上有区别，对文本向量分类的操作是相同的。 TextCNN比TextRNN的主要优势在于训练速度快 TextCNN重点将文本表示成词向量矩阵，称为文本词向量矩阵。利用若干数目不同尺寸的卷积核，对文本词向量矩阵进行信息提取，然后经池化层得到有...

Posted by biggan on January 5, 2019

Text Classification（2）

文本分类二（TextRNN+Attention、HAN)

文本分类二 1.深度学习方法做文本分类使用深度学习方法进行文本分类时，可以使用word2vec，glove，fasttext等工具预训练词向量，或者直接使用开源的训练好的词向量。深度学习方法一般都是基于CNN、RNN以及Attention机制对文本进行特征提取，表示成文本向量，最后接一个softmax层进行分类。 2.利用RNN、Attention机制进行文本分类（...

Posted by biggan on December 5, 2018

Text Classification（1）

文本分类一（概述，机器学习方法）

文本分类一 1.文本分类概述（1）问题类型二分类：二选一多分类：多选一多标签：多选不定项（相当于很多个二分类问题）（2）问题解析文本分类问题主要分为文本表示和分类两部分。文本表示：对文本进行特征提取，一个文本表示成一个向量。分类：对提取的文本向量进行分类 note：一个文本中，通常由多个句子组成。大部分文本表示的做法是不考虑句...

Posted by biggan on November 15, 2018

How to set up a Pytorch project

构建Pytorch项目一般步骤

如何搭建一个Pytorch 项目用Pytorch搭建一个神经网络的一般步骤导入常用的包如$numpy$，$torch$，$torch.nn$等继承基类nn.Module，自定义网络结构定义$__init__(self，arg1，arg2，…，argn)$函数 ...

Posted by biggan on October 2, 2018

Data set partitioning

数据集划分

数据集划分 1. 留出法(hold-out) 1.将数据集D划分为两个互斥的集合 ——训练集S，测试集T。其中训练集用来训练模型，而测试集用来验证模型对新样本的判别能力。 2.将数据集D划分为三个互斥的集合 ——训练集S、验证集V和测试集T。训练集用来训练模型，验证集用来观察模型性能，测试集用来验证模型效果。划分为三个集合的方式...

Posted by biggan on September 15, 2018

Blog of biggan