biggan的博客

Learning Transformer-XL

Transformer-XL模型&&代码

Transformer-XL 学习笔记 1 论文： Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context （卡耐基梅隆大学&&谷歌大脑） 2 简介 2.1 为什么是XL XL指“extra-long”，意为”超长“。基于Transformer的预训练模型Bert规定输入的序列长...

Posted by biggan on December 20, 2019

ERNIE(THU&&Baidu)学习

Bert改进——融入知识

Bert融入知识——学习笔记本文主要介绍两篇都叫ERNIE的论文，两者都通过融入知识对Bert模型进行改进。本文主要关注两论文对应模型是如何融入知识的、以及模型的预训练任务。 1. Enhanced Language Representation with Informative Entities 1.1 原文 https://www.aclweb.org/anthology/P1...

Posted by biggan on November 20, 2019

Learning ELMo

ELMo模型 && ELMo预训练模型的调用

Learning ELMo ELMo: Embeddings from Language Models 一、ELMo介绍参考： Paper：Deep contextualized word representations ELMo section of the AllenNLP website 1 ELMo简介我们介绍了一种新型的深层语境化单词表示，它建模了(1)单词使用的...

Posted by biggan on November 12, 2019

Learning Bert

Bert模型 && Pytorch下使用预训练模型

Learning Bert BERT—— Bidirectional Encoder Representations from Transformers 1.Bert模型 (1) BERT原文: Pre-training of Deep Bidirectional Transformers for Language (2) 模型outline Bert结构略述： ...

Posted by biggan on October 12, 2019

Evaluation index in ML

评价指标

评价指标 1. 概述评价指标，根据模型预测结果和真实结果的匹配情况，衡量模型的性能优劣。评价指标根据问题不同主要分为三大类分类问题 Accuracy准确率，Precision精确率，Recall召回率，F值 ROC，AUC 回...

Posted by biggan on June 6, 2019

Big Data & AI competition platforms

大数据、AI相关竞赛平台

大数据、AI竞赛平台国外 Kaggle Codalab 国内科赛 Biendata 阿里云天池百度点石京东JDATA 爱奇艺AI竞赛 Datafountain DataCastle AI Challenger FlyAI TinyMind 蚂蚁金服科大讯飞法研杯

Posted by biggan on May 15, 2019

Information Extraction(2)

关系抽取(一)

关系抽取（一） 1.什么是关系抽取从文本中识别实体并抽取实体之间的语义关系，即给定关系集合$R$，从文本中抽取出满足关系集合R中某一关系的三元组（triples）。三元组：由一个实体对$<e1, e2>$和实体之间关系$r$组成，可表示为$r(e1,e2)$或者$(e1, r, e2)$，其中的关系$r$属于给定关系集合$R$。例如：从下面这段文本中抽取出如下三...

Posted by biggan on May 2, 2019

Information Extraction(1)

命名实体识别（NER)

一、信息抽取（IE） Information Extraction 从大规模非结构或半结构的自然语言文本中抽取结构化信息。主要任务有：实体抽取、命名实体识别（Named Entity Recognition，NER）关系抽取（Relation Extraction，RE）事件抽取二、命名实体识别（NER） 1.NER概述指识别文本中具有特...

Posted by biggan on April 28, 2019

Blog of biggan