No exerpt.

熵用于描述信息的不确定性，定义为：$$H(X)=-\sum_xp(x)log_2p(x)

考虑到文章有长短之分，为了便于不同文章的比较，进行"词频"标准化。

LSTM 中引入了3个门，即输入门（input gate）、遗忘门（forget gate）和输出门（output gate），以及与隐藏状态形状相同的记忆细胞（某些文献把记忆细胞当成一种特殊的隐藏状态），从而记录额外的信息。与门控循环单元中的重置门和更新门一样，如图所示，长短期记忆的门的输入均为当前时间步输入 $X_t$ 与上一时间步隐藏状态 $H_{t−1}$ ，输出由激活函数为sigmoid函数的全连接层计算得到。如此一来，这3个门元素的值域均为 [0,1] 。

使用CNN-LSTM进行情感分类，这里是一个二分类模型。整体上分为以下几个步骤：

<img src="https://pic1.zhimg.com/v2-38e6e46009ea88c06465ed0770051c4d_r.jpg" style="zoom: 67%;" /> <img src="https://pic4.zhimg.com/v2-2ea1f0b8b166f31273b26bca3ba8e8b2_r.jpg" style="zoom:67%;" /> 主要看第二张图：

潜在语义索引(Latent Semantic Indexing,以下简称LSI)，有的文章也叫Latent Semantic Analysis（LSA）。其实是一个东西，后面我们统称LSI，它是一种简单实用的主题模型。LSI是基于奇异值分解（SVD）的方法来得到文本的主题的。这里我们简要回顾下SVD：对于一个$m \times n$的矩阵$A$，可以分解为下面三个矩阵：$$

Alber相对于原始BERT模型主要有三点改进：

孪生网络是包含两个或多个相同的的子网络组件的神经网络，如下所示：<img src="https://raw.githubusercontent.com/chongzicbo/images/master/imgimage-20200929214609062.png" alt="image-20200929214609062" style="zoom:67%;" /> 在孪生网络中，不仅子网络的架构是相同的，而且权重在子网络中也是共享的，这样的网络被称为孪生网络。孪生网络背后的思想是其能够学习有用的数据描述符，这些描述符可以进一步用于在各个子网的输入之间进行比较。因此，孪生网络的输入可以是数值数据、图像数据(CNN为子网络)或者序列数据（以RNN为子网络）。

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> 在上一篇文章中，简要介绍了孪生网络(siamese network)的基本原理及应用实战，这里再使用孪生网络来进行文本相似度计算。文本的相似性计算是“文本匹配”的一种特殊情况。一般来说，文本相似度计算任务的输入，是两篇文档，比如下表的前两个句子；输出是两篇文档的相似程度，通常用[0,1]区间内的小数来表示。

对380篇英文文献进行分析，大多是会议论文，来源包括ACL、EMNLP、COLING、IJCNLP等，收录最多的是ACL。SIGHAN是国际计算语言学协会中文处理特别兴趣组。SIGHAN采用多家机构的评测数据组织多次评测(即BakeOff)，评测使用封闭测试和开放测试两种方法。封闭测试只允许使用固定训练语料学习相应的模型，而开放测试可以使用任意资源。测试使用的评价标准包括准确率、召回率和F值。其中对比的是人工标注的数据集。CIPS-SIGHAN为中文处理资源与评测国际会议。以SIGHAN和CIPS-SIGHAN的评测为主线，展示历届评测的重点内容和相关联的国际会议、时间，如下图所示。图中左侧使用不同颜色矩形框区分各个会议，圆形中的数字表示举办到第几届，评测与会议联合举办则增加了连线。

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> ELMO是一种深层的上下文单词表示模型，它可以同时建模：(1) 单词使用的复杂特征（例如语法和语义），也就是能够学习到词汇用法的复杂性

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> import os

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> 《Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification》是2016年由中国科学技术大学Peng Zhou等在ACL发表的论文，本文是对该论文的简单解读和代码复现。现在来看，模型的结构还是比较简单的，主要包括5部分，分别是输入层、词嵌入层、BiLSTM层、Attention层和softmax输出层。

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> Embedding+BiLSTM+BiLSTM+Densefrom tensorflow.keras.layers import Embedding, LSTM, Bidirectional, Dense, Dropout, Masking

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> 在之前的文章“论文阅读04：使用序列标注的方式解决实体和关系的联合抽取”介绍了一种使用序列标注的方式来进行实体和关系的联合抽取，模型的具体细节可以查看该文章。今天的文章主要是对这篇文章中论文提到的模型进行简单的实现。论文中提到的偏置目标函数通过给不同的标签赋予不同的权重进行实现。这里仅实现模型，能够跑通，因为是在个人笔记本上跑，机器性能不够，所以没有训练完，也没有调参。最终的训练效果也未知。感兴趣的同学可以自己调调参。

在预训练自然语言表示时，增加模型大小通常会导致下游任务的性能提高。但是，由于 GPU/TPU 内存限制和更长的训练时间，在某些时候，进一步增大模型变得更加困难。为了解决这个问题，我们提出了两种参数削减技术来降低内存消耗以及加快模型训练速度。实验结果表明我们提出的方法比原始BERT模型的扩展性更好。使用自监督损失来建模句子间的连贯性，有助于下游任务的处理。在GLUE、RACE和SQuAD等benchmarks上取得了SOTA，而且与BERT-large相比拥有更少的参数。代码见：https://github.com/google-research/ALBERT.深度学习神经网络预训练在语言表示学习方面取得了一系列突破。大量重要的NLP任务包括那些仅使用有限训练数据的任务都从预训练模型中受益匪浅。一个最大的突破就是在为中国初高中英语考试设计的阅读理解任务中机器性能的变化，the RACE test (Lai et al., 2017):最初的SOAT机器准确率为44.1%;目前最新的性能达到了 83.2% (Liu et al., 2019);而我们的工作达到了89.4，取得了45.3

预训练模型让nlp任务的效果得到了极大提升，但不同方法之间的比较也很困难。预训练模型的训练通常在不同大小的私有数据集上完成，计算代价很昂贵，超参数的选择对最终的效果具有显著影响。我们提出了一个BERT的复制研究，精心评估衡量大量关键超参数和训练数据大小的影响。我们发现BERT明显训练不足，它的效果能够达到或者超过在它之后发布的每个模型的性能。我们训练出的最好的模型在GLUE、RACE和SQuAD上能达到SOTA。模型结果突出了之前被忽视的设计选择的重要性，并提出了模型为什么能够改进的问题。ELMO、GPT、XLM、XLNet等自训练方法取得了极大的性能提升，但在如何确定那种方法贡献最大上还存在困难。模型的训练在计算上很昂贵，限制了调参的数量。训练数据通常是私有的且大小不一致，导致无法评估模型的效果。在BERT的基础上提出了Roberta模型，对不同的超参数微调和训练集大小做了一个详细的评估。我们发现BERT寻找严重的训练不足，我们提出了新的训练方法，roberta模型可以达到或者超过BERT之后提出的方法的性能。Roberta模型做出的改变包括：

介绍隐马尔可夫模型之前，首先了解马尔科夫过程。马尔科夫过程是满足无后效性的随机过程。当前状态仅与前一状态相关。时间和状态都是离散的马尔科夫过程也叫马尔科夫链隐马尔可夫模型是对含有未知参数（隐状态）的马尔科夫链进行建模的过程

bert是用了transformer的encoder侧的网络，作为一个文本编码器，使用大规模数据进行预训练，预训练使用两个loss，一个是mask LM，遮蔽掉源端的一些字（可能会被问到mask的具体做法，15%概率mask词，这其中80%用[mask]替换，10%随机替换一个其他字，10%不替换，至于为什么这么做，那就得问问BERT的作者了{捂脸}），然后根据上下文去预测这些字，一个是next sentence，判断两个句子是否在文章中互为上下句，然后使用了大规模的语料去预训练。在它之前是GPT，GPT是一个单向语言模型的预训练过程（它和gpt的区别就是bert为啥叫双向 bi-directional），更适用于文本生成，通过前文去预测当前的字。下图为transformer的结构，bert的网络结构则用了左边的encoder。BERT由12层transformer layer（encoder端）构成，首先word emb , pos emb（可能会被问到有哪几种position embedding的方式，bert是使用的哪种）, sent emb做加和作为网络输入，每层由一个m

如果你准备NLP面试，skip-gram模型的目标函数真的是哪怕死记硬背也得记下来！程序员onsite白板算法不意外，对于算法岗，白板这个目标函数也是不意外的。看着上面的公示，正好脑补一个skip-gram的训练过程，问下自己这些字母符号都是什么含义：假设训练文本有T个词，第一个求和就像一个指针从第一个词一直指到最后一个词，每个被指到的词都是就是当前词（或称中心词）；再看第二个求和符合，c是一个固定的参数，代表中心指针向前或向后能取到多少个词，换句话说，c划定了上下文的范围。那么把前两个求和符合连在一起，就有了一个浮窗（window）从第一个词一直滑到最后一个词，浮窗正中间自然是当前词，前后各c个词就是其对应的上下文；回想一下上一篇文章提到的skip-gram是怎样训练的，通过中心词来预测它的上下文中的词，那么很显然求和符号后面就是这个预测概率。整个目标函数就是为了最大化log预测概率的平均值。标配版的skip-gram用softmax函数来计算该预测概率：

1.1 独立同分布与白化机器学习界的炼丹师们最喜欢的数据有什么特点？窃以为，莫过于“独立同分布”了，即independent and identically distributed，简称为 i.i.d. 独立同分布并非所有机器学习模型的必然要求（比如 Naive Bayes 模型就建立在特征彼此独立的基础之上，而Logistic Regression 和 神经网络 则在非独立的特征数据上依然可以训练出很好的模型），但独立同分布的数据可以简化常规机器学习模型的训练、提升机器学习模型的预测能力，已经是一个共识。

[1] 自然语言处理中的Attention机制总结_CODE and POEM-CSDN博客_attention[2] Attention 面试向知识点背书_MinyounZhang的博客-CSDN博客[3] NLP中的 Attention 机制（不定期更新） - 知乎 (zhihu.com)

[1] 史上最全Transformer面试题系列（一）：灵魂20问帮你彻底搞定Transformer-干货！ - 知乎 (zhihu.com)[2] NLPer看过来，一些关于Transformer的问题整理_笔经面经_牛客网 (nowcoder.com)[3] 关于Transformer和BERT，在面试中有哪些细节问题？_onehot (sohu.com)

学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分：

博学而笃志，切问而近思

No exerpt.

在执行转换操作的RDD时，调度器会根据RDD的“血统”来构建若干由stage组成的有向无环图(DAG),每个stage阶段包含若干个连续窄依赖转换。调度器按照DAG顺序进行计算得到最终的RDD。调度器向各节点分配任务采用延时调度机制并根据数据存储位置(数据本地性)来确定。如果一个任务需要处理的某个分区刚好存储在相应节点的内存中，则该任务会分配给该节点；如果在内存中不包含该分区，调度器会找到包含该RDD的较佳位置，并把任务分配给所在节点。<img src="http://qfth8dccq.hn-bkt.clouddn.com/images/image-20200826103555542.png" alt="image-20200826103555542" style="zoom:50%;" />

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> Spark中提供了通用接口来抽象每个RDD，包括：

No exerpt.

  SparkConf类负责管理Spark的所有配置项,每个Spark程序都离不开SparkConf，基本上在Spark程序的开始都会进行一个参数的配置，如new SparkConf().setMaster("local").setAppName("My app")。这里主要讲下SparkConf类源码的基本内容。class SparkConf(loadDefaults: Boolean) extends Cloneable with Logging with Serializable

以Standalone模式为例。Spark启动过程主要是进行Master和Worker之间的通信，如下图所示。详细过程如下：

假设状态序列为$x_1,x_2,\ldots,x_{t-2},x_{t-1},x_{t},x_{t+1},x_{t+2},\ldots$$$P(x_{t+1}| \ldots,x_{t-2},x_{t-1},x_t)=P(x_{t+1}|x_t)

似然估计，英文为likelihood estimate(LE),而likelihood的意思是可能性。在传统概率学派中假定的是概率分布的参数固定，样本随机。那么我们该如何通过样本去确定这个概率分布的参数呢？这里就需要用到似然估计的方法了。也就是说，样本出现后，反推模型的参数值，而这个参数值有很多种可能性。举个例子，假设我们有很多块西瓜皮，瓜皮的纹理分为清晰、稍糊、模糊，现在我们的目的就是通过瓜皮去推断西瓜的成熟度(瓜青、瓜熟、瓜烂).

$f$为实数$x$的函数，如果$f^{''}(x) \geq 0$，则称$f$为凸函数，如果$f^{''}(x)$>0则称为严格凸函数。$$f^{''}(x) \geq 0,\forall x \in R

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> 知识图谱(knowledge graph)是以图的形式表现客观世界中的实体(概念、人、事物)及其之间的关系的知识库。2012年，谷歌提出了知识图谱的概念，自此，知识图谱得到了广泛的关注和应用研究，现已发展成为语义搜索、智能问答、决策支持等智能服务的基础技术一。知识图谱是以图的形式表现客观世界中的实体(概念)及其之间关系的知识库. 知识图谱的研究起源

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> 知识图谱提供了一种更好的组织、管理和理解互联网信息的能力, 可用于语义搜索、智能问答、个性化推荐等, 在社交和电子商务等领域中实现价值. 基于知识图谱的应用是信息领域当前的研究热点, 也是促进人工智能发展的基础技术之一.知识图谱是语义搜索的大脑[55]. 传统搜索引擎基于用户输入的关键词检索后台数据库中的Web网页,将包含搜索关键词的网页的链接反馈给用户. 语义搜索(也称为语义检索)则首先将用户输入的关键词映射至知识图谱中的一个或一组实体或概念, 然后根据知识图谱中的概念层次结构进行解析和推理, 向用户返回丰富的相关知识. 谷歌提出语义搜索后, 国内百的

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> 知识图谱的构建方法有三种: 自底向上、自顶向下和二者混合的方法.自底向上的构建方法, 从开放链接的数据源中提取实体、属性和关系, 加入到知识图谱的数据层；然后将这些知识要素进行归纳组织, 逐步往上抽象为概念, 最后形成模式层. 自底向上法的流程如图1所示.

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> Web本体语言OWL是当前存储本体的主要形式.OWL也适用于知识图谱的存储, 但OWL文档不适用于大数据量的情况, 影响查询、修改和推理速度. 作为知识库的知识图谱, 其基本元素是海量的各种关系联系在一起的实体, 需要创新性的存储方式. 知识图谱可采用关系型数据库或图数据库存储, 也可采用混合的方式存储。将知识图谱存入关系型数据库, 是一个将知识图谱转换为RDF三元组进行存储的问题, 即, 将知识图谱的关系分解为一个个<Subject, Predicate, Object>的三元组形式, 并映射至关系表, 存储于关系型数据库中.根据映射方法不同, 基于关系型数据库的知识图谱存储可以采用四种方法:

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> 信息抽取是知识图谱构建的第一步，其中的关键问题是如何从异构数据源中自动抽取信息得到候选知识单元。知识抽取是一种自动化地从结构化、半结构化和无结构数据中抽取实体、关系以及实体属性等结构化信息的技术。涉及的关键技术包括：实体抽取、关系抽取和属性抽取。

知识表示的五大用途或特点：

[1] 算法/机器学习校招面试题目合集_牛客网 (nowcoder.com)[2] 精华专题_牛客网 (nowcoder.com)[3] songyingxin/NLPer-Interview: 该仓库主要记录 NLP 算法工程师相关的面试题 (github.com)

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> 文本匹配在信息检索、自动问答、机器翻译、对话系统、复述问题等自然语言处理任务上应用广泛。．这些自然语言处理的任务都可以在一定程度上抽象成文本匹配问题，比如信息检索可以归结为查询项和文档的匹配，自动回答可以归结为问题和候选答案的匹配，机器翻译可以归结为两种语言间的匹配，对话系统可以归结为前一句对话和回复的匹配，复述问题则可以归结为两个同义词句的匹配。文本匹配面临的挑战主要来源于以下几个方面：

实体和关系的联合抽取是信息抽取中的一个重要任务。为了解决这个问题，我们首先提出了一种新的标签方案(tagging scheme)，将联合抽取任务转换为打标签(tagging)问题。然后，基于该标签方案，我们研究了不同的端到端模型来抽取实体及实体关系，而不是分开识别实体和关系。我们在一个公开数据集上进行了实验，该数据集是通过远程监督方法产生的。实验表明基于该标签方案的方法比现在大多数pipelined和联合学习(joint learning)方法效果更好。除此之外，论文中提出的端到端模型实现了公开数据集中的最优结果。

事件抽取是把含有事件信息的非结构化文本以结构化的形式呈现出来，在自动文摘、自动问答、信息检索等领域有着广泛的应用。近些年来 ,事件抽取一直吸引着许多研究机构和研究者的注意力。MUC (Message Understanding Conference) 会议、ACE ( Automatic Content Extraction) 会议是典型的含有事件抽取任务的评测会议。在调研中发现，ACE 2005作为论文数据集占据了主流，ACE 2005的事件抽取数据集包括英文、中文和阿拉伯语。事件是涉及参与者的特定发生，事件是发生的事情，事件可以经常被描述为状态的改变。ACE定义中的事件由事件触发词(Event Trigger)和描述事件结构的元素(Argument)构成。事件触发词(trigger)是能够触动事件发生的词，是决定事件

<div align="center"><font size="12">Doc2EDAG: An End-to-End Document-level Framework for Chinese Financial Event Extraction</font></div> 目前大多数事件抽取方法都是在句子级进行事件抽取。然而，句子级事件抽取很难处理当前激增的数据，如金融、司法、卫生医疗等，这些数据中事件论元总是跨句子存在，甚至在同样的文档中存在多个事件。为了解决这些问题，我们提出了端到端的模型：Doc2EDAG,该模型能够生成基于实体的有向无环图来高效处理文档级事件抽取。并且，我们重新设计了不使用触发词进行事件抽取任务，以简化文档级事件标注。为了阐述Doc2EDAG的有效性，我们构建了一个大型真实的金融数据集，该数据集包含了上述提及的挑战。实验分析表明Doc2EDAG的效果优于目前的SOAT方法。

数字化：01编码信息化：一切皆信息