介绍隐马尔可夫模型之前，首先了解马尔科夫过程。马尔科夫过程是满足无后效性的随机过程。当前状态仅与前一状态相关。时间和状态都是离散的马尔科夫过程也叫马尔科夫链隐马尔可夫模型是对含有未知参数（隐状态）的马尔科夫链进行建模的过程

bert是用了transformer的encoder侧的网络，作为一个文本编码器，使用大规模数据进行预训练，预训练使用两个loss，一个是mask LM，遮蔽掉源端的一些字（可能会被问到mask的具体做法，15%概率mask词，这其中80%用[mask]替换，10%随机替换一个其他字，10%不替换，至于为什么这么做，那就得问问BERT的作者了{捂脸}），然后根据上下文去预测这些字，一个是next sentence，判断两个句子是否在文章中互为上下句，然后使用了大规模的语料去预训练。在它之前是GPT，GPT是一个单向语言模型的预训练过程（它和gpt的区别就是bert为啥叫双向 bi-directional），更适用于文本生成，通过前文去预测当前的字。下图为transformer的结构，bert的网络结构则用了左边的encoder。BERT由12层transformer layer（encoder端）构成，首先word emb , pos emb（可能会被问到有哪几种position embedding的方式，bert是使用的哪种）, sent emb做加和作为网络输入，每层由一个m

如果你准备NLP面试，skip-gram模型的目标函数真的是哪怕死记硬背也得记下来！程序员onsite白板算法不意外，对于算法岗，白板这个目标函数也是不意外的。看着上面的公示，正好脑补一个skip-gram的训练过程，问下自己这些字母符号都是什么含义：假设训练文本有T个词，第一个求和就像一个指针从第一个词一直指到最后一个词，每个被指到的词都是就是当前词（或称中心词）；再看第二个求和符合，c是一个固定的参数，代表中心指针向前或向后能取到多少个词，换句话说，c划定了上下文的范围。那么把前两个求和符合连在一起，就有了一个浮窗（window）从第一个词一直滑到最后一个词，浮窗正中间自然是当前词，前后各c个词就是其对应的上下文；回想一下上一篇文章提到的skip-gram是怎样训练的，通过中心词来预测它的上下文中的词，那么很显然求和符号后面就是这个预测概率。整个目标函数就是为了最大化log预测概率的平均值。标配版的skip-gram用softmax函数来计算该预测概率：

1.1 独立同分布与白化机器学习界的炼丹师们最喜欢的数据有什么特点？窃以为，莫过于“独立同分布”了，即independent and identically distributed，简称为 i.i.d. 独立同分布并非所有机器学习模型的必然要求（比如 Naive Bayes 模型就建立在特征彼此独立的基础之上，而Logistic Regression 和 神经网络 则在非独立的特征数据上依然可以训练出很好的模型），但独立同分布的数据可以简化常规机器学习模型的训练、提升机器学习模型的预测能力，已经是一个共识。

[1] 自然语言处理中的Attention机制总结_CODE and POEM-CSDN博客_attention[2] Attention 面试向知识点背书_MinyounZhang的博客-CSDN博客[3] NLP中的 Attention 机制（不定期更新） - 知乎 (zhihu.com)

[1] 史上最全Transformer面试题系列（一）：灵魂20问帮你彻底搞定Transformer-干货！ - 知乎 (zhihu.com)[2] NLPer看过来，一些关于Transformer的问题整理_笔经面经_牛客网 (nowcoder.com)[3] 关于Transformer和BERT，在面试中有哪些细节问题？_onehot (sohu.com)

学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分：

No exerpt.

在执行转换操作的RDD时，调度器会根据RDD的“血统”来构建若干由stage组成的有向无环图(DAG),每个stage阶段包含若干个连续窄依赖转换。调度器按照DAG顺序进行计算得到最终的RDD。调度器向各节点分配任务采用延时调度机制并根据数据存储位置(数据本地性)来确定。如果一个任务需要处理的某个分区刚好存储在相应节点的内存中，则该任务会分配给该节点；如果在内存中不包含该分区，调度器会找到包含该RDD的较佳位置，并把任务分配给所在节点。<img src="http://qfth8dccq.hn-bkt.clouddn.com/images/image-20200826103555542.png" alt="image-20200826103555542" style="zoom:50%;" />

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> Spark中提供了通用接口来抽象每个RDD，包括：

No exerpt.

  SparkConf类负责管理Spark的所有配置项,每个Spark程序都离不开SparkConf，基本上在Spark程序的开始都会进行一个参数的配置，如new SparkConf().setMaster("local").setAppName("My app")。这里主要讲下SparkConf类源码的基本内容。class SparkConf(loadDefaults: Boolean) extends Cloneable with Logging with Serializable

以Standalone模式为例。Spark启动过程主要是进行Master和Worker之间的通信，如下图所示。详细过程如下：

假设状态序列为$x_1,x_2,\ldots,x_{t-2},x_{t-1},x_{t},x_{t+1},x_{t+2},\ldots$$$P(x_{t+1}| \ldots,x_{t-2},x_{t-1},x_t)=P(x_{t+1}|x_t)

似然估计，英文为likelihood estimate(LE),而likelihood的意思是可能性。在传统概率学派中假定的是概率分布的参数固定，样本随机。那么我们该如何通过样本去确定这个概率分布的参数呢？这里就需要用到似然估计的方法了。也就是说，样本出现后，反推模型的参数值，而这个参数值有很多种可能性。举个例子，假设我们有很多块西瓜皮，瓜皮的纹理分为清晰、稍糊、模糊，现在我们的目的就是通过瓜皮去推断西瓜的成熟度(瓜青、瓜熟、瓜烂).

$f$为实数$x$的函数，如果$f^{''}(x) \geq 0$，则称$f$为凸函数，如果$f^{''}(x)$>0则称为严格凸函数。$$f^{''}(x) \geq 0,\forall x \in R

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> 知识图谱(knowledge graph)是以图的形式表现客观世界中的实体(概念、人、事物)及其之间的关系的知识库。2012年，谷歌提出了知识图谱的概念，自此，知识图谱得到了广泛的关注和应用研究，现已发展成为语义搜索、智能问答、决策支持等智能服务的基础技术一。知识图谱是以图的形式表现客观世界中的实体(概念)及其之间关系的知识库. 知识图谱的研究起源

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> 知识图谱提供了一种更好的组织、管理和理解互联网信息的能力, 可用于语义搜索、智能问答、个性化推荐等, 在社交和电子商务等领域中实现价值. 基于知识图谱的应用是信息领域当前的研究热点, 也是促进人工智能发展的基础技术之一.知识图谱是语义搜索的大脑[55]. 传统搜索引擎基于用户输入的关键词检索后台数据库中的Web网页,将包含搜索关键词的网页的链接反馈给用户. 语义搜索(也称为语义检索)则首先将用户输入的关键词映射至知识图谱中的一个或一组实体或概念, 然后根据知识图谱中的概念层次结构进行解析和推理, 向用户返回丰富的相关知识. 谷歌提出语义搜索后, 国内百的

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> 知识图谱的构建方法有三种: 自底向上、自顶向下和二者混合的方法.自底向上的构建方法, 从开放链接的数据源中提取实体、属性和关系, 加入到知识图谱的数据层；然后将这些知识要素进行归纳组织, 逐步往上抽象为概念, 最后形成模式层. 自底向上法的流程如图1所示.

<center><b><font color=#A52A2A size=5 >公众号：数据挖掘与机器学习笔记</font></b></center> Web本体语言OWL是当前存储本体的主要形式.OWL也适用于知识图谱的存储, 但OWL文档不适用于大数据量的情况, 影响查询、修改和推理速度. 作为知识库的知识图谱, 其基本元素是海量的各种关系联系在一起的实体, 需要创新性的存储方式. 知识图谱可采用关系型数据库或图数据库存储, 也可采用混合的方式存储。将知识图谱存入关系型数据库, 是一个将知识图谱转换为RDF三元组进行存储的问题, 即, 将知识图谱的关系分解为一个个<Subject, Predicate, Object>的三元组形式, 并映射至关系表, 存储于关系型数据库中.根据映射方法不同, 基于关系型数据库的知识图谱存储可以采用四种方法: