张文翔的博客 | BY ZhangWenxiang

神经网络激活函数总结

激活函数

激活函数-性质非线性：即导数不是常数。保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。可微性：保证了在优化中梯度的可计算性。虽然ReLU存在有限个点处不可微，但处处subgradient，可以替代梯度计算简单：激活函数复杂就会降低计算速度，因此RELU要比Exp等操作的激活函数更受欢迎。非饱和性（saturation）：饱和指的是在某些区间梯度接近于零（...

Posted by ZhangWenXiang on January 29, 2020

损失函数相关总结

loss function trick

损失函数(Loss Function)相关总结常见的损失函数，如交叉熵损失、平方误差损失、Hinge损失等并不是本文的重点，关于这些损失函数的介绍网上很多，可以参考如下几篇文章机器学习中的 7 大损失函数实战总结常见的损失函数(loss function)总结机器学习算法及其损失函数损失函数loss大大总结本文的重点在于总结损失函数在应用上的一些trick...

Posted by ZhangWenXiang on January 28, 2020

embedding技术总结

embedding

embedding技术总结一、MF类模型 MF https://www.zhihu.com/question/268848413/answer/351881184 PMF BPMF https://zhuanlan.zhihu.com/p/26067454 https://zhuanlan.zhihu.com/p/39020670 二、word2vec类模型 Word2...

Posted by ZhangWenXiang on January 21, 2020

embedding技术总结

embedding

embedding技术总结一、矩阵分解类方法以movielens的电影评分为例，矩阵中的数据代表用户对电影的喜爱程度，其中大部分数据处于缺失状态。矩阵分解类方法都是致力于将该矩阵分解为两个矩阵，一个矩阵维度m×k代表用户embedding，另一个矩阵n×k代表电影embedding。 SVD svd就是大名鼎鼎的奇异值分解，公式如下： ...

Posted by ZhangWenXiang on January 21, 2020

Atrank

layout: post title: ATRank: An Attention-Based User Behavior Modeling Framework for Recommendation 详解 subtitle: attention recommendation date: 2020-01-21 author: ZhangWenXian...

Posted by BY ZhangWenxiang on January 21, 2020

知识整理

spark, Naive Bayes, 朴素贝叶斯, 拉格朗日, LDA, 谱聚类

Spark朴素贝叶斯(Naive Bayes)分类理论和源码分析 https://nlp.stanford.edu/IR-book/html/htmledition/naive-bayes-text-classification-1.html https://nlp.stanford.edu/IR-book/html/htmledition/properties-of-naive-baye...

Posted by ZhangWenXiang on August 19, 2019

Spark中的UDAF及Stage

spark, UDAF, stage, tasks

Spark中的UDAF简介及其Stage udaf操作会分为两个stage： partial_merge: 本地进行merge，是一种窄依赖。tasks数量取决于上一步的partitions。 merge：不同partition的数据进行merge，是一种宽依赖，需要shuffle，因此tasks数量取决于设置的值s...

Posted by ZhangWenXiang on August 9, 2019

Attention中的Mask

query mask, key mask, future mask

Attention简介 Attention是2015年被提出来的，在NLP领域大放光彩。Attention具有在繁多信息中自动focus到重点的能力，而且Attention可以实现并行，一定程度上可以替代LSTM等循环神经网络，提高模型效率。Attention的具体介绍可以参考Attention总结。根据上面的Attention总结，Attention可以看作是 QKV 模型，假设输入...

Posted by ZhangWenXiang on July 27, 2019

Look-alike 技术总结

Similarity-based,Regression-based,Attention-based

Look-alike简介 Look-alike是在线营销活动中常用的一种技术，目的是根据广告主提供的用户，帮助其进行人群圈选。Look-alike的输入是一个user列表(可以是user id 或者电话号码等id标识)，这个user列表可以是广告主上一次活动的人群，可以是广告主的已有用户中高净值人群等等。这个输入人群列表有个专有名次叫做“种子用户(seeds)”。而Look-alike的输...

Posted by ZhangWenXiang on July 22, 2019

Andrew Ng Stanford机器学习公开课总结（5）

Lecture 5 高斯判别分析和朴素贝叶斯

Lecture 5 高斯判别分析和朴素贝叶斯介绍Gaussian Discriminant Analysis以及Naive Bayes 生成式学习 Generative Learning algorithm 关键词：Generative vs Discriminative 判别式算法 Discriminative learning algorithm 如逻辑回归、决策树、...

Posted by ZhangWenXiang on July 19, 2019

BY ZhangWenxiang

神经网络激活函数总结

激活函数

损失函数相关总结

loss function trick

embedding技术总结

embedding

embedding技术总结

embedding

Atrank

知识整理

spark, Naive Bayes, 朴素贝叶斯, 拉格朗日, LDA, 谱聚类

Spark中的UDAF及Stage

spark, UDAF, stage, tasks

Attention中的Mask

query mask, key mask, future mask

Look-alike 技术总结

Similarity-based,Regression-based,Attention-based

Andrew Ng Stanford机器学习公开课总结（5）

Lecture 5 高斯判别分析和朴素贝叶斯

FEATURED TAGS

ABOUT ME

FRIENDS

神经网络激活函数总结

激活函数

损失函数相关总结

loss function trick

embedding技术总结

embedding

embedding技术总结

embedding

Atrank

知识整理

spark, Naive Bayes, 朴素贝叶斯, 拉格朗日, LDA, 谱聚类

Spark中的UDAF及Stage

spark, UDAF, stage, tasks

Attention中的Mask

query mask, key mask, future mask

Look-alike 技术总结

Similarity-based,Regression-based,Attention-based

Andrew Ng Stanford机器学习公开课 总结（5）

Lecture 5 高斯判别分析和朴素贝叶斯

FEATURED TAGS

ABOUT ME

FRIENDS

Andrew Ng Stanford机器学习公开课总结（5）