Attention Is All You Need

基本信息期刊: （发表日期: 2023-08-01）作者: Ashish Vaswani; Noam Shazeer; Niki Parmar; Jakob Uszkoreit; Llion Jones; Aidan N. Gomez; Lukasz Kaiser; Illia Po...

2024/08/12 人工智能, 论文笔记

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

基本信息期刊: （发表日期: 2019-05-24）作者: Jacob Devlin; Ming-Wei Chang; Kenton Lee; Kristina Toutanova 摘要翻译:我们介绍了一种新的语言表示模型，称为BERT，它表示从转换器...

2024/08/04 人工智能, 论文笔记

Tacotron: Towards End-to-End Speech Synthesis

基本信息期刊: （发表日期: 2017-04-06）作者: Yuxuan Wang; R. J. Skerry-Ryan; Daisy Stanton; Yonghui Wu; Ying Xiao; Zhifeng Chen; Samy Bengio; Quoc Le; Yannis...

2024/07/30 人工智能, 论文笔记

A Survey of Graph Neural Networks for Recommender Systems: Challenges, Methods, and Directions

基本信息期刊:（发表日期: 2023-01-12）作者: Chen Gao; Yu Zheng; Nian Li; Yinfeng Li; Yingrong Qin; Jinghua Piao; Yuhan Quan; Jianxin Chang; Depeng Jin; Xiang...

2024/07/30 人工智能, 论文笔记

《机器学习》——集成学习

个体与集成集成学习将多个个体学习器的学习结果通过某种策略结合起来，每个个体学习器可以使用相同的学习算法，称为基学习器，也可以使用不同的学习算法集成学习通常针对弱学习器进行，个体学习器应该有一定的准确性和多样性，相互之间应该尽可能独立，这是集成学习研究的核心集成学习方法可分为两类序列化方法：个体学习器之间强依赖关系，必须串行生成，如Boosting 并行化方法：个...

2024/07/01 人工智能, 机器学习

《机器学习》——贝叶斯分类器

贝叶斯决策论贝叶斯判定准则：为最小化总体风险，只需在每个样本上选择那个能使条件风险最小的类别标记 [h^*(x)=\arg\min\limits_{c\in\Upsilon}R(c\vert x)] $h^*(x)$称为贝叶斯最优分类器，对应的总体风险称为贝叶斯风险贝叶斯判定准则基于后验概率$P(c\vert x)$，根据贝叶斯定理有 [P(c\vert x)=\frac{P(...

2024/06/29 人工智能, 机器学习

《机器学习》——神经网络

神经元模型感知机与多层网络感知机由两层神经元组成，包含输入层和输出层，只有输出层拥有激活函数其中的权重和阈值可以通过学习得到，更一般地，将阈值看做一个固定输入为-1的哑节点的连接权重，权重和阈值的学习就统一为权重的学习感知机的学习规则，设样本$(\boldsymbol x,y)$，当前感知机的输出为$\hat y$ [\omega_i \leftarrow \omega...

2024/06/21 人工智能, 机器学习

《机器学习》——决策树

基本流程决策树是基于树结构来进行分类，叶子节点对应决策结果，分支节点对应一个属性测试决策树的递归过程有三种情况导致返回当前节点包含的样本全部判定为同一类别，无需划分当前属性集为空，或是所有样本在所有属性上取值相同，无法划分，该节点作为叶子节点当前节点包含的样本集为空，无法划分，该节点作为叶子节点，决策结果为父节点样本最多的类别划分选择决策树的每个节点需...

2024/06/15 人工智能, 机器学习

《机器学习》——线性模型

基本形式对样本$x=(x_1;x_2;x_3;…;x_d)$，有 [f(x_i)=\omega^Tx+b] 其中$\omega=(\omega_1;\omega_2;…;\omega_d)$ 线性回归离散属性处理具有序关系的属性可以连续化，如身高不具有序关系的属性转化为k维向量一元线性回归对于一元线性回归 [f(x_i)=\omega x_i+b] ...