crypto
  文章分类
note 6 writeup 6
pytorch api notes pytorch api notes
nn.CrossEntropyLoss()$$softmax(x)=\frac{e^{x_{i}}}{\sum_{j}e^{x_{j}}}$$ $$logsoftmax(x)=log\frac{e^{x_{i}}}{\sum_{j}e^{x
2022-01-06 note
Adversarial Defense Note Adversarial Defense Note
1）在学习过程中修改训练过程或者修改的输入样本。 2）修改网络，比如：添加更多层/子网络、改变损失/激活函数等。 3）当分类未见过的样本时，用外部模型作为附加网络。 第一个方法没有直接处理学习模型。 另外两个分类是更加关心神经网络本身的。
2021-10-26 note
Improving the Adversarial Robustness and Interpretabilityof Deep Neural Networks by Regularizing Their Input Gradients Improving the Adversarial Robustness and Interpretabilityof Deep Neural Networks by Regularizing Their Input Gradients
通过调整深度神经网络的输入梯度提高其对抗性鲁棒性和可解释性只记录文中有蒸馏用于对抗攻击的防御的部分。 Defenses​ 作为基线防御，我们考虑防御蒸馏和对抗训练。为了简化比较，我们省略了不完全是架构不可知论或通过检测和拒绝对
2021-10-19 note
Knowledge Distillation- A Survey Notes（下） Knowledge Distillation- A Survey Notes（下）
Teacher-Student Architecture​ 教师与学生之间知识获取和蒸馏的质量也取决于如何设计教师与学生网络。近年来，在蒸馏过程中，教师和学生的模型设置几乎都是预先固定的，尺寸和结构都是不变的，因此很容易造成模
2021-10-17 note
Knowledge Distillation- A Survey Notes（上） Knowledge Distillation- A Survey Notes（上）
Intro​ 巨大的计算复杂性和巨大的存储需求给实时应用的部署带来了巨大的挑战，特别是对于资源有限的设备，如嵌入式人脸识别系统和自动驾驶汽车。 categories 参数削减和共享 低秩因子分解 转移/压缩卷积滤波器 知识蒸馏
2021-10-10 note
LCG-线性同余生成器 LCG-线性同余生成器
LCG(线性同余生成器) 伪随机数生成器（pseudo random number generator，PRNG） 流密码（stream cipher) LCG属于PRNG和stream cipher的一种。 Principle递归公式：
2021-03-31 note