深度学习源码中经常出现的logits其实和统计中定义的logit=log(\frac{p}{1-p})没什么太大关系，就是定义的神经网络的一层输出结果。该输出一般会再接一个softmax layer输出normalize 后的概率，用于多分类。见下图：
最近由于需求，需要重载Keras的Model类，代码逻辑是好好的，但是最后运行的时候出现了NoImplementError这个错误，现实的是self.compute_output_shape没有在子类当中实现。代码如下： from keras import Model class ACModel(Model): ''' Comment model class for actor and critic model ''' def __init__(self,state_size,action_size): super…
Tensorflow的变量(Variable)或优化器(Optimizer)当中有一个use_locking的可选参数，一开始以为是字面意思：直接锁定不给更新参数，后来发现并不是，而是在更新参数的时候使用锁，避免受多线程、多进程、以及在分布式模型中参数更新时受到影响，最典型使用就是在A3C算法当中Global_Actor的优化器当中设置use_locking=true使得更新时不会出现争抢现象。
什么是MDN 对于一输入对一的输出的任务，传统的神经网络可以很好地进行预测/回归/分类。然而，对于一对多的问题，传统的网络无法胜任，此时MDN派上用场。 MDN的工作机制 与传统的NN不一样的是，MDN的预测输出是特定分布的参数值，例如指定三个正态分布进行叠加模拟，需要6个\mu,\sigma参数，那么网络输出为6个参数，输入还是常见的输入，得到正常的6个参数之后，采用f(x)=\sum_{i=0}^{3}\frac{1}{\sqrt{2\pi}\sigma_{i}}e^{\frac{(x-\mu_{i})^2}{…
Transfer Learning对于没有大量计算资源，并且需要快速构造现有模型的人而言是极大的福音。我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型（对于结构或许有微调）从而加快并优化模型的学习效率不用像大多数网络那样从零开始学习。 而Fine-tuning则属于Transfer Learning下的一个小小的分支。和字面意思一样，就是微调，但是什么才算微调呢？调整输入的结构？调整输出的结构？这并没有确切的概念，但主流观点还是认为调整并重新训练末尾几层的参数属于Fine-…
一点碎碎念 最近这几天，在搞华为的软件精英挑战赛，虽然比赛打的不咋地，但是好在能把以前的数据结构，图论相关知识复习一下（心态还是要摆正的）。不过话说回来，参加华为软件精英挑战赛，一定要熟悉C++，其他的Python，Java，C都是弟弟，不然时间上吃大亏。今年的初赛考察的是有向图寻找闭环的知识点，既然考察了有向图，那就顺带把无向图也一块温习一遍。 图的基本分类与储存 图的分类依据有很多种，比较重要的两种分类依据就是分为有向图和无向图，稀疏图和稠密图。如何正确的分类会直接影响之后算法的选择，其中有向图和无向图…
最近增加了一个子域名，结果发现原来根域名下的文章点进去全部都显示404错误，后来上网查了一下，发现是什么Apache服务器的httpd.conf配置文件当中有些配置不对，改过之后还是没用，在此查证，发现是文章链接的问题，之前使用的是时间加标题的方式：2020/03/20/example。在wordpress面板的左侧的设置里面的固定链接修改一下就可以了。
搭建好服务器之后，随后就可以搭建博客环境，我选择的是LAMP+WordPress。显而易见，LAMP=Linux+Apache+Mariadb+PHP，WordPress就不用说了，它是使用PHP语言开发的博客平台，用户可以在支持PHP和MySQL数据库的服务器上架设属于自己的网站。 刚刚讲了LAMP环境实际上是由四部分组成的，Linux系统不再多说，下面来讲讲余下的A,M,P如何安装，注意需要按顺序安装 1、安装Apache #利用yum命令安装Apache yum -y install httpd #启动Apa…
对于个人建站而言，服务器的选购是十分重要的，一个合适的服务器能够在后期大大减少建站过程当中的烦恼。 最常见的服务器大致分为，虚拟机，VPS，独立主机。对于这三种的区别，网上已经有很多的介绍了，可以参考[知乎](https://www.zhihu.com/question/19856629/answer/105591462)。如果想一步到位，建议直接购买VPS，虽然价格比虚拟主机更加昂贵，但是性能更加优越，除了用于建站之外，还可以自己拿来挂载一些其他的项目之类的，我选择的就是搬瓦工的49.99刀一年的VPS，虽然付款…