2020年第36周,3h,学习手工实现CBOW模型

记录自己的成长,为了督促自己,也为了帮助别人。
我将活出专注的人生,因为这是最好的选择。
科研学习的标杆:我将获得国奖,拿到美国大学的博士offer;每天的深度工作时间在12h
不是日程安排,是对完成工作以及深度工作时间的记录
努力成为优秀的人,成为可信度高的人,只有成为这样的人,才能通过写作、演讲等形式最大化自己的影响力
标题:周数,深度工作时间,当周的主要任务
每日的深度工作时间(科研学习)

周一,1.5h
上午:1h。学习和理解随机梯度下降算法。
下午:0h。
晚上:0.5h。整理TKDE’16论文参数学习算法的公式推导

周二,0h
上午:0h。
下午:0h。
晚上:0h。

周三,1.5h
上午:0.5h。准备实现基于Hierarchical Softmax的CBOW模型,但是只找到了一个直接计算Softmax的Skip Gram模型的代码,虽然是仅用numpy实现的无框架基础代码。
下午:0.5h。在学习过程中,无法理解随机梯度下降的Error的反向传播中导数的计算(涉及外积运算),和Loss的计算(和Erro计算感觉差别很大,和预期似乎不一致)。
晚上:0.5h。由于暂时被问题困住,又尝试寻找其它教程,寻求突破。

周四,0h

周五,0h

周六,0h

周日,0h

原文地址:https://www.cnblogs.com/hao-hong-sheng/p/13599185.html