https://github.com/karpathy/minGPT
新手不会调参各种换着玩的。
最近一直在学习这个项目，偶然把GELU换成ReLU，在play_math上得到了100%正确率。
也许是因为GELU更适合NLP？
不过，换了后，也不能叫GPT了。GPT中用的是GELU
https://github.com/karpathy/minGPT
新手不会调参各种换着玩的。
最近一直在学习这个项目，偶然把GELU换成ReLU，在play_math上得到了100%正确率。
也许是因为GELU更适合NLP？
不过，换了后，也不能叫GPT了。GPT中用的是GELU