科学空间|Scientific Spaces - spaces.ac.cn

网站截图

科学空间

n

百度权重
n

百度移动
1+

3 6 0权重
浏览热度
SEO查询
更新时间
2022-05-15 04:06:42

网站介绍

网站URL： https://spaces.ac.cn

更新时间：2022-05-15

网站关键词(60个字符):
科学空间、科学FM、数学、科普、机器学习、深度学习、模型、优化、自然语言处理、 NLP、天文、量子、费曼、路径积分、对称、

网站描述词(9个字符):
渴望成为一个小飞侠

关于spaces.ac.cn说明：
spaces.ac.cn由网友主动性提交被整理收录的，本站仅提供spaces.ac.cn的基础信息并免费向大众网友展示，spaces.ac.cn的是IP地址：- 地址：-，spaces.ac.cn的百度权重为n、百度手机权重为、百度收录为 152,000 条、360收录为 4,710 条、搜狗收录为366条、谷歌收录为 - 条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、spaces.ac.cn的备案号是-、备案人叫-、被百度收录的关键词有- 个、手机端关键词有-个、迄今为止已经创建。

下载地址: txt下载、docx下载、pdf下载、rar下载、zip下载

SEO综合查询

SEO信息	百度来访IP：- \| 移动端来访IP：- \| 出站链接：14 \| 站内链接：223
IP网速：	IP地址：- 地址：- \| 网速：速
ALEXA排名	世界排名： \| 预估IP： \| 预估PV：
备案信息	- \| 名称：- \| 已创建：

收录	百度	360	搜狗	谷歌
查询	152,000	4,710	366	-

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
-	-	电脑端优秀	1	-	-

服务器信息协议类型 HTTP/1.1 200 OK 页面类型 text/html; charset=UTF-8 服务器类型 nginx 程序支持连接标识消息发送 2022年5月14日 5时20分58秒 GZIP检测已启用GZIP压缩源文件大小 45.31KB 压缩后大小 16.21KB 压缩率 64.22% 最后修改时间

网页快照

                         科学空间|ScientificSpacesSEARCHMENU打赏公式天象链接时光博览归档CATEGORIES千奇百怪天文探索数学研究物理化学信息时代生物自然图片摄影问题百科生活/情感资源共享NEWPOSTSlogsumexp运算的几个不等式多标签“Softmax交叉熵”的...在bert4keras中使用混合精...GAU-α：尝鲜体验快好省的下一代...你的语言模型有没有“无法预测的词”？GlobalPointer下的“K...熵不变性Softmax的一个快速推导听说Attention与Softm...为什么PreNorm的效果不如P...RoFormerV2：自然语言理解...COMMENTSdylan:因为在这里使用原生的bertchinese_L-12_H-7...dylan:听取了您的建议之后，我用CoSENT去加载rofromer-s...allen:感谢分享，请问苏神这个时候网络预测阈值该如何选择？因为真实标...Dreamer312:苏老师，这里的O量级是什么意思，哪里的概念我去看看Dreamer312:苏老师，从(9)到(10)我没有太明白||v∂y/∂x||...python-nlp:苏神，抽取部分有没有试过用transformer来做呀苏剑林:你是问$(11)$推$(12)$还是$(12)$推$(13)$...苏剑林:$(11)$式就是$d-2$维球面上的均匀分布。王珣:麻烦问下，从（12）到（13）是怎么推导的，我试了用Jense...hyh:\"目标token如“很”、“体育”是人为选定的，那么它们可不可...USERLOGIN登录科学空间|ScientificSpaces登录打赏公式天象链接时光博览归档渴望成为一个小飞侠欢迎订阅个性邮箱天象信息观测ISSLaTeX关于博主欢迎访问“科学空间”，这里将与您共同探讨自然科学，回味人生百态；也期待大家的分享～千奇百怪Everything天文探索Astronomy数学研究Mathematics物理化学Phy-chem信息时代Big-Data生物自然Biology图片摄影Photograph问题百科Questions生活/情感Life-Feeling资源共享Resources千奇百怪天文探索数学研究物理化学信息时代生物自然图片摄影问题百科生活/情感资源共享感谢国家天文台LAMOST项目之“宇宙驿站”提供网络空间和数据库资源!感谢国家天文台崔辰州博士等人的多方努力和技术支持！科学空间致力于知识分享，所以欢迎您转载本站文章，但转载本站内容必须遵循署名-非商业用途-保持一致的创作共用协议。参与科学空间为了保证你的利益，推荐你注册为本站会员。同时欢迎通过邮件或留言进行交流、建议或反馈科学空间的问题。会员注册会员登录查看全站文章归档页10Maylogsumexp运算的几个不等式By苏剑林|2022-05-10|915位读者|引用在机器学习中，$\\text$是经常遇到的运算，特别是交叉熵的相关实现和推导中都会经常出现，同时它还是$\\max$的光滑近似（参考《寻求一个光滑的最大值函数》）。设$x=(x_1,x_2,\\cdots,x_n)$，$\\text$定义为\\begin\\text(x)=\\log\\sum_^ne^\\end本文来介绍$\\text$的几个在理论推导中可能用得到的不等式。基本界记$x_=\\max(x_1,x_2,\\cdots,x_n)$，那么显然有\\begine^}<\\sum_^ne^\\leq\\sum_^ne^}=ne^}\\end各端取对数即得\\beginx_<\\text(x)\\leqx_\\logn\\end点击阅读全文...分类：数学研究  标签：不等式,函数阅读全文2评论7May多标签“Softmax交叉熵”的软标签版本By苏剑林|2022-05-07|1788位读者|引用在《将“softmax交叉熵”推广到多标签分类问题》中，我们提出了一个用于多标签分类的损失函数：\\begin\\log\\left(1\\sum\\limits_}e^\\right)\\log\\left(1\\sum\\limits_}e^\\right)\\label\\end这个损失函数有着单标签分类中“Softmax交叉熵”的优点，即便在正负类不平衡的依然能够有效工作。但从这个损失函数的形式我们可以看到，它只适用于“硬标签”，这就意味着labelsmoothing、mixup等技巧就没法用了。本文则尝试解决这个问题，提出上述损失函数的一个软标签版本。巧妙联系多标签分类的经典方案就是转化为多个二分类问题，即每个类别用sigmoid函数$\\sigma(x)=1/(1e^)$激活，然后各自用二分类交叉熵损失。当正负类别极其不平衡时，这种做法的表现通常会比较糟糕，而相比之下损失$\\eqref$通常是一个更优的选择。点击阅读全文...分类：信息时代  标签：优化,损失函数,光滑阅读全文1评论28Apr在bert4keras中使用混合精度和XLA加速训练By苏剑林|2022-04-28|2188位读者|引用之前笔者一直都是聚焦于模型的构思和实现，鲜有关注模型的训练加速，像混合精度和XLA这些技术，虽然也有听过，但没真正去实践过。这两天折腾了一番，成功在bert4keras中使用了混合精度和XLA来加速训练，在此做个简单的总结，供大家参考。本文的多数经验结论并不只限于bert4keras中使用，之所以在标题中强调bert4keras，只不过bert4keras中的模型实现相对较为规整，因此启动这些加速技巧所要做的修改相对更少。实验环境本文的实验显卡为3090，使用的docker镜像为nvcr.io/nvidia/tensorflow:21.09-tf1-py3，其中自带的tensorflow版本为1.15.5。另外，实验所用的bert4keras版本为0.11.3。其他环境也可以参考着弄，要注意有折腾精神，不要指望着无脑调用。顺便提一下，3090、A100等卡只能用cuda11，而tensorflow官网的1.15版本是不支持cuda11的，如果还想用tensorflow1.x，那么只能用nvidia亲自维护的nvidia-tensorflow，或者用其构建的docker镜像。用nvidia而不是google维护的tensorflow，除了能让你在最新的显卡用上1.x版本外，还有nvidia专门做的一些额外优化，具体文档可以参考这里。点击阅读全文...分类：信息时代  标签：模型,优化,梯度阅读全文2评论22AprGAU-α：尝鲜体验快好省的下一代AttentionBy苏剑林|2022-04-22|3937位读者|引用在《FLASH：可能是近来最有意思的高效Transformer设计》中，我们介绍了GAU（GatedAttentionUnit，门控线性单元），在这里笔者愿意称之为“目前最有潜力的下一代Attention设计”，因为它真正达到了“更快（速度）、更好（效果）、更省（显存）”的特点。然而，有些读者在自己的测试中得到了相反的结果，比如收敛更慢、效果更差等，这与笔者的测试结果大相径庭。本文就来分享一下笔者自己的训练经验，并且放出一个尝鲜版“GAU-α”供大家测试。开源地址：https://github.com/ZhuiyiTechnology/GAU-alphaGAU-α首先介绍一下开源出来的“GAU-α”在CLUE任务上的成绩单：$$\\tiny\\hline&\\text&\\text&\\text&\\text&\\text&\\text&\\text&\\text&\\text&\\text&\\text\\\\\\hline\\text&60.06&56.80&72.41&79.56&73.93&78.62&83.93&56.17&60.54&85.69&79.45\\\\\\text&60.64&\\textbf&74.05&81.24&76.00&\\textbf&84.50&56.54&67.66&86.71&79.47\\\\\\text&60.91&57.54&73.52&80.92&\\textbf&86.84&84.63&56.26&67.24&86.57&79.72\\\\\\text^*&60.87&56.54&72.75&80.34&75.36&80.92&84.67&57.91&64.62&85.09&\\textbf\\\\\\hline\\text\\alpha&\\textbf&57.76&\\textbf&\\textbf&75.86&79.93&\\textbf&\\textbf&\\textbf&\\textbf&80.01\\\\\\hline\\end}$$点击阅读全文...分类：信息时代  标签：语言模型,attention,预训练阅读全文5评论20Apr你的语言模型有没有“无法预测的词”？By苏剑林|2022-04-20|2975位读者|引用众所周知，分类模型通常都是先得到编码向量，然后接一个Dense层预测每个类别的概率，而预测时则是输出概率最大的类别。但大家是否想过这样一种可能：训练好的分类模型可能存在“无法预测的类别”，即不管输入是什么，都不可能预测出某个类别$k$，类别$k$永远不可能成为概率最大的那个。当然，这种情况一般只出现在类别数远远超过编码向量维度的场景，常规的分类问题很少这么极端的。然而，我们知道语言模型本质上也是一个分类模型，它的类别数也就是词表的总大小，往往是远超过向量维度的，那么我们的语言模型是否有“无法预测的词”？（只考虑Greedy解码）是否存在ACL2022的论文《Low-RankSoftmaxCanHaveUnargmaxableClassesinTheorybutRarelyinPractice》首先探究了这个问题，正如其标题所言，答案是“理论上存在但实际出现概率很小”。点击阅读全文...分类：信息时代  标签：语言模型,多任务阅读全文4评论15AprGlobalPointer下的“KL散度”应该是怎样的？By苏剑林|2022-04-15|3245位读者|引用最近有读者提到想测试一下GlobalPointer与R-Drop结合的效果，但不知道GlobalPointer下的KL散度该怎么算。像R-Drop或者虚拟对抗训练这些正则化手段，里边都需要算概率分布的KL散度，但GlobalPointer的预测结果并非一个概率分布，因此无法直接进行计算。经过一番尝试，笔者给出了一个可用的形式，并通过简单实验验证了它的可行性，遂在此介绍笔者的分析过程。对称散度KL散度是关于两个概率分布的函数，它是不对称的，即$KL(p\\Vertq)$通常不等于$KL(q\\Vertp)$，在实际应用中，我们通常使用对称化的KL散度：\\beginD(p,q)=KL(p\\Vertq)KL(q\\Vertp)\\end点击阅读全文...分类：数学研究  标签：损失函数,对抗训练,NER,正则化阅读全文4评论11Apr熵不变性Softmax的一个快速推导By苏剑林|2022-04-11|2305位读者|引用在文章《从熵不变性看Attention的Scale操作》中，我们推导了一版具有熵不变性质的注意力机制：\\beginAttention(Q,K,V)=softmax\\left(\\fracQK^\\right)V\\label\\end可以观察到，它主要是往Softmax里边引入了长度相关的缩放因子$\\logn$来实现的。原来的推导比较繁琐，并且做了较多的假设，不利于直观理解，本文为其补充一个相对简明快速的推导。推导过程我们可以抛开注意力机制的背景，直接设有$s_1,s_2,\\cdots,s_n\\in\\mathbb$，定义$$p_i=\\frac}^ne^}$$点击阅读全文...分类：数学研究  标签：近似,熵,attention阅读全文抢沙发7Apr听说Attention与Softmax更配哦～By苏剑林|2022-04-07|6231位读者|引用不知道大家留意到一个细节没有，就是当前NLP主流的预训练模式都是在一个固定长度（比如512）上进行，然后直接将预训练好的模型用于不同长度的任务中。大家似乎也没有对这种模式有过怀疑，仿佛模型可以自动泛化到不同长度是一个“理所应当”的能力。当然，笔者此前同样也没有过类似的质疑，直到前几天笔者做了Base版的GAU实验后才发现GAU的长度泛化能力并不如想象中好。经过进一步分析后，笔者才明白原来这种长度泛化的能力并不是“理所当然”的......模型回顾在《FLASH：可能是近来最有意思的高效Transformer设计》中，我们介绍了“门控注意力单元GAU”，它是一种融合了GLU和Attention的新设计。除了效果，GAU在设计上给我们带来的冲击主要有两点：一是它显示了单头注意力未必就逊色于多头注意力，这奠定了它“快”、“省”的地位；二是它是显示了注意力未必需要Softmax归一化，可以换成简单的$\\text^2$除以序列长度：\\begin\\boldsymbol=\\frac\\text^2\\left(\\frac(\\boldsymbol)\\mathcal(\\boldsymbol)^}}\\right)=\\frac\\text^2\\left(\\mathcal(\\boldsymbol)\\mathcal(\\boldsymbol)^\\right)\\end点击阅读全文...分类：信息时代  标签：熵,语言模型,attention,预训练阅读全文16评论1234...138»关于站长苏剑林|BoJone，科学空间博主，数学、天文、理论物理、写作、阅读、计算机、中国象棋、厨房爱好者......目前29岁，还在单调递增。正在追一科技打杂，并致力于分享科学之美～你也许会关心：科学空间|ScientificSpaces介绍科学空间QQ交流群：808623966科学空间微信交流群：spaces_ac_cn常见问题集：《科学空间FAQ》智能搜索支持整句搜索！网站自动使用结巴分词进行分词，并结合ngrams排序算法给出合理的搜索结果。热门标签模型网站转载优化语言模型attention生成模型概率天象深度学习积分python力学节日几何无监督微分方程分析数论文本生成矩阵生活情感复数梯度最新文章logsumexp运算的几个不等式多标签“Softmax交叉熵”的软标签版本在bert4keras中使用混合精度和XLA...GAU-α：尝鲜体验快好省的下一代Atten...你的语言模型有没有“无法预测的词”？GlobalPointer下的“KL散度”应...熵不变性Softmax的一个快速推导听说Attention与Softmax更配哦～为什么PreNorm的效果不如PostN...RoFormerV2：自然语言理解的极限探索最近评论dylan:因为在这里使用原生的bertchinese_L-12_H-768_A-12的数据是可以进行...dylan:听取了您的建议之后，我用CoSENT去加载rofromer-sim-ft几个模型在加载的时候会...allen:感谢分享，请问苏神这个时候网络预测阈值该如何选择？因为真实标签是[0,1]区间的值这个时候正...Dreamer312:苏老师，这里的O量级是什么意思，哪里的概念我去看看Dreamer312:苏老师，从(9)到(10)我没有太明白||v∂y/∂x||^2是怎么来的python-nlp:苏神，抽取部分有没有试过用transformer来做呀苏剑林:你是问$(11)$推$(12)$还是$(12)$推$(13)$？如果是后者，$(12)$推不出...苏剑林:$(11)$式就是$d-2$维球面上的均匀分布。王珣:麻烦问下，从（12）到（13）是怎么推导的，我试了用Jensen不等式，得到的结果不行呀。\\...hyh:\"目标token如“很”、“体育”是人为选定的，那么它们可不可以也用[unused*]的tok...友情链接宇宙驿站数学研发SeatopXiaoxia积分表-网络版丝路博傲ph4ntasy饭特稀数学之家有趣天文奇观bskyTwistedWgodweiyangAI柠檬王登科-DK博客瓦特兰蒂斯maamxESON诗三百枫之羽Mathor\'sblog孙云增的博客coding-zuo博科园申请链接本站采用创作共用版权协议，要求署名、非商业用途和保持一致。转载本站内容必须也遵循“署名-非商业用途-保持一致”的创作共用协议。©2009-2022ScientificSpaces.Allrightsreserved.Themebylaogui.PoweredbyTypecho.备案号:粤ICP备09093259号-1/2。