第196期 HackCV 日报

复杂时空序列数据的处理被认为是神经网络需要处理的下一个大问题,本文深入浅出地介绍了注意力、记忆等相关的内容,从具体的应用上概括处理序列数据问题时需要注意的地方。

本文是类似课程内容的长文,内容非常基础,介绍了时序数据的定义和评价基准,预处理的方法和线性模型的使用方法。

其实不止是文本嵌入模型存在这个,大部门的模型都有这个问题。谷歌使用了一个“单词嵌入相关性测试”(WEAT),用于检测词嵌入中的概念相关性,并用两个具体的例子来举证,并最后做出结论:WEAT有效但并无法完全避免这个问题,还需要更多的深入研究。