深度学习中Embedding与t-SNE
上一篇 /
下一篇 2018-10-24 16:16:39
/ 个人分类：算法测试
参考文章：https://blog.csdn.net/u010412858/article/details/77848878
https://blog.csdn.net/hustqb/article/details/78144384
在深度学习实验中经常会遇Eembedding层，那么深度学习中Embedding层有什么用？与t-SNE又有什么联系呢？查阅了相关的文章，供自己了解下~
1、embedding嵌入层将正整数（下标）转换为具有固定大小的向量”。使用嵌入层 Embedding主要有两大原因
1.1、使用One-hot 方法编码的向量会很高维也很稀疏。假设我们在做自然语言处理（NLP）中遇到了一个包含2000个词的字典，当时用One-hot编码时，每一个词会被一个包含2000个整数的向量来表示，其中1999个数字是0，要是我的字典再大一点的话这种方法的计算效率岂不是大打折扣？
1.2、训练神经网络的过程中，每个嵌入的向量都会得到更新。如果你看到了博客上面的图片你就会发现在多维空间中词与词之间有多少相似性，这使我们能可视化的了解词语之间的关系，不仅仅是词语，任何能通过嵌入层 Embedding 转换成向量的内容都可以这样做。
1.3、举个栗子看看嵌入层 Embedding 对下面的句子做了什么：）。Embedding的概念来自于word embeddings，如果您有兴趣阅读更多内容，可以查询 word2vec 。
“deep learning is very deep”
使用嵌入层embedding 的第一步是通过索引对该句子进行编码，这里我们给每一个不同的句子分配一个索引，上面的句子就会变成这样：
1 2 3 4 1
接下来会创建嵌入矩阵，我们要决定每一个索引需要分配多少个‘潜在因子’，这大体上意味着我们想要多长的向量，通常使用的情况是长度分配为32和50。在这篇博客中，为了保持文章可读性这里为每个索引指定6个潜在因子。简而言之，嵌入层embedding在这里做的就是把单词“deep”用向量[.32, .02, .48, .21, .56, .15]来表达。然而并不是每一个单词都会被一个向量来代替，而是被替换为用于查找嵌入矩阵中向量的索引。其次这种方法面对大数据时也可有效计算。由于在深度神经网络的训练过程中嵌入向量也会被更新，我们就可以探索在高维空间中哪些词语之间具有彼此相似性，再通过使用t-SNE 这样的降维技术就可以将这些相似性可视化。
2、数据降维与可视化——t-SNE
t-SNE是目前来说效果最好的数据降维与可视化方法，但是它的缺点也很明显，比如：占内存大，运行时间长。但是，当我们想要对高维数据进行分类，又不清楚这个数据集有没有很好的可分性（即同类之间间隔小，异类之间间隔大），可以通过t-SNE投影到2维或者3维的空间中观察一下。如果在低维空间中具有可分性，则数据是可分的；如果在高维空间中不具有可分性，可能是数据不可分，也可能仅仅是因为不能投影到低维空间。
例如，t-SNE将8*8即64维的数据可以降维成2维，并在平面图中显示，比如选择0-5，6个手写数字的话，可以在平面中很好的把他们区分为6组数据。
收藏
举报
TAG:
