Skip to content

Commit 53cf38d

Browse files
committed
add sbert arch
1 parent 6a2bd05 commit 53cf38d

File tree

2 files changed

+4
-1
lines changed

2 files changed

+4
-1
lines changed

_posts/2024-07-28-nlp-embedding.md

Lines changed: 4 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -262,7 +262,10 @@ $$
262262
BERT的训练没有加入专门的 损失函数/目标函数(loss/objective function)来提升sentence embedding vector的语义表示效果。
263263

264264
#### Sentence-BERT(S-BERT)
265-
类似前文提到的,Sentence-BERT 将模型输出的 隐向量($$[{\vec{H}}_{0}, {\vec{H}}_{1}, ...,{\vec{H}}_{n}]$$)求一个均值,把这个均值向量作为作为表示整个句子语义的sentence-embedding。这个求均值的操作,在模型中一个叫做"Pooling"的层中被执行。
265+
266+
![](../assets/img/2024-07-28-nlp-embedding/s-bert-arch.png)
267+
268+
类似前文提到的,Sentence-BERT 将模型输出的 隐向量($$[{\vec{H}}_{0}, {\vec{H}}_{1}, ...,{\vec{H}}_{n}]$$)求一个均值,把这个均值向量作为作为表示整个句子语义的sentence-embedding。这个求均值的操作,在模型中一个叫做"pooling"的层中被执行。
266269

267270
Sentence-BERT的 网络结构 和 输入形式 使得模型可以预先计算和存储句子的嵌入表示(embedding vector)。当需要计算两个句子的相似度时,只需比较它们的嵌入向量即可,大大减少了计算开销。
268271

Loading

0 commit comments

Comments
 (0)