1. 语义准确性怎么评估#

通常用语义相似度任务评估，如 STS-B 数据集，看模型对同义句和反义句的向量距离是否合理。注意两点：

• 部分模型擅长短文本（如 Sentence-BERT），处理长文本时会丢失上下文，需选 RoBERTa 变种或 Longformer 类模型。
• 通用模型在专业领域可能词不达意，例如”主诉”在医疗文本中是专有名词，通用模型可能理解成”主要诉求”。

2. 领域适配的三种策略#

• 直接选领域专用模型：LegalBERT 用于法律文档，PubMedBERT 用于医学文献。
• 通用模型 + 领域数据微调：适合有私有语料的场景（如公司内部客服对话数据）。
• 添加领域适配器：用 LoRA 技术在不改变原模型的前提下新增少量参数适配领域。

真实案例：某电商场景的 RAG 用通用模型时，“SKU”、“客单价”等词嵌入效果很差，切换到零售领域预训练的模型后，召回准确率提升了 23%。

3. 多语言支持#

• 单语言模型：如 Chinese-BERT 只支持中文。
• 多语言模型：如 XLM-RoBERTa 支持 100+ 语言，但需分别处理。
• 跨语言模型：如 mBERT 基于双语对齐训练，中英句子嵌入在同一空间，适合翻译场景。
• 小语种：若无专用模型，用通用多语言模型 + 数据增强（如 multilingual T5 配合少量目标语言语料微调）。

4. 开源 vs 闭源的选择#

• 开源模型（如 Sentence-BERT）：可灵活修改代码，适合深度定制（如加入自定义分词器），但需自己解决部署和优化问题。
• 闭源 API（如 OpenAI Embedding、Cohere）：开箱即用，适合快速验证 MVP，但受限于厂商更新和费用（OpenAI 按 token 收费，长文本成本较高）。

Q1：线上 QPS 很高，但又想保证语义准确性，怎么平衡？#

A：使用级联策略。

• 第一阶段：轻量模型快速召回 Top 100（如 MiniLM，毫秒级）。
• 第二阶段：重型模型对 Top 100 做精排（如 BERT-large，处理 100 条只需几百毫秒）。
• 另外可考虑模型蒸馏：用大模型的输出去训练小模型，让小模型在特定场景下接近大模型效果。

Q2：怎么判断一个嵌入模型在你的业务场景下效果好不好？#

A：最靠谱的方式是构建评测数据集。

• 从业务数据里挑 500 到 1000 条 query，人工标注相关文档。
• 用 Recall@K、MRR 等指标评估召回效果。
• 不能只看 MTEB 榜单排名，因为榜单用的是通用数据集，和业务数据分布可能差很远。
• 可做 A/B 测试，看用户的点击率和满意度是否提升。

Q3：公司内部文档很多专业术语，通用模型效果差，但又没有足够数据微调，怎么办？#

A：尝试以下方案： LoRA 微调：参数高效微调，几千条数据就能见效，训练成本低。 数据增强：用大模型改写现有数据，或用同义词替换、回译等方式扩大数据量。 领域词表预处理：把专业术语替换成通用模型能理解的描述（检索完再还原回来）。