DeepSeek 生成全量字典与混合方案实验报告
前一轮实验把 DeepSeek 放在“查询时过滤候选概念和关系”的位置，结果说明它很适合做噪声过滤器。这一轮继续往前推一步：如果不只在查询时调用模型，而是让 DeepSeek 直接参与“全量标准字典生成”，字典本身会不会变得更干净？如果再叠加查询时过滤，能不能得到更稳定的检索排序？
本文保留实验方法、核心指标和结论，但不公开本地路径、运行日志路径和内部产物路径。
一、实验目标本轮实验分两步。
第一步让 DeepSeek 直接参与“全量标准字典生成”：
基于 595 条资源目录生成新的全量字典。
保留原有概念 ID 和表覆盖范围，保证可以和前面实验直接对比。
让 DeepSeek 重写概念名、描述、别名、字段关键词和关系。
使用同一套 100 条评测问题重新评估。
第二步验证混合方案：
123DeepSeek 离线生成全量字典+ 查询时 DeepSeek 过滤候选概念和关系= 混合方案
也就是说，既让字典本身更干净，又让模型在具体问题上继续做一次“是否真相关”的判断。
二、实验产物本轮实验涉及三类产物：
产物
说明
DeepSeek 生成全量字典
由 DeepSee ...
DeepSeek 辅助标准字典全量实验报告
这轮实验想回答一个很具体的问题：在数据中台资源检索场景里，标准字典和关系字典已经能扩大召回，但也会带来噪声；如果把 DeepSeek 放进流程，让它先判断候选概念和候选关系是否真的服务于当前问题，最终检索质量会不会更稳。
本文保留实验流程、指标和结论，但对本地路径、产物路径、样本 ID、真实业务系统名和真实表名做了脱敏处理。
一、实验目的实验目标是验证“标准字典 + 关系字典 + 大模型判断”是否能提升数据提取和数据处理时的资源命中质量。
前一轮实验发现：全量候选字典可以覆盖更多业务概念和表字段，但自动生成的字典会引入噪声，导致标准字典和关系增强字典在部分排序指标上反而低于无字典检索。因此本轮把 DeepSeek 加入流程，用大模型对候选概念和候选关系做过滤，再重新评估检索结果。
本轮实验暂不包含人工确认，人工复核只作为下一轮实验准备。
二、实验对象
项目
说明
实验环境
隔离副本，不直接修改原项目
候选字典
全量标准字典
评测问题
100 条
实验模型
deepseek-v4-flash
生成时间
2026-05-21 18:19:16
100 条评 ...
数据中台架构与标准字典实验说明
本文整理了两个部分：
数据中台当前的元数据架构与只读检索链路。
在隔离实验副本中进行的标准字典迁移实验与评测结果。
原始项目保持不动，所有实验都在复制出来的新目录里完成。
一、数据中台架构1.1 总体链路
flowchart LR
Q[自然语言问题] --> S[Codex / Skill]
S --> M[MCP 服务]
M --> C[业务目录 catalog.json]
M --> H[Hive Metastore]
M --> D[DataRiver 元数据图谱]
M --> R[别名归一 / 资源解析 / 血缘解释]
R --> O[候选表 / 字段语义 / 关系说明]
这套架构的核心不是“直接写 SQL”，而是把问题拆成可解释的元数据检索步骤：
先把用户的自然语言问题转成业务概念。
再从业务目录、Hive Metastore 和 DataRiver 图谱里找证据。
最后输出候选表、字段语义、别名、血缘和解释。
1.2 关键组件
组件 ...
SCHEMA-MINERpro: 让机器读懂科学实验流程
这篇论文想让机器真正读懂科学实验流程。论文里的实验步骤原本是一段段自然语言。SCHEMA-MINERpro 做的事，是把它们整理成标准化 schema，再把温度、压力、时间、能量这些字段连到 QUDT 本体，让它们可以被搜索、比较和复用。一句话它把“论文里写的实验描述”变成“机器能懂的实验卡片”。LLM 读论文专家纠错Agent 对齐本体QUDT 统一单位最核心的价值以后你可以问机器：“找出所有低于 (200^\circ C)、使用 TMA precursor 的 ALD 实验”，而不是人工一篇篇翻论文。
先看一个例子假设一篇 ALD 论文里有一句话：论文原文The Al₂O₃ film was deposited at 200 °C using trimethylaluminum and H₂O. The TMA pulse time was 0.1 s, followed by a 5 s N₂ purge. The growth per cycle was 1.1 Å/cycle.→机器真正需要的结构process: Atomic Layer Deposition
materi ...
Docs2Table: 从多文档到结构化表格
ICLR 2026 under review · Docs2Table / FGLM / DDST
把 10 篇长文档，压成一张可比较、可约束、可复现的结构化表
这篇论文真正要解决的，不是“让 LLM 再抽点信息”，而是把多文档比较分析这件事，
从单文生成升级成 schema-first 的结构化流程：
先决定表该长什么样，再决定每个格子该填什么。
先看结果与结论
直接看 DDST 流水线
任务：Docs2Table
数据：FGLM，1,802 条样本，每条 10 篇文档
领域：Finance / Government / Law / Medicine
...
CONSTRUCT: 结构化输出的实时可信度评分
论文精读 · arXiv:2603.18014v2 · 2026-03-31
实时判断结构化输出，哪里值得信。
这篇论文提出 CONSTRUCT：一个不训练 detector、不依赖 logprobs、可用于黑盒 LLM API 的实时 trustworthiness scoring 方法。核心目标不是让 LLM 少犯错，而是在企业文档处理里把错误输出和错误字段更早、更准地暴露出来。
看方法
看复现细节
5 次并行 verifier calls
per-document + per-field
4 个高质量 benchmark
GPT-5 / Gemini 3 Pro 等模型
prompt = ...
LLMStructBench: 结构化数据抽取基准
Benchmarking LLM Structured Data Extraction
把一封邮件，变成一个可信的 JSON。
这篇论文提出 LLMStructBench：一个用于评估 LLM 从自然语言文本抽取结构化字段、并一次性生成合法 JSON 的 benchmark。最关键的发现是：
模型大小不是决定性因素，prompt 与 schema 约束如何配合，往往更重要。
开始阅读
复现实验设置
995 tests
22 open-weight models
5 prompting strategies
0.74Gemma3-27B 与 GPT-4o 并列最高 P-score
...
Human-LLM Collaborative Feature Engineering for Tabular Learning
ICLR 2026 Conference Paper · Tabular Learning · Feature Engineering
让 LLM 生成，让不确定性选择。
论文《Human-LLM Collaborative Feature Engineering for Tabular Learning》的核心思想很干脆：
LLM 不再扮演黑箱优化器，而只负责提出候选特征；真正的选择由显式效用模型、UCB 探索和选择性人类偏好反馈来完成。
18个 Kaggle/UCI/公司数据集，含 13 个分类、5 个回归任务。
50主实验中 LLM 特征工程最大迭代预算。
15每轮由 LLM 生成的候选 feature transformation operations。
31真实用户研究中的 ML 工程师、 ...
Leveraging LLMs for Cloud Incident Extraction
ICPE Companion 2026 · Work in Progress Paper
用 LLM 把云故障报告变成可分析数据。
论文《Leveraging LLMs for Structured Information Extraction and Analysis from Cloud Incident Reports》试图解决一个很实在的问题：AWS、Azure、GCP 的公开 incident reports 很长、结构不一、难以长期统计。作者构建数据集、标注 460 条样本、比较 6 个模型和 6 种 prompt 策略，给出准确率、延迟和成本的系统评估。
3,087来自 AWS、Azure、GCP 的公开故障报告
460人工标注样本，用作 ground truth
6 × 66 个 LLM × 6 种 prompt 策略
75–95%metadata extraction 的主要准确率区间
...
ScheMatiQ: 从研究问题到可验证数据表
arXiv:2604.09237 · 2026-04-10 · Document AI / Data Mining从一个研究问题，到一张可验证的数据表。ScheMatiQ 解决的是一个很现实的问题：研究者面对一堆长文档时，真正想要的往往不是一段摘要，而是一张能分析、能检查、能追溯证据的数据表。arXiv 论文项目网站法律 + 计算生物学双用例Gemini-2.5 系列89法律领域：美国移民 injunction court decisions96 / 110计算生物学语料数量在正文与 Appendix 中存在口径差异$1 / 100 docs作者报告两个用例的大致处理成本87% / 74%protein / judge observation-unit recall，测试样例 precision 为 100%1. Observation Unit Discoveryquery + documents → {"type":"Judge", "row":"one judge in one case"}2. Schema Discoveryiterative batches → field ...