avatar
文章
34
标签
50
分类
3

灯推的恬静小屋
搜索

灯推的恬静小屋

Docs2Table: 从多文档到结构化表格
发表于2026-05-13|更新于2026-05-21|数据工程|DataEngine•论文解读•结构化数据
ICLR 2026 under review · Docs2Table / FGLM / DDST 把 10 篇长文档,压成一张可比较、可约束、可复现的结构化表 这篇论文真正要解决的,不是“让 LLM 再抽点信息”,而是把多文档比较分析这件事, 从单文生成升级成 schema-first 的结构化流程: 先决定表该长什么样,再决定每个格子该填什么。 先看结果与结论 直接看 DDST 流水线 任务:Docs2Table 数据:FGLM,1,802 条样本,每条 10 篇文档 领域:Finance / Government / Law / Medicine ...
CONSTRUCT: 结构化输出的实时可信度评分
发表于2026-05-07|更新于2026-05-21|数据工程|DataEngine•论文解读•结构化数据
论文精读 · arXiv:2603.18014v2 · 2026-03-31 实时判断结构化输出,哪里值得信。 这篇论文提出 CONSTRUCT:一个不训练 detector、不依赖 logprobs、可用于黑盒 LLM API 的实时 trustworthiness scoring 方法。核心目标不是让 LLM 少犯错,而是在企业文档处理里把错误输出和错误字段更早、更准地暴露出来。 看方法 看复现细节 5 次并行 verifier calls per-document + per-field 4 个高质量 benchmark GPT-5 / Gemini 3 Pro 等模型 prompt = ...
LLMStructBench: 结构化数据抽取基准
发表于2026-05-07|更新于2026-05-21|数据工程|DataEngine•论文解读•结构化数据
Benchmarking LLM Structured Data Extraction 把一封邮件,变成一个可信的 JSON。 这篇论文提出 LLMStructBench:一个用于评估 LLM 从自然语言文本抽取结构化字段、并一次性生成合法 JSON 的 benchmark。最关键的发现是: 模型大小不是决定性因素,prompt 与 schema 约束如何配合,往往更重要。 开始阅读 复现实验设置 995 tests 22 open-weight models 5 prompting strategies 0.74Gemma3-27B 与 GPT-4o 并列最高 P-score ...
Human-LLM Collaborative Feature Engineering for Tabular Learning
发表于2026-05-02|更新于2026-05-21|数据工程|DataEngine•论文解读•结构化数据
ICLR 2026 Conference Paper · Tabular Learning · Feature Engineering 让 LLM 生成,让不确定性选择。 论文《Human-LLM Collaborative Feature Engineering for Tabular Learning》的核心思想很干脆: LLM 不再扮演黑箱优化器,而只负责提出候选特征;真正的选择由显式效用模型、UCB 探索和选择性人类偏好反馈来完成。 18个 Kaggle/UCI/公司数据集,含 13 个分类、5 个回归任务。 50主实验中 LLM 特征工程最大迭代预算。 15每轮由 LLM 生成的候选 feature transformation operations。 31真实用户研究中的 ML 工程师、 ...
Leveraging LLMs for Cloud Incident Extraction
发表于2026-05-02|更新于2026-05-21|数据工程|DataEngine•论文解读•结构化数据•AIOps
ICPE Companion 2026 · Work in Progress Paper 用 LLM 把云故障报告变成可分析数据。 论文《Leveraging LLMs for Structured Information Extraction and Analysis from Cloud Incident Reports》试图解决一个很实在的问题:AWS、Azure、GCP 的公开 incident reports 很长、结构不一、难以长期统计。作者构建数据集、标注 460 条样本、比较 6 个模型和 6 种 prompt 策略,给出准确率、延迟和成本的系统评估。 3,087来自 AWS、Azure、GCP 的公开故障报告 460人工标注样本,用作 ground truth 6 × 66 个 LLM × 6 种 prompt 策略 75–95%metadata extraction 的主要准确率区间 ...
ScheMatiQ: 从研究问题到可验证数据表
发表于2026-05-02|更新于2026-05-21|数据工程|DataEngine•论文解读•结构化数据
arXiv:2604.09237 · 2026-04-10 · Document AI / Data Mining从一个研究问题,到一张可验证的数据表。ScheMatiQ 解决的是一个很现实的问题:研究者面对一堆长文档时,真正想要的往往不是一段摘要,而是一张能分析、能检查、能追溯证据的数据表。arXiv 论文项目网站法律 + 计算生物学双用例Gemini-2.5 系列89法律领域:美国移民 injunction court decisions96 / 110计算生物学语料数量在正文与 Appendix 中存在口径差异$1 / 100 docs作者报告两个用例的大致处理成本87% / 74%protein / judge observation-unit recall,测试样例 precision 为 100%1. Observation Unit Discoveryquery + documents → {"type":"Judge", "row":"one judge in one case"}2. Schema Discoveryiterative batches → field ...
DocumentConvert
发表于2025-08-15|更新于2025-08-17
文档转换服务 - 技术架构文档项目概述本项目是一个企业级文档转换服务,基于FastAPI框架构建,复刻了MediaConvert的架构设计理念。系统支持多种文档格式转换,包括Office文档转PDF、PDF转Markdown等,并提供完整的任务管理、云存储集成和监控功能。 核心特性 🚀 高性能异步处理: 基于FastAPI和asyncio的异步架构 📊 企业级任务管理: 支持任务队列、优先级调度和状态跟踪 ☁️ 云存储集成: 完整的S3/MinIO存储支持 🔄 多格式转换: Office转PDF、PDF转Markdown、图片转Markdown 📈 实时监控: 完整的日志记录和任务统计 🛡️ 容错机制: 自动重试、错误恢复和资源清理 系统架构设计整体架构图12345678910┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐│ API Gateway │────│ Task Processor │────│ Document Service││ (FastAPI) ...
Docker
发表于2025-07-06|更新于2025-08-13|docker
教程来源:《Docker入门到项目实战》 1. 基础概念1.1 为什么有Docker?传统部署的痛点 环境不一致:”在我机器上能跑”的经典问题 依赖管理复杂:版本冲突和依赖地狱 资源利用率低:虚拟机资源开销大 部署流程繁琐:手动配置容易出错 Docker的核心优势 特性 说明 对比传统方式 轻量级虚拟化 共享宿主机内核,启动速度快 比虚拟机节省90%资源 环境一致性 开发、测试、生产环境完全统一 消除环境差异问题 快速部署 秒级启动,支持水平扩展 部署时间从分钟级降到秒级 资源高效 容器间共享操作系统 单机可运行更多应用实例 1.2 Docker架构与容器化系统架构图12345678910111213┌─────────────────────────────────────────────────────────┐│ Docker架构 │├─────────────────────────────────────────────────────────┤│ Do ...
lovable
发表于2025-06-22|更新于2025-06-22|大模型•智能体•LLM•Coze
lovable什么是lovableLovable是AI编程工具,可以生成全栈应用程序,基于自然语言处理技术,让用户能用对话快速构建网站和Web应用程序。Lovable 平台支持与Supabase集成,实现数据库连接和用户认证,支持GitHub同步,一键部署,及处理大型代码库。Lovable提供多种模板加速项目启动。Lovable简化软件开发流程,让非技术团队成员快速获得构建高质量软件的能力。 主要功能 自然语言生成代码:用户用自然语言描述想要的功能,Lovable转化为实际的代码。 构建和部署网站/应用:用户用对话构建和部署完整的网站和Web应用程序。 集成Supabase:Lovable AI支持与Supabase集成,支持用户轻松连接Postgres数据库,处理数据存储和用户身份验证。 GitHub同步:用户能将生成的代码同步到GitHub,获得版本控制和代码管理。 处理大型代码库:Lovable AI能处理包含超过100,000行代码的大型项目。 应用场景 快速原型开发:开发者和设计师快速创建应用程序原型,验证概念和设计。 非技术创始人:非技术背景的创业者和创始人将想 ...
Coze
发表于2025-06-14|更新于2025-06-15|大模型•智能体•LLM•Coze
AI智能体定义AI智能体是能够感知环境的、能独立做出决策、执行任务、解决问题并提供服务的人工智能系统,通过模拟人类的行为和决策过程,使得与大模型的交互更加自然、高效和个性化。智能体具有环境感知、记忆、观察、思考和行动能力,能够与人类交互并完成特定任务,如客服、编程、内容创作、知识获取、财务、手机助手、工业制造等。智能体的核心能力包括推理、记忆、使用外部工具和与环境交互。 感知能力 文本感知:如DeepSeek R1能够理解、处理和生成自然语言文本,包括文本分类、情感分析、文本生成等任务,对于图片、视频等采用OCR等工具提取文本信息作为输入。 多模态模型的初阶状态:能够处理多模态信息,如文本、图片、音频等,但可能需要借助外部工具或模型来处理部分模态信息。 端到端视觉感知:能够直接理解图片中的所有信息,包括颜色、图形等信息,无需借助外部工具。 端到端多模态感知:GPT-4o以上模型,可以直接处理图片、视频以及声音中的信息,包括图片的颜色形状、声音的语气语调甚至视频的时序信息。 规划能力 COT(思维链):在给出最终答案之前,主动地先对问题进行拆解,并一步步地给出中间推理过程,从而让大模型 ...
1234
avatar
Akari
暂无
文章
34
标签
50
分类
3
我的BiliBili账号
公告
This is Akari's BLOG
最新文章
SACK:在不可信云上高效执行动态属性权限2026-07-23
LatentRefusal:让 Text-to-SQL 在生成 SQL 前学会停手2026-07-23
Role-Conditioned Refusals:LLM 能守住智能问数的角色权限吗?2026-07-23
AI-Driven Analytics Runtime 论文解读2026-07-16
QCP-DB 论文解读:自治数据 Agent 协作查询2026-07-16
最新评论
正在加载中...
分类
  • 实验4
  • 数据工程15
  • 论文解读7
标签
报错解决方案大模型智能体LLMCoze数据中台元数据标准字典数据治理DataEngineDeepSeek实验数据工程Skill智能问数BIText-to-SQLSchema LinkingLinkAlign数据资产L1-L5dockerQQ机器人bot部署教程论文解读AgentSQL结构化数据AIOps拒答权限安全TAG数据库提示词Prompt EngineeringAI Analytics数据系统
归档
  • 七月 20268
  • 六月 20264
  • 五月 202614
  • 八月 20251
  • 七月 20251
  • 六月 20253
  • 七月 20233
网站资讯
文章数目 :
34
已运行时间 :
本站总字数 :
102.7k
本站访客数 :
本站总访问量 :
最后更新时间 :
訪客地圖
©2023 - 2026 By Akari
框架 Hexo|主题 Butterfly
Hi, welcome to Akari's BLOG!
搜索
数据库加载中