From 1487793a9adba2f19369e9e68e75c8e4a1c52dbc Mon Sep 17 00:00:00 2001 From: Momentry Studio Date: Thu, 15 Oct 2026 12:48:59 +0800 Subject: [PATCH] =?UTF-8?q?docs:=20=E6=9B=B4=E6=96=B0=E7=82=BA=E7=B9=81?= =?UTF-8?q?=E9=AB=94=E4=B8=AD=E6=96=87=E4=B8=A6=E8=A3=9C=E5=85=85=E5=90=91?= =?UTF-8?q?=E9=87=8F=E5=85=A5=E5=BA=AB=E8=AA=AA=E6=98=8E?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 更新內容: 1. 繁體中文表達 - 所有簡體字轉換為繁體 - 用語符合台灣習慣 2. 移除已取消的處理器 - 刪除 POSE (姿態估計) - 刪除 APPEARANCE (外觀檢測) - 這兩個處理器已實際取消 3. 補充向量入庫說明 - 文字向量入庫 * 句子嵌入向量 * 語意搜尋 * 相似文字匹配 - 說話人語音向量入庫 (VOD 實現) * 說話人嵌入向量 * 說話人識別 * 跨視訊說話人追蹤 - 人臉向量入庫 * 人臉嵌入向量 * 人臉相似度搜尋 * 人臉身分識別 4. 更新階段 4 說明 - Rule1: PostgreSQL 入庫 - Rule2: 向量入庫 (Qdrant) * 文字向量 * 說話人向量 * 人臉向量 處理器列表: - ASR: 語音識別 - FACE: 人臉檢測 - OCR: 文字識別 - CUT: 鏡頭切換 已移除: - POSE: 姿態估計 (已取消) - APPEARANCE: 外觀檢測 (已取消) --- docs/PIPELINE_STAGES_EXPLANATION.md | 466 +++++++++++++++------------- docs/PIPELINE_STAGES_QUICK_REF.md | 144 +++++---- 2 files changed, 341 insertions(+), 269 deletions(-) diff --git a/docs/PIPELINE_STAGES_EXPLANATION.md b/docs/PIPELINE_STAGES_EXPLANATION.md index 50f3f9c..077ce9c 100644 --- a/docs/PIPELINE_STAGES_EXPLANATION.md +++ b/docs/PIPELINE_STAGES_EXPLANATION.md @@ -1,41 +1,41 @@ -# Pipeline 四阶段进度说明 +# Pipeline 四階段進度說明 -**更新时间**: 2026-10-12 +**更新時間**: 2026-10-12 **版本**: v0.1.0 --- -## 📊 四阶段总览 +## 📊 四階段總覽 -Momentry Studio 的视频处理流程分为四个主要阶段，每个阶段负责不同的处理任务： +Momentry Studio 的視訊處理流程分為四個主要階段，每個階段負責不同的處理任務： ``` ┌─────────────────────────────────────────────────────────────┐ -│ Pipeline 处理流程 │ +│ Pipeline 處理流程 │ └─────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ -│ 阶段 1: 处理器 (Processors) - 30% │ -│ 原始媒体分析：ASR、人脸检测、OCR、姿态估计等 │ +│ 階段 1: 處理器 (Processors) - 30% │ +│ 原始媒體分析：ASR、人臉檢測、OCR、鏡頭切換等 │ └─────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ -│ 阶段 2: 知识图谱 (Knowledge Graph) - 35% │ -│ 构建人物关系图、场景关联、对话网络 │ +│ 階段 2: 知識圖譜 (Knowledge Graph) - 35% │ +│ 構建人物關係圖、場景關聯、對話網路 │ └─────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ -│ 阶段 3: 片段提取 (Moment Extraction) - 6% │ -│ 智能片段识别、场景理解、关键时刻提取 │ +│ 階段 3: 片段提取 (Moment Extraction) - 6% │ +│ 智慧片段識別、場景理解、關鍵時刻提取 │ └─────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────┐ -│ 阶段 4: 数据整合 (Integration) - 29% │ -│ 数据入库、人脸追踪、去重、最终整合 │ +│ 階段 4: 資料整合 (Integration) - 29% │ +│ 向量入庫、人臉追蹤、去重、最終整合 │ └─────────────────────────────────────────────────────────────┘ ``` @@ -43,381 +43,420 @@ Momentry Studio 的视频处理流程分为四个主要阶段，每个阶段负 ## 📝 各阶段详细说明 -### 阶段 1: 处理器 (Processors) +### 階段 1: 處理器 (Processors) -**权重**: 30% +**權重**: 30% -**状态图标**: -- ✓ (绿色): 已完成 -- ○ (蓝色): 处理中 -- ✗ (红色): 失败 +**狀態圖標**: +- ✓ (綠色): 已完成 +- ○ (藍色): 處理中 +- ✗ (紅色): 失敗 - ○ (灰色): 等待中 --- -#### 功能说明 +#### 功能說明 -**原始媒体分析阶段**，对视频文件进行基础分析，提取原始数据。 +**原始媒體分析階段**，對視訊檔案進行基礎分析，提取原始資料。 -**包含的处理器**: -- **ASR (语音识别)**: 将视频中的语音转换为文字 -- **FACE (人脸检测)**: 检测视频中的人脸位置和特征 -- **OCR (文字识别)**: 识别视频画面中的文字内容 -- **POSE (姿态估计)**: 分析人物的姿态和动作 -- **APPEARANCE (外观检测)**: 检测人物的外观特征 -- **CUT (镜头切换)**: 识别视频的场景切换点 +**包含的處理器**: +- **ASR (語音識別)**: 將視訊中的語音轉換為文字 +- **FACE (人臉檢測)**: 檢測視訊中的人臉位置和特徵 +- **OCR (文字識別)**: 識別視訊畫面中的文字內容 +- **CUT (鏡頭切換)**: 識別視訊的場景切換點 --- -#### 进度含义 +#### 進度含義 -- **0%**: 未开始处理 -- **50%**: 部分处理器完成 -- **100%**: 所有处理器完成 +- **0%**: 未開始處理 +- **50%**: 部分處理器完成 +- **100%**: 所有處理器完成 --- -#### 示例场景 +#### 範例場景 ``` ○ Processors: 0% -→ 正在等待处理开始 +→ 正在等待處理開始 ○ Processors: 60% -→ ASR 完成，FACE 处理中 +→ ASR 完成，FACE 處理中 ✓ Processors: 100% -→ 所有处理器完成，可以进入下一阶段 +→ 所有處理器完成，可以進入下一階段 ``` --- -### 阶段 2: 知识图谱 (Knowledge Graph) +### 階段 2: 知識圖譜 (Knowledge Graph) -**权重**: 35% +**權重**: 35% -**状态图标**: -- ✓ (绿色): 已完成 -- ○ (蓝色): 处理中 -- ✗ (红色): 失败 +**狀態圖標**: +- ✓ (綠色): 已完成 +- ○ (藍色): 處理中 +- ✗ (紅色): 失敗 - ○ (灰色): 等待中 --- -#### 功能说明 +#### 功能說明 -**知识图谱构建阶段**，将处理器提取的原始数据构建成结构化的知识图谱。 +**知識圖譜建構階段**，將處理器提取的原始資料建構成結構化的知識圖譜。 -**包含的步骤**: -- **TKG Nodes (图节点构建)**: - - 人物节点 (face_track_nodes) - - 物品节点 (object_nodes) - - 对话节点 (text_region_nodes) +**包含的步驟**: +- **TKG Nodes (圖節點建構)**: + - 人物節點 (face_track_nodes) + - 物品節點 (object_nodes) + - 對話節點 (text_region_nodes) -- **TKG Edges (图边构建)**: - - 人物关系 (face_face_edges) - - 共现关系 (co_occurrence_edges) - - 说话关系 (speaker_face_edges) +- **TKG Edges (圖邊建構)**: + - 人物關係 (face_face_edges) + - 共現關係 (co_occurrence_edges) + - 說話關係 (speaker_face_edges) --- -#### 进度含义 +#### 進度含義 -- **0%**: 未开始构建 -- **50%**: 节点构建完成，边构建中 -- **100%**: 知识图谱构建完成 +- **0%**: 未開始建構 +- **50%**: 節點建構完成，邊建構中 +- **100%**: 知識圖譜建構完成 --- -#### 示例场景 +#### 範例場景 ``` ○ Knowledge Graph: 0% -→ 等待处理器阶段完成 +→ 等待處理器階段完成 ○ Knowledge Graph: 50% -→ 人物节点构建完成，正在建立人物关系 +→ 人物節點建構完成，正在建立人物關係 ✓ Knowledge Graph: 100% -→ 知识图谱完整构建，可以识别视频中的人物关系 +→ 知識圖譜完整建構，可以識別視訊中的人物關係 ``` --- -#### 实际应用 +#### 實際應用 -**知识图谱的作用**: -- 识别视频中出现的所有人物 -- 分析人物之间的关系 -- 追踪人物在视频中的出现轨迹 -- 支持人脸搜索和身份识别 +**知識圖譜的作用**: +- 識別視訊中出現的所有人物 +- 分析人物之間的關係 +- 追蹤人物在視訊中的出現軌跡 +- 支援人臉搜尋和身分識別 --- -### 阶段 3: 片段提取 (Moment Extraction) +### 階段 3: 片段提取 (Moment Extraction) -**权重**: 6% +**權重**: 6% -**状态图标**: -- ✓ (绿色): 已完成 -- ○ (蓝色): 处理中 -- ✗ (红色): 失败 +**狀態圖標**: +- ✓ (綠色): 已完成 +- ○ (藍色): 處理中 +- ✗ (紅色): 失敗 - ○ (灰色): 等待中 --- -#### 功能说明 +#### 功能說明 -**智能片段识别阶段**，使用 AI 模型识别视频中的关键时刻和场景内容。 +**智慧片段識別階段**，使用 AI 模型識別視訊中的關鍵時刻和場景內容。 -**包含的步骤**: -- **VLM Summary (视觉语言模型总结)**: - - 分析整个视频的内容 - - 生成视频摘要 +**包含的步驟**: +- **VLM Summary (視覺語言模型總結)**: + - 分析整個視訊的內容 + - 生成視訊摘要 -- **Scene VLM (场景理解)**: - - 分析每个场景的内容 - - 识别场景中的人物、物品、动作 +- **Scene VLM (場景理解)**: + - 分析每個場景的內容 + - 識別場景中的人物、物品、動作 - **Moment Chunks (片段分割)**: - - 将视频分割成有意义的片段 - - 标记每个片段的关键信息 + - 將視訊分割成有意義的片段 + - 標記每個片段的關鍵資訊 --- -#### 进度含义 +#### 進度含義 -- **0%**: 未开始 AI 分析 -- **33%**: 部分场景分析完成 -- **100%**: 所有场景和片段分析完成 +- **0%**: 未開始 AI 分析 +- **33%**: 部分場景分析完成 +- **100%**: 所有場景和片段分析完成 --- -#### 示例场景 +#### 範例場景 ``` ○ Moment Extraction: 0% -→ 等待知识图谱构建完成 +→ 等待知識圖譜建構完成 ○ Moment Extraction: 66% -→ VLM 总结完成，场景理解中 +→ VLM 總結完成，場景理解中 ✓ Moment Extraction: 100% -→ 视频内容完全理解，可以回答关于视频的问题 +→ 視訊內容完全理解，可以回答關於視訊的問題 ``` --- -#### 实际应用 +#### 實際應用 **片段提取的作用**: -- 支持自然语言搜索视频内容 -- 快速定位关键场景 -- 理解视频中的事件和情节 -- 提供智能问答功能 +- 支援自然語言搜尋視訊內容 +- 快速定位關鍵場景 +- 理解視訊中的事件和情節 +- 提供智慧問答功能 --- -### 阶段 4: 数据整合 (Integration) +### 階段 4: 資料整合 (Integration) -**权重**: 29% +**權重**: 29% -**状态图标**: -- ✓ (绿色): 已完成 -- ○ (蓝色): 处理中 -- ✗ (红色): 失败 +**狀態圖標**: +- ✓ (綠色): 已完成 +- ○ (藍色): 處理中 +- ✗ (紅色): 失敗 - ○ (灰色): 等待中 --- -#### 功能说明 +#### 功能說明 -**数据整合与入库阶段**，将所有处理结果整合并存储到数据库。 +**資料整合與入庫階段**，將所有處理結果整合並儲存到資料庫。 -**包含的步骤**: -- **Rule1 Ingestion (规则1入库)**: - - PostgreSQL 数据库入库 - - 存储句子块和关系数据 +**包含的步驟**: -- **Rule2 Ingestion (规则2入库)**: - - Qdrant 向量数据库入库 - - 存储人脸和文本向量 +##### 1. Rule1 Ingestion (規則1入庫) +- **PostgreSQL 資料庫入庫** +- 儲存句子區塊 (sentence_chunks) +- 儲存關係資料 (relationship_chunks) +- 儲存追蹤區塊 (trace_chunks) -- **Face Tracing (人脸追踪)**: - - 追踪人脸在视频中的轨迹 - - 建立人脸出现序列 +##### 2. Rule2 Ingestion (規則2入庫) +- **向量資料庫入庫 (Qdrant)** -- **Face Dedup (人脸去重)**: - - 去除重复的人脸检测结果 - - 合并同一人的多次检测 +**入庫的向量類型**: +- **文字向量入庫**: + - 句子嵌入向量 + - 支援語意搜尋 + - 相似文字匹配 + +- **說話人語音向量入庫 (VOD 實現)**: + - 說話人嵌入向量 + - 說話人識別 + - 跨視訊說話人追蹤 + +- **人臉向量入庫**: + - 人臉嵌入向量 + - 人臉相似度搜尋 + - 人臉身分識別 + +##### 3. Face Tracing (人臉追蹤) +- 追蹤人臉在視訊中的軌跡 +- 建立人臉出現序列 +- 關聯同一人的多次出現 + +##### 4. Face Dedup (人臉去重) +- 去除重複的人臉檢測結果 +- 合併同一人的多次檢測 +- 確保人臉資料唯一性 --- -#### 进度含义 +#### 進度含義 -- **0%**: 未开始数据整合 -- **50%**: 部分数据已入库 -- **100%**: 所有数据整合完成 +- **0%**: 未開始資料整合 +- **25%**: PostgreSQL 入庫完成 +- **50%**: 部分向量已入庫 +- **75%** 人臉追蹤完成 +- **100%**: 所有資料整合完成 --- -#### 示例场景 +#### 範例場景 ``` ○ Integration: 0% → 等待所有分析完成 +○ Integration: 25% +→ PostgreSQL 入庫完成 + +○ Integration: 50% +→ 文字向量、人臉向量已入庫 + ○ Integration: 75% -→ PostgreSQL 入库完成，Qdrant 入库中 +→ 說話人向量入庫中 ✓ Integration: 100% -→ 所有数据已整合，视频处理完全完成 +→ 所有資料已整合，視訊處理完全完成 ``` --- -#### 实际应用 +#### 實際應用 -**数据整合的作用**: -- 使视频数据可搜索 -- 支持快速查询 -- 提供数据持久化 -- 支持跨视频关联 +**資料整合的作用**: +- **PostgreSQL**: 結構化資料儲存 + - 快速查詢句子和關係 + - 支援複雜資料關聯 + +- **Qdrant 向量庫**: 語意搜尋 + - 文字語意搜尋 + - 人臉相似度搜尋 + - 說話人識別 + +- **人臉追蹤**: 跨場景追蹤 + - 追蹤人物在視訊中的出現 + - 建立人物出現時間線 + +- **人臉去重**: 資料清理 + - 避免重複人臉資料 + - 提高識別準確度 --- -## 📊 进度计算说明 +## 📊 進度計算說明 -### 总体进度计算 +### 總體進度計算 -**计算公式**: +**計算公式**: ``` -总体进度 = (阶段1进度 × 30%) + (阶段2进度 × 35%) + (阶段3进度 × 6%) + (阶段4进度 × 29%) +總體進度 = (階段1進度 × 30%) + (階段2進度 × 35%) + (階段3進度 × 6%) + (階段4進度 × 29%) ``` --- -### 计算示例 +### 計算範例 -**示例 1: 处理器阶段完成** +**範例 1: 處理器階段完成** ``` Processors: 100% × 30% = 30% Knowledge Graph: 0% × 35% = 0% Moment Extraction: 0% × 6% = 0% Integration: 0% × 29% = 0% -总体进度 = 30% +總體進度 = 30% ``` --- -**示例 2: 知识图谱阶段完成** +**範例 2: 知識圖譜階段完成** ``` Processors: 100% × 30% = 30% Knowledge Graph: 100% × 35% = 35% Moment Extraction: 0% × 6% = 0% Integration: 0% × 29% = 0% -总体进度 = 65% +總體進度 = 65% ``` --- -**示例 3: 全部完成** +**範例 3: 全部完成** ``` Processors: 100% × 30% = 30% Knowledge Graph: 100% × 35% = 35% Moment Extraction: 100% × 6% = 6% Integration: 100% × 29% = 29% -总体进度 = 100% +總體進度 = 100% ``` --- -## 🔄 阶段依赖关系 +## 🔄 階段依賴關係 ``` -阶段 1: 处理器 +階段 1: 處理器 │ - ├─> 提取原始数据 - │ - 人脸位置 - │ - 语音文字 - │ - 场景切换点 + ├─> 提取原始資料 + │ - 人臉位置 + │ - 語音文字 + │ - 場景切換點 │ - └─> 必须完成后才能进入下一阶段 + └─> 必須完成後才能進入下一階段 -阶段 2: 知识图谱 +階段 2: 知識圖譜 │ - ├─> 构建关系网络 - │ - 人物关系 - │ - 场景关联 - │ - 对话网络 + ├─> 建構關係網路 + │ - 人物關係 + │ - 場景關聯 + │ - 對話網路 │ - └─> 必须完成后才能进入下一阶段 + └─> 必須完成後才能進入下一階段 -阶段 3: 片段提取 +階段 3: 片段提取 │ - ├─> AI 内容理解 - │ - 场景分析 + ├─> AI 內容理解 + │ - 場景分析 │ - 片段分割 - │ - 内容总结 + │ - 內容總結 │ - └─> 可以与阶段 4 并行 + └─> 可以與階段 4 並行 -阶段 4: 数据整合 +階段 4: 資料整合 │ - ├─> 数据入库 + ├─> 資料入庫 │ - PostgreSQL - │ - Qdrant - │ - 人脸数据 + │ - Qdrant 向量庫 + │ - 人臉資料 + │ - 說話人資料 │ - └─> 最后阶段，完成后整个流程结束 + └─> 最後階段，完成後整個流程結束 ``` --- -## 🎯 用户操作指南 +## 🎯 使用者操作指南 -### 查看进度 +### 查看進度 -1. **打开 Library 页面** -2. **选择文件** -3. **右键菜单 → Pipeline Progress** -4. **查看各阶段进度** +1. **開啟 Library 頁面** +2. **選擇檔案** +3. **右鍵選單 → Pipeline Progress** +4. **查看各階段進度** --- -### 理解进度状态 +### 理解進度狀態 -| 图标 | 颜色 | 状态 | 说明 | +| 圖標 | 顏色 | 狀態 | 說明 | |-----|------|------|------| -| ✓ | 绿色 | 已完成 | 阶段已成功完成 | -| ○ | 蓝色 | 处理中 | 阶段正在处理 | -| ✗ | 红色 | 失败 | 阶段处理失败 | -| ○ | 灰色 | 等待中 | 阶段等待开始 | +| ✓ | 綠色 | 已完成 | 階段已成功完成 | +| ○ | 藍色 | 處理中 | 階段正在處理 | +| ✗ | 紅色 | 失敗 | 階段處理失敗 | +| ○ | 灰色 | 等待中 | 階段等待開始 | --- -### 判断处理是否正常 +### 判斷處理是否正常 **正常流程**: ``` -1. Processors 开始处理 (○ → ○) +1. Processors 開始處理 (○ → ○) 2. Processors 完成 (✓) -3. Knowledge Graph 开始 (○) -4. 依次完成所有阶段 +3. Knowledge Graph 開始 (○) +4. 依次完成所有階段 ``` -**异常情况**: +**異常情況**: ``` -✗ Processors: 失败 -→ 检查错误日志 -→ 可能是视频文件问题 +✗ Processors: 失敗 +→ 檢查錯誤日誌 +→ 可能是視訊檔案問題 -○ Processors: 长时间卡住 -→ 检查系统资源 -→ 可能是处理队列堵塞 +○ Processors: 長時間卡住 +→ 檢查系統資源 +→ 可能是處理佇列堵塞 ``` --- @@ -430,49 +469,58 @@ Integration: 100% × 29% = 29% --- -## 🆘 常见问题 +## 🆘 常見問題 -### Q: 为什么有的阶段显示 0%？ +### Q: 為什麼有的階段顯示 0%？ -**A**: 阶段按顺序执行，当前阶段必须完成后才能进入下一阶段。 +**A**: 階段按順序執行，當前階段必須完成後才能進入下一階段。 --- -### Q: 为什么总体进度不等于各阶段平均值？ +### Q: 為什麼總體進度不等於各階段平均值？ -**A**: 每个阶段有不同的权重，知识图谱阶段权重最高 (35%)，片段提取最低 (6%)。 +**A**: 每個階段有不同的權重，知識圖譜階段權重最高 (35%)，片段提取最低 (6%)。 --- -### Q: 如何加速处理？ +### Q: 如何加速處理？ **A**: -1. 使用更高性能的硬件 -2. 减少并发处理的文件数 -3. 关闭不需要的处理器 +1. 使用更高性能的硬體 +2. 減少並發處理的檔案數 +3. 關閉不需要的處理器 --- -### Q: 处理失败怎么办？ +### Q: 處理失敗怎麼辦？ **A**: -1. 查看错误日志 -2. 检查视频文件是否损坏 -3. 检查系统资源是否充足 -4. 重新处理文件 +1. 查看錯誤日誌 +2. 檢查視訊檔案是否損壞 +3. 檢查系統資源是否充足 +4. 重新處理檔案 --- -## 📊 权重分配原因 +### Q: 文字向量、人臉向量、說話人向量分別是什麼？ -| 阶段 | 权重 | 原因 | +**A**: +- **文字向量**: 將文字轉換為數值向量，支援語意搜尋和相似度匹配 +- **人臉向量**: 將人臉特徵轉換為向量，用於人臉識別和相似度搜尋 +- **說話人向量**: 將語音特徵轉換為向量，用於說話人識別和跨視訊追蹤 + +--- + +## 📊 權重分配原因 + +| 階段 | 權重 | 原因 | |-----|------|------| -| **Processors** | 30% | 基础分析，必须完整完成 | -| **Knowledge Graph** | 35% | 核心价值，关系构建最重要 | -| **Moment Extraction** | 6% | AI 增强，可选功能 | -| **Integration** | 29% | 数据入库，保证可用性 | +| **Processors** | 30% | 基礎分析，必須完整完成 | +| **Knowledge Graph** | 35% | 核心價值，關係建構最重要 | +| **Moment Extraction** | 6% | AI 增強，可選功能 | +| **Integration** | 29% | 資料入庫，保證可用性 | --- -**最后更新**: 2026-10-12 +**最後更新**: 2026-10-12 **版本**: v0.1.0 \ No newline at end of file diff --git a/docs/PIPELINE_STAGES_QUICK_REF.md b/docs/PIPELINE_STAGES_QUICK_REF.md index aeb0781..55d3b33 100644 --- a/docs/PIPELINE_STAGES_QUICK_REF.md +++ b/docs/PIPELINE_STAGES_QUICK_REF.md @@ -1,118 +1,123 @@ -# Pipeline 四阶段快速参考 +# Pipeline 四階段快速參考 --- -## 📊 四阶段总览 +## 📊 四階段總覽 -| 阶段 | 名称 | 权重 | 主要功能 | +| 階段 | 名稱 | 權重 | 主要功能 | |-----|------|------|---------| -| **1** | 处理器 | 30% | 原始媒体分析 | -| **2** | 知识图谱 | 35% | 关系网络构建 | -| **3** | 片段提取 | 6% | AI 内容理解 | -| **4** | 数据整合 | 29% | 数据入库存储 | +| **1** | 處理器 | 30% | 原始媒體分析 | +| **2** | 知識圖譜 | 35% | 關係網路建構 | +| **3** | 片段提取 | 6% | AI 內容理解 | +| **4** | 資料整合 | 29% | 資料入庫儲存 | --- -## 🎯 阶段 1: 处理器 (Processors) +## 🎯 階段 1: 處理器 (Processors) -**权重**: 30% +**權重**: 30% -**功能**: 原始媒体分析 +**功能**: 原始媒體分析 **包含**: -- ASR: 语音识别 -- FACE: 人脸检测 -- OCR: 文字识别 -- POSE: 姿态估计 -- APPEARANCE: 外观检测 -- CUT: 镜头切换 +- ASR: 語音識別 +- FACE: 人臉檢測 +- OCR: 文字識別 +- CUT: 鏡頭切換 -**状态**: +**狀態**: - ✓ 完成 -- ○ 处理中 -- ✗ 失败 +- ○ 處理中 +- ✗ 失敗 - ○ 等待 --- -## 🧠 阶段 2: 知识图谱 (Knowledge Graph) +## 🧠 階段 2: 知識圖譜 (Knowledge Graph) -**权重**: 35% +**權重**: 35% -**功能**: 构建人物关系网络 +**功能**: 建構人物關係網路 **包含**: -- TKG Nodes: 人物/物品/对话节点 -- TKG Edges: 人物关系/共现关系 +- TKG Nodes: 人物/物品/對話節點 +- TKG Edges: 人物關係/共現關係 -**应用**: -- 人物识别 -- 关系分析 -- 人脸搜索 +**應用**: +- 人物識別 +- 關係分析 +- 人臉搜尋 --- -## 🤖 阶段 3: 片段提取 (Moment Extraction) +## 🤖 階段 3: 片段提取 (Moment Extraction) -**权重**: 6% +**權重**: 6% -**功能**: AI 智能内容理解 +**功能**: AI 智慧內容理解 **包含**: -- VLM Summary: 视频总结 -- Scene VLM: 场景理解 +- VLM Summary: 視訊總結 +- Scene VLM: 場景理解 - Moment Chunks: 片段分割 -**应用**: -- 自然语言搜索 -- 关键场景定位 -- 智能问答 +**應用**: +- 自然語言搜尋 +- 關鍵場景定位 +- 智慧問答 --- -## 💾 阶段 4: 数据整合 (Integration) +## 💾 階段 4: 資料整合 (Integration) -**权重**: 29% +**權重**: 29% -**功能**: 数据入库和整合 +**功能**: 資料入庫和整合 **包含**: -- Rule1: PostgreSQL 入库 -- Rule2: Qdrant 向量入库 -- Face Tracing: 人脸追踪 -- Face Dedup: 人脸去重 +- Rule1: PostgreSQL 入庫 + - 句子區塊 + - 關係資料 + +- Rule2: 向量入庫 (Qdrant) + - 文字向量入庫 + - 說話人語音向量入庫 (VOD 實現) + - 人臉向量入庫 -**应用**: -- 数据持久化 -- 快速查询 -- 跨视频关联 +- Face Tracing: 人臉追蹤 +- Face Dedup: 人臉去重 + +**應用**: +- 資料持久化 +- 快速查詢 +- 跨視訊關聯 --- -## 📈 进度计算 +## 📈 進度計算 **公式**: ``` -总体进度 = 阶段1 × 30% + 阶段2 × 35% + 阶段3 × 6% + 阶段4 × 29% +總體進度 = 階段1 × 30% + 階段2 × 35% + 階段3 × 6% + 階段4 × 29% ``` -**示例**: +**範例**: ``` ✓ Processors: 100% → 30% ✓ Knowledge Graph: 100% → 35% ○ Moment Extraction: 50% → 3% ○ Integration: 0% → 0% -总体 = 68% +總體 = 68% ``` --- -## 🔄 依赖关系 +## 🔄 依賴關係 ``` -处理器 → 知识图谱 → 片段提取 ┐ - ├→ 数据整合 +處理器 → 知識圖譜 → 片段提取 ┐ + ├→ 資料整合 ┘ ``` @@ -120,11 +125,30 @@ ## 📌 使用提示 -1. **查看进度**: Library → 右键 → Pipeline Progress -2. **状态图标**: ✓ (完成) ○ (处理中) ✗ (失败) ○ (等待) -3. **处理顺序**: 按阶段依次执行 -4. **失败处理**: 查看日志，检查资源，重新处理 +1. **查看進度**: Library → 右鍵 → Pipeline Progress +2. **狀態圖標**: ✓ (完成) ○ (處理中) ✗ (失敗) ○ (等待) +3. **處理順序**: 按階段依次執行 +4. **失敗處理**: 查看日誌，檢查資源，重新處理 --- -**详细说明**: `docs/PIPELINE_STAGES_EXPLANATION.md` \ No newline at end of file +## 🔍 向量入庫說明 + +### 文字向量入庫 +- 句子嵌入向量 +- 語意搜尋 +- 相似文字匹配 + +### 說話人語音向量入庫 (VOD 實現) +- 說話人嵌入向量 +- 說話人識別 +- 跨視訊說話人追蹤 + +### 人臉向量入庫 +- 人臉嵌入向量 +- 人臉相似度搜尋 +- 人臉身分識別 + +--- + +**詳細說明**: `docs/PIPELINE_STAGES_EXPLANATION.md` \ No newline at end of file