docs: 更新為繁體中文並補充向量入庫說明
更新內容:
1. 繁體中文表達
- 所有簡體字轉換為繁體
- 用語符合台灣習慣
2. 移除已取消的處理器
- 刪除 POSE (姿態估計)
- 刪除 APPEARANCE (外觀檢測)
- 這兩個處理器已實際取消
3. 補充向量入庫說明
- 文字向量入庫
* 句子嵌入向量
* 語意搜尋
* 相似文字匹配
- 說話人語音向量入庫 (VOD 實現)
* 說話人嵌入向量
* 說話人識別
* 跨視訊說話人追蹤
- 人臉向量入庫
* 人臉嵌入向量
* 人臉相似度搜尋
* 人臉身分識別
4. 更新階段 4 說明
- Rule1: PostgreSQL 入庫
- Rule2: 向量入庫 (Qdrant)
* 文字向量
* 說話人向量
* 人臉向量
處理器列表:
- ASR: 語音識別
- FACE: 人臉檢測
- OCR: 文字識別
- CUT: 鏡頭切換
已移除:
- POSE: 姿態估計 (已取消)
- APPEARANCE: 外觀檢測 (已取消)
This commit is contained in:
@@ -1,41 +1,41 @@
|
||||
# Pipeline 四阶段进度说明
|
||||
# Pipeline 四階段進度說明
|
||||
|
||||
**更新时间**: 2026-10-12
|
||||
**更新時間**: 2026-10-12
|
||||
**版本**: v0.1.0
|
||||
|
||||
---
|
||||
|
||||
## 📊 四阶段总览
|
||||
## 📊 四階段總覽
|
||||
|
||||
Momentry Studio 的视频处理流程分为四个主要阶段,每个阶段负责不同的处理任务:
|
||||
Momentry Studio 的視訊處理流程分為四個主要階段,每個階段負責不同的處理任務:
|
||||
|
||||
```
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ Pipeline 处理流程 │
|
||||
│ Pipeline 處理流程 │
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
│
|
||||
▼
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ 阶段 1: 处理器 (Processors) - 30% │
|
||||
│ 原始媒体分析:ASR、人脸检测、OCR、姿态估计等 │
|
||||
│ 階段 1: 處理器 (Processors) - 30% │
|
||||
│ 原始媒體分析:ASR、人臉檢測、OCR、鏡頭切換等 │
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
│
|
||||
▼
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ 阶段 2: 知识图谱 (Knowledge Graph) - 35% │
|
||||
│ 构建人物关系图、场景关联、对话网络 │
|
||||
│ 階段 2: 知識圖譜 (Knowledge Graph) - 35% │
|
||||
│ 構建人物關係圖、場景關聯、對話網路 │
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
│
|
||||
▼
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ 阶段 3: 片段提取 (Moment Extraction) - 6% │
|
||||
│ 智能片段识别、场景理解、关键时刻提取 │
|
||||
│ 階段 3: 片段提取 (Moment Extraction) - 6% │
|
||||
│ 智慧片段識別、場景理解、關鍵時刻提取 │
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
│
|
||||
▼
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ 阶段 4: 数据整合 (Integration) - 29% │
|
||||
│ 数据入库、人脸追踪、去重、最终整合 │
|
||||
│ 階段 4: 資料整合 (Integration) - 29% │
|
||||
│ 向量入庫、人臉追蹤、去重、最終整合 │
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
```
|
||||
|
||||
@@ -43,381 +43,420 @@ Momentry Studio 的视频处理流程分为四个主要阶段,每个阶段负
|
||||
|
||||
## 📝 各阶段详细说明
|
||||
|
||||
### 阶段 1: 处理器 (Processors)
|
||||
### 階段 1: 處理器 (Processors)
|
||||
|
||||
**权重**: 30%
|
||||
**權重**: 30%
|
||||
|
||||
**状态图标**:
|
||||
- ✓ (绿色): 已完成
|
||||
- ○ (蓝色): 处理中
|
||||
- ✗ (红色): 失败
|
||||
**狀態圖標**:
|
||||
- ✓ (綠色): 已完成
|
||||
- ○ (藍色): 處理中
|
||||
- ✗ (紅色): 失敗
|
||||
- ○ (灰色): 等待中
|
||||
|
||||
---
|
||||
|
||||
#### 功能说明
|
||||
#### 功能說明
|
||||
|
||||
**原始媒体分析阶段**,对视频文件进行基础分析,提取原始数据。
|
||||
**原始媒體分析階段**,對視訊檔案進行基礎分析,提取原始資料。
|
||||
|
||||
**包含的处理器**:
|
||||
- **ASR (语音识别)**: 将视频中的语音转换为文字
|
||||
- **FACE (人脸检测)**: 检测视频中的人脸位置和特征
|
||||
- **OCR (文字识别)**: 识别视频画面中的文字内容
|
||||
- **POSE (姿态估计)**: 分析人物的姿态和动作
|
||||
- **APPEARANCE (外观检测)**: 检测人物的外观特征
|
||||
- **CUT (镜头切换)**: 识别视频的场景切换点
|
||||
**包含的處理器**:
|
||||
- **ASR (語音識別)**: 將視訊中的語音轉換為文字
|
||||
- **FACE (人臉檢測)**: 檢測視訊中的人臉位置和特徵
|
||||
- **OCR (文字識別)**: 識別視訊畫面中的文字內容
|
||||
- **CUT (鏡頭切換)**: 識別視訊的場景切換點
|
||||
|
||||
---
|
||||
|
||||
#### 进度含义
|
||||
#### 進度含義
|
||||
|
||||
- **0%**: 未开始处理
|
||||
- **50%**: 部分处理器完成
|
||||
- **100%**: 所有处理器完成
|
||||
- **0%**: 未開始處理
|
||||
- **50%**: 部分處理器完成
|
||||
- **100%**: 所有處理器完成
|
||||
|
||||
---
|
||||
|
||||
#### 示例场景
|
||||
#### 範例場景
|
||||
|
||||
```
|
||||
○ Processors: 0%
|
||||
→ 正在等待处理开始
|
||||
→ 正在等待處理開始
|
||||
|
||||
○ Processors: 60%
|
||||
→ ASR 完成,FACE 处理中
|
||||
→ ASR 完成,FACE 處理中
|
||||
|
||||
✓ Processors: 100%
|
||||
→ 所有处理器完成,可以进入下一阶段
|
||||
→ 所有處理器完成,可以進入下一階段
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### 阶段 2: 知识图谱 (Knowledge Graph)
|
||||
### 階段 2: 知識圖譜 (Knowledge Graph)
|
||||
|
||||
**权重**: 35%
|
||||
**權重**: 35%
|
||||
|
||||
**状态图标**:
|
||||
- ✓ (绿色): 已完成
|
||||
- ○ (蓝色): 处理中
|
||||
- ✗ (红色): 失败
|
||||
**狀態圖標**:
|
||||
- ✓ (綠色): 已完成
|
||||
- ○ (藍色): 處理中
|
||||
- ✗ (紅色): 失敗
|
||||
- ○ (灰色): 等待中
|
||||
|
||||
---
|
||||
|
||||
#### 功能说明
|
||||
#### 功能說明
|
||||
|
||||
**知识图谱构建阶段**,将处理器提取的原始数据构建成结构化的知识图谱。
|
||||
**知識圖譜建構階段**,將處理器提取的原始資料建構成結構化的知識圖譜。
|
||||
|
||||
**包含的步骤**:
|
||||
- **TKG Nodes (图节点构建)**:
|
||||
- 人物节点 (face_track_nodes)
|
||||
- 物品节点 (object_nodes)
|
||||
- 对话节点 (text_region_nodes)
|
||||
**包含的步驟**:
|
||||
- **TKG Nodes (圖節點建構)**:
|
||||
- 人物節點 (face_track_nodes)
|
||||
- 物品節點 (object_nodes)
|
||||
- 對話節點 (text_region_nodes)
|
||||
|
||||
- **TKG Edges (图边构建)**:
|
||||
- 人物关系 (face_face_edges)
|
||||
- 共现关系 (co_occurrence_edges)
|
||||
- 说话关系 (speaker_face_edges)
|
||||
- **TKG Edges (圖邊建構)**:
|
||||
- 人物關係 (face_face_edges)
|
||||
- 共現關係 (co_occurrence_edges)
|
||||
- 說話關係 (speaker_face_edges)
|
||||
|
||||
---
|
||||
|
||||
#### 进度含义
|
||||
#### 進度含義
|
||||
|
||||
- **0%**: 未开始构建
|
||||
- **50%**: 节点构建完成,边构建中
|
||||
- **100%**: 知识图谱构建完成
|
||||
- **0%**: 未開始建構
|
||||
- **50%**: 節點建構完成,邊建構中
|
||||
- **100%**: 知識圖譜建構完成
|
||||
|
||||
---
|
||||
|
||||
#### 示例场景
|
||||
#### 範例場景
|
||||
|
||||
```
|
||||
○ Knowledge Graph: 0%
|
||||
→ 等待处理器阶段完成
|
||||
→ 等待處理器階段完成
|
||||
|
||||
○ Knowledge Graph: 50%
|
||||
→ 人物节点构建完成,正在建立人物关系
|
||||
→ 人物節點建構完成,正在建立人物關係
|
||||
|
||||
✓ Knowledge Graph: 100%
|
||||
→ 知识图谱完整构建,可以识别视频中的人物关系
|
||||
→ 知識圖譜完整建構,可以識別視訊中的人物關係
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
#### 实际应用
|
||||
#### 實際應用
|
||||
|
||||
**知识图谱的作用**:
|
||||
- 识别视频中出现的所有人物
|
||||
- 分析人物之间的关系
|
||||
- 追踪人物在视频中的出现轨迹
|
||||
- 支持人脸搜索和身份识别
|
||||
**知識圖譜的作用**:
|
||||
- 識別視訊中出現的所有人物
|
||||
- 分析人物之間的關係
|
||||
- 追蹤人物在視訊中的出現軌跡
|
||||
- 支援人臉搜尋和身分識別
|
||||
|
||||
---
|
||||
|
||||
### 阶段 3: 片段提取 (Moment Extraction)
|
||||
### 階段 3: 片段提取 (Moment Extraction)
|
||||
|
||||
**权重**: 6%
|
||||
**權重**: 6%
|
||||
|
||||
**状态图标**:
|
||||
- ✓ (绿色): 已完成
|
||||
- ○ (蓝色): 处理中
|
||||
- ✗ (红色): 失败
|
||||
**狀態圖標**:
|
||||
- ✓ (綠色): 已完成
|
||||
- ○ (藍色): 處理中
|
||||
- ✗ (紅色): 失敗
|
||||
- ○ (灰色): 等待中
|
||||
|
||||
---
|
||||
|
||||
#### 功能说明
|
||||
#### 功能說明
|
||||
|
||||
**智能片段识别阶段**,使用 AI 模型识别视频中的关键时刻和场景内容。
|
||||
**智慧片段識別階段**,使用 AI 模型識別視訊中的關鍵時刻和場景內容。
|
||||
|
||||
**包含的步骤**:
|
||||
- **VLM Summary (视觉语言模型总结)**:
|
||||
- 分析整个视频的内容
|
||||
- 生成视频摘要
|
||||
**包含的步驟**:
|
||||
- **VLM Summary (視覺語言模型總結)**:
|
||||
- 分析整個視訊的內容
|
||||
- 生成視訊摘要
|
||||
|
||||
- **Scene VLM (场景理解)**:
|
||||
- 分析每个场景的内容
|
||||
- 识别场景中的人物、物品、动作
|
||||
- **Scene VLM (場景理解)**:
|
||||
- 分析每個場景的內容
|
||||
- 識別場景中的人物、物品、動作
|
||||
|
||||
- **Moment Chunks (片段分割)**:
|
||||
- 将视频分割成有意义的片段
|
||||
- 标记每个片段的关键信息
|
||||
- 將視訊分割成有意義的片段
|
||||
- 標記每個片段的關鍵資訊
|
||||
|
||||
---
|
||||
|
||||
#### 进度含义
|
||||
#### 進度含義
|
||||
|
||||
- **0%**: 未开始 AI 分析
|
||||
- **33%**: 部分场景分析完成
|
||||
- **100%**: 所有场景和片段分析完成
|
||||
- **0%**: 未開始 AI 分析
|
||||
- **33%**: 部分場景分析完成
|
||||
- **100%**: 所有場景和片段分析完成
|
||||
|
||||
---
|
||||
|
||||
#### 示例场景
|
||||
#### 範例場景
|
||||
|
||||
```
|
||||
○ Moment Extraction: 0%
|
||||
→ 等待知识图谱构建完成
|
||||
→ 等待知識圖譜建構完成
|
||||
|
||||
○ Moment Extraction: 66%
|
||||
→ VLM 总结完成,场景理解中
|
||||
→ VLM 總結完成,場景理解中
|
||||
|
||||
✓ Moment Extraction: 100%
|
||||
→ 视频内容完全理解,可以回答关于视频的问题
|
||||
→ 視訊內容完全理解,可以回答關於視訊的問題
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
#### 实际应用
|
||||
#### 實際應用
|
||||
|
||||
**片段提取的作用**:
|
||||
- 支持自然语言搜索视频内容
|
||||
- 快速定位关键场景
|
||||
- 理解视频中的事件和情节
|
||||
- 提供智能问答功能
|
||||
- 支援自然語言搜尋視訊內容
|
||||
- 快速定位關鍵場景
|
||||
- 理解視訊中的事件和情節
|
||||
- 提供智慧問答功能
|
||||
|
||||
---
|
||||
|
||||
### 阶段 4: 数据整合 (Integration)
|
||||
### 階段 4: 資料整合 (Integration)
|
||||
|
||||
**权重**: 29%
|
||||
**權重**: 29%
|
||||
|
||||
**状态图标**:
|
||||
- ✓ (绿色): 已完成
|
||||
- ○ (蓝色): 处理中
|
||||
- ✗ (红色): 失败
|
||||
**狀態圖標**:
|
||||
- ✓ (綠色): 已完成
|
||||
- ○ (藍色): 處理中
|
||||
- ✗ (紅色): 失敗
|
||||
- ○ (灰色): 等待中
|
||||
|
||||
---
|
||||
|
||||
#### 功能说明
|
||||
#### 功能說明
|
||||
|
||||
**数据整合与入库阶段**,将所有处理结果整合并存储到数据库。
|
||||
**資料整合與入庫階段**,將所有處理結果整合並儲存到資料庫。
|
||||
|
||||
**包含的步骤**:
|
||||
- **Rule1 Ingestion (规则1入库)**:
|
||||
- PostgreSQL 数据库入库
|
||||
- 存储句子块和关系数据
|
||||
**包含的步驟**:
|
||||
|
||||
- **Rule2 Ingestion (规则2入库)**:
|
||||
- Qdrant 向量数据库入库
|
||||
- 存储人脸和文本向量
|
||||
##### 1. Rule1 Ingestion (規則1入庫)
|
||||
- **PostgreSQL 資料庫入庫**
|
||||
- 儲存句子區塊 (sentence_chunks)
|
||||
- 儲存關係資料 (relationship_chunks)
|
||||
- 儲存追蹤區塊 (trace_chunks)
|
||||
|
||||
- **Face Tracing (人脸追踪)**:
|
||||
- 追踪人脸在视频中的轨迹
|
||||
- 建立人脸出现序列
|
||||
##### 2. Rule2 Ingestion (規則2入庫)
|
||||
- **向量資料庫入庫 (Qdrant)**
|
||||
|
||||
- **Face Dedup (人脸去重)**:
|
||||
- 去除重复的人脸检测结果
|
||||
- 合并同一人的多次检测
|
||||
**入庫的向量類型**:
|
||||
- **文字向量入庫**:
|
||||
- 句子嵌入向量
|
||||
- 支援語意搜尋
|
||||
- 相似文字匹配
|
||||
|
||||
- **說話人語音向量入庫 (VOD 實現)**:
|
||||
- 說話人嵌入向量
|
||||
- 說話人識別
|
||||
- 跨視訊說話人追蹤
|
||||
|
||||
- **人臉向量入庫**:
|
||||
- 人臉嵌入向量
|
||||
- 人臉相似度搜尋
|
||||
- 人臉身分識別
|
||||
|
||||
##### 3. Face Tracing (人臉追蹤)
|
||||
- 追蹤人臉在視訊中的軌跡
|
||||
- 建立人臉出現序列
|
||||
- 關聯同一人的多次出現
|
||||
|
||||
##### 4. Face Dedup (人臉去重)
|
||||
- 去除重複的人臉檢測結果
|
||||
- 合併同一人的多次檢測
|
||||
- 確保人臉資料唯一性
|
||||
|
||||
---
|
||||
|
||||
#### 进度含义
|
||||
#### 進度含義
|
||||
|
||||
- **0%**: 未开始数据整合
|
||||
- **50%**: 部分数据已入库
|
||||
- **100%**: 所有数据整合完成
|
||||
- **0%**: 未開始資料整合
|
||||
- **25%**: PostgreSQL 入庫完成
|
||||
- **50%**: 部分向量已入庫
|
||||
- **75%** 人臉追蹤完成
|
||||
- **100%**: 所有資料整合完成
|
||||
|
||||
---
|
||||
|
||||
#### 示例场景
|
||||
#### 範例場景
|
||||
|
||||
```
|
||||
○ Integration: 0%
|
||||
→ 等待所有分析完成
|
||||
|
||||
○ Integration: 25%
|
||||
→ PostgreSQL 入庫完成
|
||||
|
||||
○ Integration: 50%
|
||||
→ 文字向量、人臉向量已入庫
|
||||
|
||||
○ Integration: 75%
|
||||
→ PostgreSQL 入库完成,Qdrant 入库中
|
||||
→ 說話人向量入庫中
|
||||
|
||||
✓ Integration: 100%
|
||||
→ 所有数据已整合,视频处理完全完成
|
||||
→ 所有資料已整合,視訊處理完全完成
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
#### 实际应用
|
||||
#### 實際應用
|
||||
|
||||
**数据整合的作用**:
|
||||
- 使视频数据可搜索
|
||||
- 支持快速查询
|
||||
- 提供数据持久化
|
||||
- 支持跨视频关联
|
||||
**資料整合的作用**:
|
||||
- **PostgreSQL**: 結構化資料儲存
|
||||
- 快速查詢句子和關係
|
||||
- 支援複雜資料關聯
|
||||
|
||||
- **Qdrant 向量庫**: 語意搜尋
|
||||
- 文字語意搜尋
|
||||
- 人臉相似度搜尋
|
||||
- 說話人識別
|
||||
|
||||
- **人臉追蹤**: 跨場景追蹤
|
||||
- 追蹤人物在視訊中的出現
|
||||
- 建立人物出現時間線
|
||||
|
||||
- **人臉去重**: 資料清理
|
||||
- 避免重複人臉資料
|
||||
- 提高識別準確度
|
||||
|
||||
---
|
||||
|
||||
## 📊 进度计算说明
|
||||
## 📊 進度計算說明
|
||||
|
||||
### 总体进度计算
|
||||
### 總體進度計算
|
||||
|
||||
**计算公式**:
|
||||
**計算公式**:
|
||||
```
|
||||
总体进度 = (阶段1进度 × 30%) + (阶段2进度 × 35%) + (阶段3进度 × 6%) + (阶段4进度 × 29%)
|
||||
總體進度 = (階段1進度 × 30%) + (階段2進度 × 35%) + (階段3進度 × 6%) + (階段4進度 × 29%)
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### 计算示例
|
||||
### 計算範例
|
||||
|
||||
**示例 1: 处理器阶段完成**
|
||||
**範例 1: 處理器階段完成**
|
||||
```
|
||||
Processors: 100% × 30% = 30%
|
||||
Knowledge Graph: 0% × 35% = 0%
|
||||
Moment Extraction: 0% × 6% = 0%
|
||||
Integration: 0% × 29% = 0%
|
||||
|
||||
总体进度 = 30%
|
||||
總體進度 = 30%
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
**示例 2: 知识图谱阶段完成**
|
||||
**範例 2: 知識圖譜階段完成**
|
||||
```
|
||||
Processors: 100% × 30% = 30%
|
||||
Knowledge Graph: 100% × 35% = 35%
|
||||
Moment Extraction: 0% × 6% = 0%
|
||||
Integration: 0% × 29% = 0%
|
||||
|
||||
总体进度 = 65%
|
||||
總體進度 = 65%
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
**示例 3: 全部完成**
|
||||
**範例 3: 全部完成**
|
||||
```
|
||||
Processors: 100% × 30% = 30%
|
||||
Knowledge Graph: 100% × 35% = 35%
|
||||
Moment Extraction: 100% × 6% = 6%
|
||||
Integration: 100% × 29% = 29%
|
||||
|
||||
总体进度 = 100%
|
||||
總體進度 = 100%
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 🔄 阶段依赖关系
|
||||
## 🔄 階段依賴關係
|
||||
|
||||
```
|
||||
阶段 1: 处理器
|
||||
階段 1: 處理器
|
||||
│
|
||||
├─> 提取原始数据
|
||||
│ - 人脸位置
|
||||
│ - 语音文字
|
||||
│ - 场景切换点
|
||||
├─> 提取原始資料
|
||||
│ - 人臉位置
|
||||
│ - 語音文字
|
||||
│ - 場景切換點
|
||||
│
|
||||
└─> 必须完成后才能进入下一阶段
|
||||
└─> 必須完成後才能進入下一階段
|
||||
|
||||
阶段 2: 知识图谱
|
||||
階段 2: 知識圖譜
|
||||
│
|
||||
├─> 构建关系网络
|
||||
│ - 人物关系
|
||||
│ - 场景关联
|
||||
│ - 对话网络
|
||||
├─> 建構關係網路
|
||||
│ - 人物關係
|
||||
│ - 場景關聯
|
||||
│ - 對話網路
|
||||
│
|
||||
└─> 必须完成后才能进入下一阶段
|
||||
└─> 必須完成後才能進入下一階段
|
||||
|
||||
阶段 3: 片段提取
|
||||
階段 3: 片段提取
|
||||
│
|
||||
├─> AI 内容理解
|
||||
│ - 场景分析
|
||||
├─> AI 內容理解
|
||||
│ - 場景分析
|
||||
│ - 片段分割
|
||||
│ - 内容总结
|
||||
│ - 內容總結
|
||||
│
|
||||
└─> 可以与阶段 4 并行
|
||||
└─> 可以與階段 4 並行
|
||||
|
||||
阶段 4: 数据整合
|
||||
階段 4: 資料整合
|
||||
│
|
||||
├─> 数据入库
|
||||
├─> 資料入庫
|
||||
│ - PostgreSQL
|
||||
│ - Qdrant
|
||||
│ - 人脸数据
|
||||
│ - Qdrant 向量庫
|
||||
│ - 人臉資料
|
||||
│ - 說話人資料
|
||||
│
|
||||
└─> 最后阶段,完成后整个流程结束
|
||||
└─> 最後階段,完成後整個流程結束
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 🎯 用户操作指南
|
||||
## 🎯 使用者操作指南
|
||||
|
||||
### 查看进度
|
||||
### 查看進度
|
||||
|
||||
1. **打开 Library 页面**
|
||||
2. **选择文件**
|
||||
3. **右键菜单 → Pipeline Progress**
|
||||
4. **查看各阶段进度**
|
||||
1. **開啟 Library 頁面**
|
||||
2. **選擇檔案**
|
||||
3. **右鍵選單 → Pipeline Progress**
|
||||
4. **查看各階段進度**
|
||||
|
||||
---
|
||||
|
||||
### 理解进度状态
|
||||
### 理解進度狀態
|
||||
|
||||
| 图标 | 颜色 | 状态 | 说明 |
|
||||
| 圖標 | 顏色 | 狀態 | 說明 |
|
||||
|-----|------|------|------|
|
||||
| ✓ | 绿色 | 已完成 | 阶段已成功完成 |
|
||||
| ○ | 蓝色 | 处理中 | 阶段正在处理 |
|
||||
| ✗ | 红色 | 失败 | 阶段处理失败 |
|
||||
| ○ | 灰色 | 等待中 | 阶段等待开始 |
|
||||
| ✓ | 綠色 | 已完成 | 階段已成功完成 |
|
||||
| ○ | 藍色 | 處理中 | 階段正在處理 |
|
||||
| ✗ | 紅色 | 失敗 | 階段處理失敗 |
|
||||
| ○ | 灰色 | 等待中 | 階段等待開始 |
|
||||
|
||||
---
|
||||
|
||||
### 判断处理是否正常
|
||||
### 判斷處理是否正常
|
||||
|
||||
**正常流程**:
|
||||
```
|
||||
1. Processors 开始处理 (○ → ○)
|
||||
1. Processors 開始處理 (○ → ○)
|
||||
2. Processors 完成 (✓)
|
||||
3. Knowledge Graph 开始 (○)
|
||||
4. 依次完成所有阶段
|
||||
3. Knowledge Graph 開始 (○)
|
||||
4. 依次完成所有階段
|
||||
```
|
||||
|
||||
**异常情况**:
|
||||
**異常情況**:
|
||||
```
|
||||
✗ Processors: 失败
|
||||
→ 检查错误日志
|
||||
→ 可能是视频文件问题
|
||||
✗ Processors: 失敗
|
||||
→ 檢查錯誤日誌
|
||||
→ 可能是視訊檔案問題
|
||||
|
||||
○ Processors: 长时间卡住
|
||||
→ 检查系统资源
|
||||
→ 可能是处理队列堵塞
|
||||
○ Processors: 長時間卡住
|
||||
→ 檢查系統資源
|
||||
→ 可能是處理佇列堵塞
|
||||
```
|
||||
|
||||
---
|
||||
@@ -430,49 +469,58 @@ Integration: 100% × 29% = 29%
|
||||
|
||||
---
|
||||
|
||||
## 🆘 常见问题
|
||||
## 🆘 常見問題
|
||||
|
||||
### Q: 为什么有的阶段显示 0%?
|
||||
### Q: 為什麼有的階段顯示 0%?
|
||||
|
||||
**A**: 阶段按顺序执行,当前阶段必须完成后才能进入下一阶段。
|
||||
**A**: 階段按順序執行,當前階段必須完成後才能進入下一階段。
|
||||
|
||||
---
|
||||
|
||||
### Q: 为什么总体进度不等于各阶段平均值?
|
||||
### Q: 為什麼總體進度不等於各階段平均值?
|
||||
|
||||
**A**: 每个阶段有不同的权重,知识图谱阶段权重最高 (35%),片段提取最低 (6%)。
|
||||
**A**: 每個階段有不同的權重,知識圖譜階段權重最高 (35%),片段提取最低 (6%)。
|
||||
|
||||
---
|
||||
|
||||
### Q: 如何加速处理?
|
||||
### Q: 如何加速處理?
|
||||
|
||||
**A**:
|
||||
1. 使用更高性能的硬件
|
||||
2. 减少并发处理的文件数
|
||||
3. 关闭不需要的处理器
|
||||
1. 使用更高性能的硬體
|
||||
2. 減少並發處理的檔案數
|
||||
3. 關閉不需要的處理器
|
||||
|
||||
---
|
||||
|
||||
### Q: 处理失败怎么办?
|
||||
### Q: 處理失敗怎麼辦?
|
||||
|
||||
**A**:
|
||||
1. 查看错误日志
|
||||
2. 检查视频文件是否损坏
|
||||
3. 检查系统资源是否充足
|
||||
4. 重新处理文件
|
||||
1. 查看錯誤日誌
|
||||
2. 檢查視訊檔案是否損壞
|
||||
3. 檢查系統資源是否充足
|
||||
4. 重新處理檔案
|
||||
|
||||
---
|
||||
|
||||
## 📊 权重分配原因
|
||||
### Q: 文字向量、人臉向量、說話人向量分別是什麼?
|
||||
|
||||
| 阶段 | 权重 | 原因 |
|
||||
**A**:
|
||||
- **文字向量**: 將文字轉換為數值向量,支援語意搜尋和相似度匹配
|
||||
- **人臉向量**: 將人臉特徵轉換為向量,用於人臉識別和相似度搜尋
|
||||
- **說話人向量**: 將語音特徵轉換為向量,用於說話人識別和跨視訊追蹤
|
||||
|
||||
---
|
||||
|
||||
## 📊 權重分配原因
|
||||
|
||||
| 階段 | 權重 | 原因 |
|
||||
|-----|------|------|
|
||||
| **Processors** | 30% | 基础分析,必须完整完成 |
|
||||
| **Knowledge Graph** | 35% | 核心价值,关系构建最重要 |
|
||||
| **Moment Extraction** | 6% | AI 增强,可选功能 |
|
||||
| **Integration** | 29% | 数据入库,保证可用性 |
|
||||
| **Processors** | 30% | 基礎分析,必須完整完成 |
|
||||
| **Knowledge Graph** | 35% | 核心價值,關係建構最重要 |
|
||||
| **Moment Extraction** | 6% | AI 增強,可選功能 |
|
||||
| **Integration** | 29% | 資料入庫,保證可用性 |
|
||||
|
||||
---
|
||||
|
||||
**最后更新**: 2026-10-12
|
||||
**最後更新**: 2026-10-12
|
||||
**版本**: v0.1.0
|
||||
@@ -1,118 +1,123 @@
|
||||
# Pipeline 四阶段快速参考
|
||||
# Pipeline 四階段快速參考
|
||||
|
||||
---
|
||||
|
||||
## 📊 四阶段总览
|
||||
## 📊 四階段總覽
|
||||
|
||||
| 阶段 | 名称 | 权重 | 主要功能 |
|
||||
| 階段 | 名稱 | 權重 | 主要功能 |
|
||||
|-----|------|------|---------|
|
||||
| **1** | 处理器 | 30% | 原始媒体分析 |
|
||||
| **2** | 知识图谱 | 35% | 关系网络构建 |
|
||||
| **3** | 片段提取 | 6% | AI 内容理解 |
|
||||
| **4** | 数据整合 | 29% | 数据入库存储 |
|
||||
| **1** | 處理器 | 30% | 原始媒體分析 |
|
||||
| **2** | 知識圖譜 | 35% | 關係網路建構 |
|
||||
| **3** | 片段提取 | 6% | AI 內容理解 |
|
||||
| **4** | 資料整合 | 29% | 資料入庫儲存 |
|
||||
|
||||
---
|
||||
|
||||
## 🎯 阶段 1: 处理器 (Processors)
|
||||
## 🎯 階段 1: 處理器 (Processors)
|
||||
|
||||
**权重**: 30%
|
||||
**權重**: 30%
|
||||
|
||||
**功能**: 原始媒体分析
|
||||
**功能**: 原始媒體分析
|
||||
|
||||
**包含**:
|
||||
- ASR: 语音识别
|
||||
- FACE: 人脸检测
|
||||
- OCR: 文字识别
|
||||
- POSE: 姿态估计
|
||||
- APPEARANCE: 外观检测
|
||||
- CUT: 镜头切换
|
||||
- ASR: 語音識別
|
||||
- FACE: 人臉檢測
|
||||
- OCR: 文字識別
|
||||
- CUT: 鏡頭切換
|
||||
|
||||
**状态**:
|
||||
**狀態**:
|
||||
- ✓ 完成
|
||||
- ○ 处理中
|
||||
- ✗ 失败
|
||||
- ○ 處理中
|
||||
- ✗ 失敗
|
||||
- ○ 等待
|
||||
|
||||
---
|
||||
|
||||
## 🧠 阶段 2: 知识图谱 (Knowledge Graph)
|
||||
## 🧠 階段 2: 知識圖譜 (Knowledge Graph)
|
||||
|
||||
**权重**: 35%
|
||||
**權重**: 35%
|
||||
|
||||
**功能**: 构建人物关系网络
|
||||
**功能**: 建構人物關係網路
|
||||
|
||||
**包含**:
|
||||
- TKG Nodes: 人物/物品/对话节点
|
||||
- TKG Edges: 人物关系/共现关系
|
||||
- TKG Nodes: 人物/物品/對話節點
|
||||
- TKG Edges: 人物關係/共現關係
|
||||
|
||||
**应用**:
|
||||
- 人物识别
|
||||
- 关系分析
|
||||
- 人脸搜索
|
||||
**應用**:
|
||||
- 人物識別
|
||||
- 關係分析
|
||||
- 人臉搜尋
|
||||
|
||||
---
|
||||
|
||||
## 🤖 阶段 3: 片段提取 (Moment Extraction)
|
||||
## 🤖 階段 3: 片段提取 (Moment Extraction)
|
||||
|
||||
**权重**: 6%
|
||||
**權重**: 6%
|
||||
|
||||
**功能**: AI 智能内容理解
|
||||
**功能**: AI 智慧內容理解
|
||||
|
||||
**包含**:
|
||||
- VLM Summary: 视频总结
|
||||
- Scene VLM: 场景理解
|
||||
- VLM Summary: 視訊總結
|
||||
- Scene VLM: 場景理解
|
||||
- Moment Chunks: 片段分割
|
||||
|
||||
**应用**:
|
||||
- 自然语言搜索
|
||||
- 关键场景定位
|
||||
- 智能问答
|
||||
**應用**:
|
||||
- 自然語言搜尋
|
||||
- 關鍵場景定位
|
||||
- 智慧問答
|
||||
|
||||
---
|
||||
|
||||
## 💾 阶段 4: 数据整合 (Integration)
|
||||
## 💾 階段 4: 資料整合 (Integration)
|
||||
|
||||
**权重**: 29%
|
||||
**權重**: 29%
|
||||
|
||||
**功能**: 数据入库和整合
|
||||
**功能**: 資料入庫和整合
|
||||
|
||||
**包含**:
|
||||
- Rule1: PostgreSQL 入库
|
||||
- Rule2: Qdrant 向量入库
|
||||
- Face Tracing: 人脸追踪
|
||||
- Face Dedup: 人脸去重
|
||||
- Rule1: PostgreSQL 入庫
|
||||
- 句子區塊
|
||||
- 關係資料
|
||||
|
||||
- Rule2: 向量入庫 (Qdrant)
|
||||
- 文字向量入庫
|
||||
- 說話人語音向量入庫 (VOD 實現)
|
||||
- 人臉向量入庫
|
||||
|
||||
**应用**:
|
||||
- 数据持久化
|
||||
- 快速查询
|
||||
- 跨视频关联
|
||||
- Face Tracing: 人臉追蹤
|
||||
- Face Dedup: 人臉去重
|
||||
|
||||
**應用**:
|
||||
- 資料持久化
|
||||
- 快速查詢
|
||||
- 跨視訊關聯
|
||||
|
||||
---
|
||||
|
||||
## 📈 进度计算
|
||||
## 📈 進度計算
|
||||
|
||||
**公式**:
|
||||
```
|
||||
总体进度 = 阶段1 × 30% + 阶段2 × 35% + 阶段3 × 6% + 阶段4 × 29%
|
||||
總體進度 = 階段1 × 30% + 階段2 × 35% + 階段3 × 6% + 階段4 × 29%
|
||||
```
|
||||
|
||||
**示例**:
|
||||
**範例**:
|
||||
```
|
||||
✓ Processors: 100% → 30%
|
||||
✓ Knowledge Graph: 100% → 35%
|
||||
○ Moment Extraction: 50% → 3%
|
||||
○ Integration: 0% → 0%
|
||||
|
||||
总体 = 68%
|
||||
總體 = 68%
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 🔄 依赖关系
|
||||
## 🔄 依賴關係
|
||||
|
||||
```
|
||||
处理器 → 知识图谱 → 片段提取 ┐
|
||||
├→ 数据整合
|
||||
處理器 → 知識圖譜 → 片段提取 ┐
|
||||
├→ 資料整合
|
||||
┘
|
||||
```
|
||||
|
||||
@@ -120,11 +125,30 @@
|
||||
|
||||
## 📌 使用提示
|
||||
|
||||
1. **查看进度**: Library → 右键 → Pipeline Progress
|
||||
2. **状态图标**: ✓ (完成) ○ (处理中) ✗ (失败) ○ (等待)
|
||||
3. **处理顺序**: 按阶段依次执行
|
||||
4. **失败处理**: 查看日志,检查资源,重新处理
|
||||
1. **查看進度**: Library → 右鍵 → Pipeline Progress
|
||||
2. **狀態圖標**: ✓ (完成) ○ (處理中) ✗ (失敗) ○ (等待)
|
||||
3. **處理順序**: 按階段依次執行
|
||||
4. **失敗處理**: 查看日誌,檢查資源,重新處理
|
||||
|
||||
---
|
||||
|
||||
**详细说明**: `docs/PIPELINE_STAGES_EXPLANATION.md`
|
||||
## 🔍 向量入庫說明
|
||||
|
||||
### 文字向量入庫
|
||||
- 句子嵌入向量
|
||||
- 語意搜尋
|
||||
- 相似文字匹配
|
||||
|
||||
### 說話人語音向量入庫 (VOD 實現)
|
||||
- 說話人嵌入向量
|
||||
- 說話人識別
|
||||
- 跨視訊說話人追蹤
|
||||
|
||||
### 人臉向量入庫
|
||||
- 人臉嵌入向量
|
||||
- 人臉相似度搜尋
|
||||
- 人臉身分識別
|
||||
|
||||
---
|
||||
|
||||
**詳細說明**: `docs/PIPELINE_STAGES_EXPLANATION.md`
|
||||
Reference in New Issue
Block a user