媒体处理
有奖捉虫：行业应用 & 管理与支持文档专题 HOT
文档中心 > 媒体处理 > 开发指南 > 视频 AI > 视频内容分析

视频内容分析

最近更新时间：2024-04-01 09:44:31

我的收藏

本页目录：

视频内容分析是一项使用 AI 对视频内容进行智能分析的功能。对视频执行内容分析任务后，执行结果会对视频分类、打标签及截取封面等给出智能建议，帮助视频平台准确高效地管理视频。内容分析的项目涵盖了分类、标签、封面和按帧标签，具体如下表所示。
功能名称
说明
智能分类
对视频所属的分类给出建议，目前有十余个类别，例如：
新闻、娱乐、游戏、科技、美食、体育、旅行、动漫、舞蹈、音乐、影视及汽车等。
智能标签
对视频可以打上的标签给出建议，目前共有3000余种标签，例如：
游戏、交通工具、音乐家、赛车、宠物、架子鼓、自行车、魔兽世界、电脑、学校及夹克等。
智能封面
从视频中选出一张或几张截图，作为推荐采用的封面。
智能按帧标签
为视频逐帧画面，给出打标签的建议，目前共有1000余种标签，例如：
现代舞、水上运动、牛排、宝宝、小猫、一年生植物、驱逐舰、漫画、草坪、婚纱、多功能厅及护照等。

视频内容分析模板

通过视频内容分析参数，可以控制分析任务具体执行哪几项分析操作。MPS 使用视频内容分析模板来表示智能分析参数集合：
是否启用智能分类
是否启用智能标签
是否启用智能封面
是否启用智能按帧标签
针对常见的操作组合，MPS 提供了 预置视频内容分析模板。另外，您还可以调用 服务端 API 创建和管理自定义视频内容分析模板。

任务发起

发起视频内容分析任务，有“通过 API 主动发起”和“通过上传自动触发”两种方式。
通过 API 主动发起：调用 发起媒体处理 接口，请求中的AiAnalysisTask参数指定 视频内容分析模板 的模板 ID。
通过上传自动触发：在控制台 创建工作流 并开启内容分析，然后向工作流绑定的触发目录上传视频。

结果获取

发起视频内容分析任务后，您可以通过同步进行 查询任务 和异步等待 结果通知 两种方式获取视频内容分析任务的执行结果。
下面是发起内容分析任务后，以“查询任务”方式获取的结果示例（省略了值为 null 的字段）：
{
    "TaskType":"WorkflowTask",
    "Status":"FINISH",
    "CreateTime":"2019-07-16T06:21:27Z",
    "BeginProcessTime":"2019-07-16T06:21:28Z",
    "FinishTime":"2019-07-16T06:21:46Z",
    "WorkflowTask":{
        "TaskId":"2356768367-WorkflowTask-2e1af2456351812be963e309cc133403t0",
        "Status":"FINISH",
        "InputInfo":{
            "Type":"COS",
            "CosInputInfo":{
                "Bucket":"MyVideoBucket-235303****",
                "Region":"ap-beijing",
                "Object":"/input/AnimalWorld.mp4"
            }
        },
        "MetaData":{
            "AudioDuration":60,
            "AudioStreamSet":[
                {
                    "Bitrate":383854,
                    "Codec":"aac",
                    "SamplingRate":48000
                }
            ],
            "Bitrate":1021028,
            "Container":"mov,mp4,m4a,3gp,3g2,mj2",
            "Duration":60,
            "Height":480,
            "Rotate":0,
            "Size":7700180,
            "VideoDuration":60,
            "VideoStreamSet":[
                {
                    "Bitrate":637174,
                    "Codec":"h264",
                    "Fps":23,
                    "Height":480,
                    "Width":640
                }
            ],
            "Width":640
        },
        "MediaProcessResultSet":[
?
        ],
        "AiContentReviewResultSet":[
?
        ],
        "AiAnalysisResultSet":[
            {
                "Type":"Classification",
                "ClassificationTask":{
                    "Status":"SUCCESS",
                    "ErrCode":0,
                    "Message":"",
                    "Input":{
                        "Definition":10
                    },
                    "Output":{
                        "ClassificationSet":[
                            {
                                "Classification":"动物",
                                "Confidence":80
                            },
                            {
                                "Classification":"旅行",
                                "Confidence":34
                            }
                        ]
                    }
                }
            },
            {
                "Type":"Cover",
                "CoverTask":{
                    "Status":"SUCCESS",
                    "ErrCode":0,
                    "Message":"",
                    "Input":{
                        "Definition":10
                    },
                    "Output":{
                        "OutputStorage":{
                            "Type":"COS",
                            "CosOutputStorage":{
                                "Bucket":"MyVideoBucket-235303****",
                                "Region":"ap-beijing"
                            }
                        },
                        "CoverSet":[
                            {
                                "CoverPath":"/xxx/xxx/xxx1.jpg",
                                "Confidence":79
                            },
                            {
                                "CoverPath":"/xxx/xxx/xxx2.jpg",
                                "Confidence":70
                            },
                            {
                                "CoverPath":"/xxx/xxx/xxx3.jpg",
                                "Confidence":66
                            }
                        ]
                    }
                }
            },
            {
                "Type":"Tag",
                "TagTask":{
                    "Status":"SUCCESS",
                    "ErrCode":0,
                    "Message":"",
                    "Input":{
                        "Definition":10
                    },
                    "Output":{
                        "TagSet":[
                            {
                                "Tag":"马",
                                "Confidence":34
                            },
                            {
                                "Tag":"鸟",
                                "Confidence":27
                            },
                            {
                                "Tag":"植物",
                                "Confidence":13
                            },
                            {
                                "Tag":"海滩",
                                "Confidence":11
                            }
                        ]
                    }
                }
            }
        ],
        "AiRecognitionResultSet":[
?
        ]
    },
    "TasksPriority":0,
    "SessionId":"",
    "SessionContext":"",
    "RequestId":"xxx-xxx-xxx"
}
回调结果中，ProcedureStateChangeEvent.AiAnalysisResultSet有Type为Classification、Cover和Tag三种类型的分析结果，分别代表视频智能分类、视频智能封面和视频智能标签。
Type为Classification的结果显示，Output.ClassificationSet置信度最高的分类是动物，其次的分类则是旅行。
Type为Cover的结果Output.CoverSet，给出了3个建议采用的封面，CoverPath是对应封面输出的位置。
Type为Tag的结果Output.TagSet，给出了4个视频建议采用的标签，按照置信度从高到低排列。
中国站


http://www.vxiaotou.com