算法暗示了现场直播中的史诗般的时刻

如何在实时视频内容中发现令人难忘或“史诗般的”时刻?Meeyoung Cha和Kunwoo Park谈论他们最近出版的作品EPJ数据科学它使用深度学习模型来识别这种史诗般的时刻。

现场流已经成为一种流行的互联网文化。Tiktok和Twitch等平台每月有60至1.4亿个活跃用户。

实际上,任何人都可以在这些平台上流式传输内容,这使得由于看似平凡且冗长的视频的庞大数量,发现史诗般和有趣的时刻具有挑战性。

In a new study published inEPJ数据科学,,,,we show how artificial intelligence (AI) can help human editors quickly spot interesting segments of live streaming content.

该决定是根据聊天消息中的受众反应,视频帧,视图计数和流媒体信息共同做出的。其中,表情符号和观众反应是指导AI算法的关键组成部分。

Deep learning is used to learn features of epic moments from multi-modal data to suggest interesting video segments with various contexts including victory, funny, awkward, and embarrassing moments.

当通过用户研究进行测试时,该AI建议与发现史诗般的时刻时的专家建议相当。

使用推荐的剪辑作为指导数据

要训​​练该算法,我们需要指导代表“史诗般的”的指导数据。在Twitch上,有手动构造的“剪辑”或Twitch的亮点为5至60秒长的段,由流媒体和观众贡献。

图1显示了持续11分55秒的直播内容的示例。该内容的两个部分被推荐的“剪辑”突出显示,每次运行53秒和30秒。

图1.实时流媒体的有趣片段被突出显示为两个单独的剪辑,每个剪辑获得了21次观看次数和17万视图。通过收集这些剪辑,我们可以构建一种算法以自动检测史诗般的时刻。
© The Authors (2021)

第二个剪辑达到了170,000多个观看次数,表明更多的史诗般。该图还显示了对那些选择的视频片段的用户反应。表情符号或抽搐特定的表情符号通常在聊天中表达。

我们收集了200万用户推荐的剪辑和相关的用户对话,以了解史诗时刻的成分。我们的作品将史诗般的时刻定义为长期视频内容的愉快咬合大小的摘要。

史诗般的时刻s are similar to video highlights in that they are both short summaries of long videos, yet the two function differently. Epic moments represent “enjoyable” moments whereas highlights are “informative” in nature.

Social signals as a cue for epic moments

我们发现情绪和用户反应在寻找史诗般的时刻中起着至关重要的作用。

图2显示了在用户聊天中出现在t-Distribed随机邻居嵌入(T-SNE)上的二维空间上的情绪中的聚类结果。

The color indicates a cluster’s category and the plot presents five example word tokens closest to each emote cluster. We can see similar-looking emotes function as emotional expressions on Twitch.

图2.每个集群的示例情绪和相关文本。每个emote嵌入向量(上)和示例情绪和相关文本令牌(下)的群集表示图。表示形式由T-SNE绘制,相关令牌是由符号群和单词向量之间的距离选择的。
© The Authors (2021)

这些见解用于构建一个具有可解释性(MINT)的多模式检测的深度学习模型,该模型合并和分析了诸如聊天,视频元数据和查看计数之类的关键功能。

这三个领域的综合特征捕获了史诗时刻的不同方面,并结合了这些提示会导致更好的预测。

A user study also confirmed that the algorithmic suggestions are judged as enjoyable as human-recommended clips.

Furthermore, the algorithmic suggestions span various contexts such as failing game moments, funny dance moves, a surprising comeback during the game, and non-game moments, as shown in Figure 3.

图3.关于史诗矩的算法建议的示例。薄荷模型可以发现(a)失败,(b)有趣,(c)胜过和(d)非游戏时刻。
© The Authors (2021)

相比之下,大多数人类建议都包含游戏获胜时刻。

As a growing population spends time watching live streaming content on the Internet, AI suggestions can help the editors and viewers discover epic moments.

Researchers interested in the codes for the MINT algorithm and the clip data set for training can find more information on our GitHub pagehttps://github.com/dscig/twitch-highlight-detection

查看有关物理科学主页上的最新帖子

Comments