现场流已经成为一种流行的互联网文化。Tiktok和Twitch等平台每月有60至1.4亿个活跃用户。
实际上，任何人都可以在这些平台上流式传输内容，这使得由于看似平凡且冗长的视频的庞大数量，发现史诗般和有趣的时刻具有挑战性。
In a new study published inEPJ数据科学，，，，we show how artificial intelligence (AI) can help human editors quickly spot interesting segments of live streaming content.
该决定是根据聊天消息中的受众反应，视频帧，视图计数和流媒体信息共同做出的。其中，表情符号和观众反应是指导AI算法的关键组成部分。
Deep learning is used to learn features of epic moments from multi-modal data to suggest interesting video segments with various contexts including victory, funny, awkward, and embarrassing moments.
当通过用户研究进行测试时，该AI建议与发现史诗般的时刻时的专家建议相当。
使用推荐的剪辑作为指导数据
要训练该算法，我们需要指导代表“史诗般的”的指导数据。在Twitch上，有手动构造的“剪辑”或Twitch的亮点为5至60秒长的段，由流媒体和观众贡献。
图1显示了持续11分55秒的直播内容的示例。该内容的两个部分被推荐的“剪辑”突出显示，每次运行53秒和30秒。
第二个剪辑达到了170,000多个观看次数，表明更多的史诗般。该图还显示了对那些选择的视频片段的用户反应。表情符号或抽搐特定的表情符号通常在聊天中表达。
我们收集了200万用户推荐的剪辑和相关的用户对话，以了解史诗时刻的成分。我们的作品将史诗般的时刻定义为长期视频内容的愉快咬合大小的摘要。
史诗般的时刻s are similar to video highlights in that they are both short summaries of long videos, yet the two function differently. Epic moments represent “enjoyable” moments whereas highlights are “informative” in nature.
Social signals as a cue for epic moments
我们发现情绪和用户反应在寻找史诗般的时刻中起着至关重要的作用。
图2显示了在用户聊天中出现在t-Distribed随机邻居嵌入（T-SNE）上的二维空间上的情绪中的聚类结果。
The color indicates a cluster’s category and the plot presents five example word tokens closest to each emote cluster. We can see similar-looking emotes function as emotional expressions on Twitch.
这些见解用于构建一个具有可解释性（MINT）的多模式检测的深度学习模型，该模型合并和分析了诸如聊天，视频元数据和查看计数之类的关键功能。
这三个领域的综合特征捕获了史诗时刻的不同方面，并结合了这些提示会导致更好的预测。
A user study also confirmed that the algorithmic suggestions are judged as enjoyable as human-recommended clips.
Furthermore, the algorithmic suggestions span various contexts such as failing game moments, funny dance moves, a surprising comeback during the game, and non-game moments, as shown in Figure 3.
相比之下，大多数人类建议都包含游戏获胜时刻。
As a growing population spends time watching live streaming content on the Internet, AI suggestions can help the editors and viewers discover epic moments.
Researchers interested in the codes for the MINT algorithm and the clip data set for training can find more information on our GitHub pagehttps://github.com/dscig/twitch-highlight-detection
Comments