Netflix
台剧《模仿犯》爆红，短短7天就抢进20国影剧热榜，不只日本、越南，连乌拉圭人、希腊人、阿拉伯人都爱看。如何吸引连台湾都没听过的异国观众，也想打开陌生的剧集，Netflix正是靠ML技术打造出超强的影音行销力。
Netflix擅长将一个本土影集推向全球性市场，甚至可以成为不同国家的热门剧集。成功爆红的关键，除了这些本土影集自身的戏剧性和内容富有高度吸引力之外，还有一个少为人谈到的科技关键，就是Netflix善用ML技术来强化的超强影音行销能力。
以《模仿犯》来说，上线一周就登上三大洲20多国的Top10排行榜，不只日本、越南，连乌拉圭人、希腊人、阿拉伯人都爱看。
但是，对阿拉伯人来说，台湾的语言、文化、社会场景、过去历史，都可能是非常陌生，甚至是过去从没接触过的国家的故事，却仍然可以成功抢下这群异国观众的眼球，甚至成为铁粉。
短短一周内，就吸引到数十国观众的目光，甚至是语言、文化截然不同的国家，《模仿犯》不是第一例，Netflix先前推出的西班牙剧《纸房子》、韩剧《鱿鱼游戏》都是快速在全球窜红的该国本土剧集。为什麽Netflix有能力让同国家的观众，愿意打开观看一个来自陌生国度的陌生影集呢？
早在2014年，Netflix自家研究就发现，观众停留在每一个影集封面的时间只有1.8秒，如果90秒没有看到想看的影片，就会离开网站。观众看到影集封面的第一眼，更是吸引观众打开影片的第一步，不只标题文字，图片搭配得当，更是能大大提高观众打开陌生影集的意愿，从此Netflix就致力於找出每一个人各自想看的影集封面，而不是一张可以吸引所有人的最佳封面设计。
机器学习团队的目标是1亿种个人化的产品
「不是1种，而是1亿种不同个人化推荐和个人化视觉设计的产品。」这就是Netflix机器学习产品团队想要达到的目标，这背後结合了许多不同类型的个人化推荐演算法。
当你打开Netflix首页，不只能看到了依据过去习惯量身推荐的影片，每一部影片的封面更是高度个人化客制的设计。每一个国家、不同类型观众，甚至是每一个人看到的封面，都可能不一样。Netflix的目标是可以据观众喜好、吸睛关键，量身打造每一只影片的登场方式。这正是Netflix用来吸引全球观众，愿意打开陌生影集的密技。
每年上千支新影片，靠ML快速打造出每一只的专属行销素材
Netflix一年会推出上千部新的剧集和影片，每一只影片都会设计一套客制化的封面设计和宣传短片，在全球寻找对这支影片有兴趣的铁粉。
行销团队的第一个挑战就是，就算对方完全没听过台湾，也要靠这套客制化宣传素材，来吸引他们打开影片观看，接着就是靠影片的内容魅力，让这群对影片陌生的观众，变成铁粉。
Netflix行销团队中有一群经验老道的创作团队，负责准备这些宣传素材，Netflix的AI团队的任务，就是要用机器学习技术打造工具，来强化这个创作团队的创造力。
举例来说，前面提到高度客制化的封面只是机器学习技术的牛刀小试，更重要的是，如何判断哪些封面元素、设计风格才是吸引观众目光的原因。
Netflxi利用机器学习技术，发展出了一套因果分析框架，可以结合用户的浏览和收看大数据，结合个人化推荐系统中产生分析洞察，让创作团队可以更掌握每一类观众的特性，也能知道不同吸睛元素对不同观众的影响程度，来设计更有效果的宣传封面素材，提供给个人化自动推荐系统使用。
Netflix大量运用各种ML技术，尤其是电脑视觉AI，例如可以用ML辨识出《艾蜜莉在巴黎》其中一个镜头中，女主角站在面包店门口，嘟着嘴和友人正在自拍，等这类场景丰富语意的资讯，而且还能将这些资讯数值化，归纳出不同场景属性上的强度分数，例如愉快程度60分，眼睛张开指数40分，嘴角微翘指数30分等。图片来源／Netflix
用ML打造影音理解模型，深度剖析出影片各种语意特徵
不只如此，Netflix还持续开发一系列的影音理解模型，可以用来深度剖析出影片的内容特色，例如进行特徵分类、找出故事线、辨识情感、辨识影片拍摄手法等，再结合到时间编码，就能让创作团队更有效率设计出吸引人的预告片或精华短片，再进一步结合个人化推荐系统累积的用户大数据，来向不同顾客行销。
以《艾蜜莉在巴黎》这部热门影集为例，可以在一个女主角和朋友自拍镜头的画面截图中，辨识出女主角的心情很愉快，正在嘟嘴，嘴巴略开，眼睛微张，而自拍的拍摄地点则位於面包店门口等等，ML可以自动辨识出这类场景丰富语意的资讯，而且还能将这些资讯数值化，归纳出不同场景属性上的强度分数，例如愉快程度60分，眼睛张开指数40分，嘴角微翘指数30分等。
这些透过电脑视觉模型得到的影片深度理解分析，可以成为进一步应用的关键基础。例如可以用来搜寻同样场景、同样语意、同样对白的段落，甚至快指定镜头效果，或画面构成方式，例如都是主角正面中距离镜头，来快速搜寻出符合的影片段落，作为剪接之用。
甚至，Netflix机器学习团队还打造出了自动匹配剪接工具，透过不同匹配演算法，可以自动找到在不同影集中的同类镜头或同样场景的段落，自动剪接这些镜头，生成一只预告短片。甚至可以进行光流分析（Optical Flow），分析画面中每一个像素的移动形式，来找组同类画面移动方式的段落，例如都是由左到右的移动镜头，组合成一段同样镜头移动方向，但是可以切换不同段落的动作短片。
不只是资料科学挑战，更是资料工程的难题
不过，要运用ML实现这样高度自动化的匹配剪接，不是一件容易的事，因爲这不只是一个资料科学的挑战，也是一个资料工程的难题。
因为一支影片平均有2,000个镜头。光是要从中比对出两个同样场景（例如都是主角转头）的镜头，就需要2百万次比对，若是要跨多部影片，例如Netflix曾要从上百部影片的12万个镜头来剪接精华介绍短片，就得面对82亿次的庞大比对任务。
透过不同的重复镜头与重复画面删除演算法，结合标注机制，大幅减少到1万多个高度相关镜头，最後只需要进行约2万次比对就能找到合适的组合。
Netflix会将这些各式各样的ML应用或相关技术工具，尽可能运用到不同场景或应用情境，甚至能跨越截然不同的应用领域，也可能使用到同样的技术，例如Netflix的维运团队管理大量微服务的标注工具，後来竟然变成了可以标记大量影片後设标签的通用标注平台，IT工具变成了创意辅助工具。
甚至，Netflix现在也正在运用VFX特效工具和特效演算法，要打造一套更好用的电影虚拟制作工具，可以提供一个虚拟片场环境，将各种数位化的3D角色，数位场景物件，摆放到这个虚拟片场模拟的环境中，进行模拟拍摄，目前还是雏形版本阶段。
借助这些幕後的关键机器学习技术和AI工具，行销团队都能轻易将任何一部本土剧集，打包成通吃全球各国观众的行销形式。只要剧集够精彩，Netflix就能找到打动各国观众的吸睛方式。这正是Netflxi超强影音行销背後的技术秘诀。
相关报导