Runway(AI机器人训练软件)

　　Runway提供机器人训练功能，可以帮助用户在软件训练自己的机器人，让软件帮助用户生成你需要的模型，可以在软件建立模型，可以添加图像或者是影像到软件使用，可以使用AI机器人识别图像，将图像内容精准识别为模型，也可以对影像中的人物动作模拟，快速建立模型，也提供文字自动生成功能，借助AI技术模拟文字输入，让软件帮助你自动打字，自动编辑文本，支持深度纹理创建，使用机器学习来创建具有纹理和法线数据的意外材料，软件功能丰富，可以在软件查看模型资源，可以在软件加载新的内容创建模型，如果你需要就下载吧！

软件功能

　　训练自己的AI模型无需编写任何代码！

　　1、影像合成

　　训练图像生成器（GAN）并创建一个模型，该模型可以合成无尽的图像和资产

　　2、物体检测新

　　建立自己的对象检测模型，并探索与媒体交互的新方法。

　　3、文字产生

　　创建一个可自定义的文本生成器，并探索无限的方式来创建新的叙述

　　影像合成

　　轻松训练和定制您自己的机器学习模型（GAN）以生成新图像。

　　无需代码

　　1、使用自定义数据集

　　带上自己的图像集或使用公共数据集。

　　2、探索潜在空间

　　发现并浏览生成的图像。

　　3、合成媒体

　　创建插值视频或生成无尽的新资产。

　　查看使用Runway的Image Synthesis功能构建的一些项目

　　1、深纹理

　　使用纹理和法线数据创建意外的材料。

　　2、FromFran:陶瓷

　　发现手工陶瓷的新形式,形状和图案。

　　3、机器学习字体

　　一种生成字体,可对数千种字体设计进行培训。

　　物体检测

　　建立自己的对象检测模型，以识别图像或视频中的任何对象，场景或元素。

　　1、导出选项

　　检测图像，视频和数据（.csv）中的自定义对象

　　2、自动化批处理任务

　　裁剪选定的对象并整理媒体。

　　3、通过API访问

　　在线托管模型并可以从任何地方访问它。

　　4、电影追踪

　　根据场景中人物的存在来提取有关电影的有意义的数据

　　5、观鸟

　　使用您自己的图像创建自定义的鸟类分类器,以检测任何种类的鸟类。

　　6、运动分析

　　训练模型以跟随任何体育视频中的特定玩家或元素。

　　文字产生

　　从您自己的文档和文本文件创建基于文本的生成模型

　　1、多文件支持

　　使用单个文件或多个文本文件进行训练。

　　2、批量生成

　　根据需要生成尽可能多的文本迭代。

　　3、通过API访问

　　托管模型并从任何地方访问它。

　　4、创建一个 Slack机器人

　　直接在 Slack中训练您自己的语言模型并创建一个机器人。

　　5、广告活动生成器

　　在数千个广告系列中训练文本模型,并使用它生成新案例。

　　6、脚本生成

　　建立可以根据自定义提示编写和响应脚本的语言模型。

　　开始训练

　　注册创建自己的模型

软件特色

　　下一代创意工具包

　　瑞士军刀的机器学习

　　快速原型化您的机器学习项目。发现功能和扩展不断增长的集合。

　　机器学习变得直观专注于创造通过简单的拖放界面探索最先进的机器学习。

　　型号目录

　　找到您需要的模型

　　在RunwayML的模型目录中发现新的机器学习模型。

　　表达接口

　　处理各种输入和输出

　　与图像，视频，文本，潜在空间，分割蒙版进行交互

　　使机器学习更具包容性

　　1、无需编码

　　无需编写任何代码即可将最先进的机器学习功能添加到您的工作流程中。

　　2、无需硬件

　　运行功能强大的模型而不必担心系统要求。

　　3、通过设计可扩展

　　RunwayML的插件体系结构使将其轻松连接到您喜欢的创意软件变得容易。

　　增强创造力改善您现有的工作流程

　　RunwayML尝试适应而不是替代您已经构建的方式。它可以与各种格式和软件完美配合。

　　资产经理

　　携带自己的数据

　　导入文件并使用Assets Manager快速处理它们。

　　准备好出发

　　导出结果

　　从一系列导出格式（MP4，CSV，JSON，JPG等）中进行选择。将结果导入您喜欢的软件。

安装方法

　　1、打开Runway0.13.1.exe软件直接启动安装

　　2、软件的安装地址可以自己设置，点击下一步

　　3、提示软件的安装进度界面，等待软件安装结束

　　4、Runway运行完毕，点击完成就可以打开主程序

使用方法

　　1、启动Runway提示登录界面，输入自己的账号就可以进入主程序界面

　　2、点击Create an account可以申请一个新的账号

　　3、提示输入邮箱地址，你需要通过邮箱注册这款软件，例如通过QQ邮箱注册

　　4、显示用户名字和密码输入功能，随便输入账户名字和密码

　　5、提示用户昵称设置界面，输入自己的姓氏、名字

　　6、提示邮箱验证码输入，打开邮箱软件，检测官方发送的验证码

　　7、如图所示，在邮件找到验证码复制到Runway软件粘贴就可以激活账号

　　8、提示账号激活成功，现在可以正常访问Runway

　　9、软件启动引导界面如图所示，可以选择查看模型

　　10、可以在软件上查看图像资源，如果你看懂英文应该知道如何使用

　　11、最新发布的《天桥风云》引入了一个新的实验特性:你现在可以使用一个机器学习模型的输出作为另一个机器学习模型的输入

　　12、选择输入源

　　选择要使用的来源，自适应样式转移

使用说明

　　这里精选了一些特别美丽的纹理和法线贴图

　　播放/模型在跑道上发布

　　动机：

　　作为产品设计师实践的一部分，我广泛使用了CAD和3D软件包，因此我个人发现创建新材料的任务既繁琐又可预期，没有令人惊讶的因素。另一方面，在我与GAN和基于图像的ML工具一起玩的过程中，我发现了一个发现因素，使我在探索未知事物的同时也能获得许多不错的发现。

　　因此，我们如何使用GAN创建新的3D材料？

　　概念证明：

　　为了测试ML生成的3D材质的外观，我通过StyleGAN 运行了1000张葡萄牙Azulejo Tiles图像集合，以生成视觉上相似的图块。结果出奇的好，因此这似乎是一个很好的方向。

　　下一步是为生成的图像添加深度。

　　3D包可以读取BW数据并将其渲染为高度变换（凹凸贴图），如果使用与纹理相同的图像来完成，结果可以，但不准确，因为饱和度相似的不同颜色将以相同的高度显示：( 。

　　因此，我不得不找到一种转换工具来识别/细分瓷砖的哪一部分被压花或挤压以添加一些高度细节。

　　为了增加这些图块的深度，我通过DenseDepth模型对其中的一些图块进行了深度处理，并获得了作为灰度图像的深度图，这并不准确，这可能是因为该模型是使用空间场景（室内和室外）训练的，但是结果很漂亮，并且有趣。

　　方法

　　最初的想法是获取由纹理图像（漫反射）及其对应的法线贴图（用于伪造凹凸点和凹痕的技术）组成的数据集。法线贴图通常存储为常规RGB图像，其中RGB分量对应于X ，法线的Y，Z坐标）。

　　然后通过StyleGAN运行这些图像。

　　理想的情况是在学习时让两个StyleGAN互相交谈，以便他们知道哪个法线贴图与哪个纹理相关...但是，这样做超出了我目前的知识。

　　一种解决方法是将Diffuse + Normal纹理缝制/合并到单个图像中，并通过StyleGAN运行它，希望它能理解每个图像有两个不同且相对应的侧面，从而生成带有两侧...以便稍后拆分它们，以获取生成的漫反射和相应的生成法线。

　　但是首先，我需要查看该模型是否能够从包含砖，毛皮，木材，泡沫的高度多样化的数据集中生成扩散纹理图像（可能是，与Azulejo一样，但是需要进行测试） 。

　　漫反射纹理生成

　　选择的数据集是可描述纹理数据集（DTD），它是一个纹理数据库，由5640张图像组成，并根据从人类感知启发而来的47个术语（类别）列表进行了组织。每个类别有120张图像。

　　考虑到某些类别具有令人迷惑的纹理，这些纹理不是“全帧”而是出现在对象或上下文中，因此结果出奇地一致且丰富。即：“雀斑”，“头发”或“泡沫”。

　　可描述的纹理数据集（DTD）

　　法线贴图生成

　　由于存在大量可供出售的纹理，但是缺乏可自由访问的纹理，因此找到一个好的法线贴图数据集一直是一项挑战。最初，我尝试刮擦一些包含自由纹理的站点，但是要收集数百个纹理需要太多的精力。

　　第一次测试是使用具有渲染感知深度网络项目的单图像SVBRDF Capture 提供的 数据集进行的。从这个[85GB压缩]数据集中，我裁剪并分离了2700个法线贴图图像的子集，以供StyleGAN训练使用。

　　扩散+法线贴图单图像StyleGAN训练。

　　现在，我知道StyleGAN能够独立生成漂亮的纹理和漂亮的法线贴图，但是我需要法线贴图与扩散信息相关。由于在训练时我无法让两个伴奏者互相交谈，因此我选择在一个图像中组成一个包含漫反射和法线贴图的数据集。

　　这次，我选择cc0textures，它具有良好的PBR纹理存储库，并提供了可用于通过wget下载所需文件的csv信息。

　　生成的图像很漂亮，并且可以按预期工作。

　　StyleGAN能够理解图像的两面非常不同，并且在生成内容时要尊重它们。

　　有用！法线贴图看起来不错，并且对应于漫反射特征。

　　如果？…

　　使用图像对生成的漫反射图像有些微弱且无趣，因为源数据集不像DTD那样明亮且变化多端。但不幸的是，DTD没有关联的法线贴图。:(

　　我想要丰富的漫反射纹理和相应的法线贴图……

　　从源漫反射纹理生成法线贴图

　　我必须找到一个水管才能将任何给定的图像转换为某种可以正常工作的法线贴图。为此，我测试了Pix2Pix （使用条件对抗网进行图像到图像的转换）以及为先前实验所组成的图像对。

　　我用790张图像在本地进行了训练，经过32小时的训练，我得到了一些不错的结果：

　　Pix2Pix生成任何给定纹理的一致法线贴图。

　　链接模型

　　工作流程思路：

　　Diffuse from StyleGAN -> input to Pix2Pix -> generate the corresponding normal map

　　首先，我不得不将Pix2Pix训练过的模型移植到Runway。[ 按照以下步骤 ]。

　　然后，我将StyleGAN的输出用作Pix2Pix输入。

　　帮助下布兰农多尔西和下面的这个梦幻般的教程由丹尼尔Shiffman，我们能够运行P5js为StyleGAN草图生成randomGaussian载体，并使用该输出养活Pix2Pix并产生正常的地图。

　　创建托管模型：可以在RunwayML中的多个位置创建托管模型。首先是任何模型的“模型信息”视图。

　　也可以从工作区中模型的网络> HTTP选项卡中创建托管模型。

　　选择托管模型后，将出现如下屏幕。在这里，您可以配置托管模型的参数，并为其指定一个唯一的子域。托管模型子域在所有Runway用户中必须是唯一的，因此，如果发现输入的子域已被占用，请尝试一些变体。

　　创建托管模型后，它们将出现在“托管模型”选项卡中。在这里，您可以管理所有托管模型并查看使用情况统计信息。默认情况下，托管模型是激活的，它们可以在创建后立即开始接收请求。单击表右侧的图标以查看示例代码段，并立即开始在项目中使用托管模型。