使用 Lambda 与 SQS
note
这个过程存在一个缺陷：队列会在触发渲染时立即继续，而不是在渲染完成时继续。这意味着渲染不会按顺序执行。我们正在研究改进的 Lambda 排队策略版本，同时请注意这种行为。
本指南将向您展示如何使用 Amazon SQS（简单队列服务）和 Remotion 的 renderMediaOnLambda() API。
队列用于暂停请求，以便底层资源能够满足需求。由于 AWS Lambda 受到并发限制的影响，您可以使用 SQS 在后台排队渲染，并通过发送电子邮件或使用其他通知方式通知用户渲染过程何时完成。
为了补充本指南，已创建了两个项目：
- remotion-app 包含 Remotion 组合和用于在 AWS 中部署和删除 Remotion Lambda 基础设施的实用脚本。请注意，这与Serverless Framework 指南中的应用程序相同 。
- apigw-sqs-app（API Gateway SQS）包含一个 CDK 项目，部署了两个 Lambda 函数。enqueue-function 函数在调用时将用户发送的 JSON 数据排入队列；这可以是 Remotion Lambda 函数的输入有效负载。render-lambda-function 函数监听来自 SQS 的排队消息，处理并渲染视频。
enqueue-function被配置为通过API Gateway调用，并由Cognito进行保护。API Gateway和Cognito的设置是由CDK Stack在执行cdk deploy时自动创建的。
本指南假定您具有使用CDK与TypeScript和AWS SQS知识的知识。AWS云开发工具包（CDK）已被选择用于提供基础设施，因为它是来自AWS的官方库。
remotion-app
- 请按照remotion-app指南中的相同设置说明进行操作，因为我们将重复使用该应用程序。
apigw-sqs-app
在以下步骤中，Lambda函数enqueue-function和render-lambda-function将部署到您的AWS帐户。本指南旨在在您的本地计算机上执行。
该项目将创建CDK堆栈定义的所有资源，包括为项目的身份验证和授权系统设置Cognito，上传Lambda代码，生成并关联IAM角色到您的AWS帐户。
先决条件
- 在您的本地计算机上具有AWS部署配置文件，以配置AWS部署配置文件。
- 创建名为
remotion-executionrole-policy的AWS策略，该策略是从此指南创建的。 - AWS CDK应在您的本地计算机上全局安装。如果尚未完成，请按照 此处的“安装AWS CDK”部分的说明进行操作。
设置
1. 克隆或下载项目
该项目可以在 remotion-serverless 项目 找到。如果在上一步没有完成，请使用以下命令克隆项目：
bash
bash
2. 进入 remotion-serverless 并切换到 apigw-sqs-app 目录
bash
bash
3. 安装依赖项
- npm
- yarn
- pnpm
bash
bash
bash
bash
bash
bash
4. 创建 Remotion 策略
- 如果尚未创建
remotion-executionrole-policy，请按照此 指南 进行设置。
remotion-executionrole-policy 是从 这里 引用的。CDK 堆栈为 render-lambda-function 创建了一个名为 remotion-executionrole-policy 的角色。
ts
ts
这将在 AWS 中创建一个名为 remotionSQSLambdaRole 的角色，并附加了 2 个策略：
service-role/AWSLambdaBasicExecutionRole授予 Lambda 函数与 CloudWatch 交互和记录信息的权限。此策略是 AWS 策略库的一部分。remotion-executionrole-policy策略授予 Lambda 函数与 Remotion Lambda 需要访问的 AWS 服务进行交互以渲染视频的权限。此策略与此 指南 中的策略完全相同。
5. 可选 - 合成
从 apigw-sqs-app 目录中，执行 cdk synthesize 命令。
bash
bash
这个命令将展示 CDK 将要在您的 AWS 账户中执行的 CloudFormation 模板。
6. 部署 apigw-sqs-app 项目
从 apigw-sqs-app 目录中，执行 cdk deploy 命令。
bash
bash
这将协调 CDK 栈中定义的资源的生成，这些资源是后台中的 CloudFormation 模板。
部署输出bash
部署输出bash
选择 'y' 作为提示的答案，CDK 将继续部署 Stack，其中包括 2 个函数。
最终输出bash
最终输出bash
部署将提供变量，如 apigw-sqs-app-stack.region、apigw-sqs-app-stack.userPoolClientId 和 apigw-sqs-app-stack.userPoolId。
8. 如果不再需要，从您的 AWS 账户中移除 apigw-sqs-app
从 apigw-sqs-app 目录中。
bash
bash
将 API Gateway、Remotion Lambda 和 SQS 结合在一起。
这些是有关 IAM 角色如何被函数使用以及如何启用 render-lambda-function 来消耗 SQS 消息的重要信息。
从 CDK 栈代码 中，以下是需要注意的重要部分。
- 该栈创建了一个名为
remotion_queue的队列。
创建队列js
创建队列js
-
remotion_queue授予 2 个 Lambda 函数与其交互的访问权限。每个单独的角色分配给其各自的 Lambda 函数。apiIntegrationRolejs// 👇 create the apiIntegrationRole roleconst apiIntegrationRole = new IAM.Role(this, 'api-integration-role', {assumedBy: new IAM.ServicePrincipal('lambda.amazonaws.com'),managedPolicies: [ManagedPolicy.fromAwsManagedPolicyName('service-role/AWSLambdaBasicExecutionRole',),],});apiIntegrationRolejs// 👇 create the apiIntegrationRole roleconst apiIntegrationRole = new IAM.Role(this, 'api-integration-role', {assumedBy: new IAM.ServicePrincipal('lambda.amazonaws.com'),managedPolicies: [ManagedPolicy.fromAwsManagedPolicyName('service-role/AWSLambdaBasicExecutionRole',),],}); -
此角色分配给
enqueue-function，以允许其写入 CloudWatch 日志。remotionSQSLambdaRolejs// 👇 create a role with custom nameconst renderFunctionLambdaRole = new Role(this, 'remotionSQSLambdaRole', {roleName: 'remotionSQSLambdaRole',assumedBy: new ServicePrincipal('lambda.amazonaws.com'),managedPolicies: [ManagedPolicy.fromAwsManagedPolicyName('service-role/AWSLambdaBasicExecutionRole',),ManagedPolicy.fromManagedPolicyName(this,'remotion-executionrole-policy','remotion-executionrole-policy',),],});remotionSQSLambdaRolejs// 👇 create a role with custom nameconst renderFunctionLambdaRole = new Role(this, 'remotionSQSLambdaRole', {roleName: 'remotionSQSLambdaRole',assumedBy: new ServicePrincipal('lambda.amazonaws.com'),managedPolicies: [ManagedPolicy.fromAwsManagedPolicyName('service-role/AWSLambdaBasicExecutionRole',),ManagedPolicy.fromManagedPolicyName(this,'remotion-executionrole-policy','remotion-executionrole-policy',),],}); -
render-lambda-function已被分配此角色，其中包括与 Cloudwatch 交互的访问权限以及根据remotion-executionrole-policy中指定的其他 AWS 服务的访问权限。授予队列访问权限js// 👇 Grant permission to publish to the queueremotionQueue.grantSendMessages(apiIntegrationRole);// 👇 grant permission to consume messages from the queueremotionQueue.grantConsumeMessages(renderFunctionLambdaRole);授予队列访问权限js// 👇 Grant permission to publish to the queueremotionQueue.grantSendMessages(apiIntegrationRole);// 👇 grant permission to consume messages from the queueremotionQueue.grantConsumeMessages(renderFunctionLambdaRole); -
允许渲染函数监听队列。
监听队列jsremotionRenderFunction.addEventSource(new SqsEventSource(remotionQueue, {batchSize: 1,maxBatchingWindow: Duration.minutes(5),reportBatchItemFailures: true, // default to false}),);监听队列jsremotionRenderFunction.addEventSource(new SqsEventSource(remotionQueue, {batchSize: 1,maxBatchingWindow: Duration.minutes(5),reportBatchItemFailures: true, // default to false}),);
与 API 交互
API 需要授权令牌才能与其交互。要获取令牌：
- 部署成功后，您将获得输出，例如
apigw-sqs-app-stack.region、apigw-sqs-app-stack.userPoolClientId和apigw-sqs-app-stack.userPoolId，用于与 Cognito 进行身份验证。 - 如果您没有需要用户登录的前端，您可以按照此 指南 为 API 创建用户和身份验证令牌。
从指南中，YOUR_USER_POOL_CLIENT_ID 是 apigw-sqs-app-stack.userPoolClientId，YOUR_USER_POOL_ID 是 apigw-sqs-app-stack.userPoolId，应按照步骤进行，直到检索到 IdToken。
基本 API URL 的格式为 https://25w651t09g.execute-api.ap-southeast-2.amazonaws.com/dev/enqueue，来自输出 apigw-sqs-app-stack.apiUrl。
触发视频生成请求
渲染视频bash
渲染视频bash
响应bash
响应bash
这将通过将 JSON 放入队列来启动视频的渲染请求。
在另一端，render-lambda-function 将通过 SQS 被通知有一个视频渲染请求，它将从渲染请求中消耗数据并根据指示生成视频，该函数执行 renderMediaOnLambda() 作为流程的一部分。
注意
- Remotion Lambda 的部署配置为仅部署到
ap-southeast-2地区，以简化项目，您可以在region.ts中的代码中进行调整。 apigw-sqs-app的部署配置为部署到ap-southeast-2地区，以简化项目，您可以在remotion-cdk-starter.ts中的代码中进行调整。- 在部署时，Remotion 包应该被捆绑在函数内部，您可以在
bundling对象的nodeModules属性中找到此代码，代码位于这里。