TOPIC_ARN=$(aws sns create-topic --name cloudtrail_notifications --output text --region $REGION)

aws sns subscribe --protocol email --topic-arn $TOPIC_ARN --notification-endpoint $EMAIL --region $REGION

echo $TOPIC_ARN

确保写入主题ARN作为前述命令的输出。而后你将使用该主题配置Lambda函数。ARN主题应与下面所述相似。

arn:aws:sns:us-west-2:577xxxxxxx68:cloudtrail_notifications

你将收到一封确认邮件（万一你没有受到，检查你的垃圾文件）。这封邮件包含一个确认订阅的链接。你必须点击该链接来完成订阅流程。

第三步：为你的Lambda函数创建IAM角色

Lambda函数需要一个IAM角色才能正常运行。

IAM执行角色，一种IAM角色，它赋予你自定义代码权限，使你能够访问该角色所需的AWS资源。当Lambda代表你执行Lambda函数时承担这一角色。

一个角色有两部分：一个信任策略（规定哪些服务或用户可以被授权承担这一角色）和一个或多个规定所授予权限的策略。当你的函数被执行时，Lambda承担一个角色。你的函数仅具有该角色的策略中所规定的权限。

下面的命令创建信任策略，授权Lambda来承担执行角色。

cat >role_trust_policy.json <

{

"Version": "2012-10-17",

"Statement": [

{

"Sid": "",

"Effect": "Allow",

"Principal": {

"Service": "lambda.amazonaws.com"

},

"Action": "sts:AssumeRole"

}

]

}

EOF

然后，创建执行角色。

ROLE_ARN=$(aws iam create-role --role-name lambda-security-blog --assume-role-policy-document file://./role_trust_policy.json --query 'Role.Arn' --output text)

echo $ROLE_ARN

既然你已经创建了执行角色，添加Lambda函数所需的权限。下面的命令假设前面的命令的所设置的环境变量仍然存在。

cat >role_exec_policy.json <

{

"Version": "2012-10-17",

"Statement": [

{

"Effect": "Allow",

"Action": [

"logs:*"

],

"Resource": "arn:aws:logs:*:*:*"

},

{

"Effect": "Allow",

"Action": [

"s3:GetObject"

],

"Resource": [

"arn:aws:s3:::$BUCKETNAME/*"

]

},

{

"Effect": "Allow",

"Action": ["sns:Publish"],

"Resource": [

"$TOPIC_ARN"

]

}

]

}

EOF

前述命令中的第一个语句授权Lambda函数发布自己的日志到Amazon CloudWatch日志。第二个语句授权Lambda函数从S3桶中的CloudTrail日志[p1] 读取数据。最后的语句授权Lambda函数发送关于前面创建的主题的消息。

下面的命令会将这三个语句添加到执行角色。

aws iam put-role-policy --role-name lambda-security-blog --policy-name lambda-execution-role --policy-document file://./role_exec_policy.json

第四步：创建一个Lambda函数

你已经开启了CloudTrail服务，它所关联的S3桶，和一个SNS主题，你就可以创建CloudTrail日志解析函数并将该函数部署到Lambda上。

创建一个桶来存数配置文件

Lambda函数使用正则表达式来匹配意外的API调用。它将使用存储在S3上的外部配置文件来存储你需要函数去发现的正则表达式。使用外部配置文件可以使你更好地微调表达式，而不必再每次变化时都重新部署Lambda函数。

为了简化部署，配置文件会和CloudTrail日志文件存储在相同的S3桶中。配置文件如下：

Lambda函数使用正则表达式来匹配意外的API调用。它将使用存储在S3上的外部配置文件来存储你需要函数去发现的正则表达式。使用外部配置文件可以使你更好地微调表达式，而不必再每次变化时都重新部署Lambda函数。

为了简化部署，配置文件会和CloudTrail日志文件存储在相同的S3桶中。配置文件如下：

{

"source" : "iam|signin|sts",

"regexp" : "Password|AccessKey|PutRolePolicy|User|Token|Login",

"sns" : {

"region" : "us-west-2",

"topicARN" : "arn:aws:sns:us-west-2:577xxxxxxx68:PushNotifications"

}

}

如下是配置文件的组成部分：

参数source定义你将监测的服务API。你可以修改该参数来满足你的要求。

参数regexp定义将会触发通知消息的API调用列表。该参数也可以被修改来满足你的要求。

sns部分规定你的SNS配置。将它的值修改为本帖前部分所述的域和第二步所创建的主题ARN。

编辑配置文件以达到你的要求，然后使用下面的命令将文件拷贝到S3桶中：

aws s3 cp filter_config.json s3://$BUCKETNAME/filter_config.json --region $REGION

创建Lambda函数

你可以使用任何一款JavaScript文本编辑器来创建Lambda函数。在写这篇博客时，Lambda函数使用的是Node.js架构。Lambda函数的核心是JavaScript函数，该函数被定义为Node.js处理器。在写代码时，记得Node.js架构是非同步的。每一次函数调用会立即产生调用日志。你可以使用回调函数或未来函数来同步你的代码执行结果。

在部署Lambda函数时，你必须定义Lambda函数执行的触发事件。当前，Lambda函数可以应对API调用，DynamoDB表格变动，S3事件，或SNS通知来触发函数。

该演练使用Q JavaScript库。Q库提取非同步操作作为未来对象（也被称为未来函数）。Lambda函数按照排列的顺序来执行以下操作：

1. 下载第四步开始创建的Lambda函数配置文件。

2. 下载CloudTrail日志文件，其可获得性正是系统刚刚通知你的。Lambda将一个记录对象传递给函数。该记录对象包含刚刚在S3上创建的文件的名称。

3. 解压CloudTrail日志文件到一个临时存储位置。

4. 过滤文件，仅寻找来自所选的AWS服务的日志条目。在该案例中，Lambda函数仅寻找IAM，登录，和STS所产生的记录。

5. 搜索给定的正则表达式。

1. 找到匹配记录时，发送通知到SNS服务。

我将会将Lambda函数分解为不同的JavaScript函数，每一个子函数执行前述操作中的某一项。Lambda函数的核心包含在下面的内容中。它执行所述的操作。

完整的源代表可从GitHub获得。为了表述清晰，下面呈现的片段不包括错误处理，日志，或Q库相关的代表。

exports.handler = function(event, context) { var bucket = event.Records[0].s3.bucket.name;

var key = event.Records[0].s3.object.key; // Download from S3, Gunzip,

Filter and send notifications download(bucket, key) .then(extract) .then(filter)

.then(notify) .catch(function (error) { // Handle any error from all above

steps }) .done(function() { context.done(); }); };

Q库确保每一个函数会按顺序被调用。

下载配置文件

使用AWS JavaScriptSDK，从S3下载配置文件。

var s3 = new aws.S3({apiVersion: '2006-03-01'});

var params = { Bucket:FILTER_CONFIG_BUCKET, Key:FILTER_CONFIG_FILE };

var body = s3.getObject(params)

.createReadStream()

.on('data', function(data) {

FILTER_CONFIG = JSON.parse(data);

});

上述的代码使你可以下载配置文件并解析文本，创建一个JavaScript对象。你需要配置全局变量FILTER_CONFIG_BUCKET和FILTER_CONFIG_FILE的值为你的桶的名称和配置文件的名称。

从S3下载CloudTrail日志文件

使用Node.js为I/O(输入/输出)操作提供的fs模块和针对S3 API的AWS Node.js架构从S3下载CloudTrail文件，并将其存储在本地目的（/tmp）。

观察日志的输出结果。在Lambda部署代码前修正所有的错误。

// extract file name from key name

var fileName = key.match(/.*/(.*).json.gz$/)[1]

var file = fs.createWriteStream('/tmp/' + fileName + '.json.gz');

// pipe from S3 to local file

var s3 = new aws.S3({apiVersion: '2006-03-01'});

var params = { Bucket:bucket, Key:key };

var stream = s3.getObject(params).createReadStream();

stream.pipe(file);

上述命令将会在Lambda容器的/tmp目录下存储一个文件副本。

解压CloudTrail日志文件到一个临时存储位置

使用Node.js GZIP库，从压缩文件中提取基于文本的日志文件。

var gzFileName = file.path.match(/.*/(.*).json.gz$/)[1];

var jsFileName = '/tmp/' + gzFileName + '.json';

var zlib = require('zlib');

var unzip = zlib.createGunzip();

var inp = fs.createReadStream(file.path);

var out = fs.createWriteStream(jsFileName);

inp.pipe(unzip).pipe(out);

上面的这个操作将会产生一个输入流，以从本地文件系统中读取文件，然后将这个输入流输送到一个输出流附属于本文件系统的另一个文件。

筛选所选的AWS服务

既然本地有一个JSON文本文件可用，解析它，寻找那些AWS服务和API以便系统为其产生一个SNS通知。

var cloudTrailLog = require(file);

var records = cloudTrailLog.Records.filter(function(x) {

return x.eventSource.match(new RegExp(FILTER_CONFIG.source));

});

搜索正则表达式

上一步在内存中加载了大量的记录对象以供解析。为每一个匹配的记录建一个消息，并将消息传送给sendNotification()函数。

for (var i = 0; i

RegExp(FILTER_CONFIG.regexp))) { var message = "Event : " + records[i].eventName

+ " " + "Source : " + records[i].eventSource + " " + "Params : " + JSON.stringify(records[i].requestParameters,

null, '') + " " + "Region : " + records[i].awsRegion + " " var task =

sendNotification(message, FILTER_CONFIG.sns.topicARN, ''); } }

发送SNS通知

最后，使用AWS JavaScript软件开发工具包发送SNS通知。

var sns = new aws.SNS({

apiVersion: '2010-03-31',

region: FILTER_CONFIG.sns.region

});

var params = {}

params = {

Message: msg,

TopicArn: topicARN

};

sns.publish(params, function(err,data) {

if (err) {

// an error occurred

} else {

// successful response

}

});

Test the function locally 本地测试该函数

在将函数上传给Lambda并在AWS测试该函数前，我们推荐在本地测试该函数。在开发周期的早期，通过快速地捕捉编程错误，可以极大地缩短你的开发，部署，测试，调试周期。Lambda函数部署前进行本地测试应该被看做一项最好的实践，因为这允许你在写代码的同时测试它，并根据AWS账户进行定制。

为了对Lambda函数进行本地测试，我写了一小串代码。这串代表将会调用Lambda函数，正如该函数将会被从Lambda服务调用一样。该代码判断将会为你的函数提供两个对象：

1. 一个输入记录，与该记录被链接到S3事件后，Lambda提供的记录相似。Lambda将会创建一个文件（input.json）用来存储该记录。

2. 一个上下文记录，与Lambda提供给你的函数的记录相似。

本次测试所用的输入记录与下面的类似：

{

"Records": [

{

"eventVersion": "2.0",

"eventSource": "aws:s3",

"awsRegion": "us-west-2",

"eventTime": "2014-11-27T21:08:30.487Z",

"eventName": "ObjectCreated:Put",

"userIdentity": {

"principalId": "AWS:AROXXXXXXXXXXSW:i-4ffXXXXa5"

},

"requestParameters": {

"sourceIPAddress": "54.211.178.99"

},

"responseElements": {

"x-amz-request-id": "F104F805121C9B79",

"x-amz-id-2": "Lf8hbNPkrhLAT4sHT7iBYFnIdCJTmxcr1ClX93awYfF530O9AijCgja19rk3MyMF"

},

"s3": {

"s3SchemaVersion": "1.0",

"configurationId": "quickCreateConfig",

"bucket": {

"name": "aws-cloudtrail-xxx",

"ownerIdentity": {

"principalId": "AH4XXXXXXXQT"

},

"arn": "arn:aws:s3:::aws-cloudtrail-xxx"

},

"object": {

"key": "AWSLogs/577XXXXXXX68/CloudTrail/us-west-2/2014/11/27/577XXXXXXXX68_CloudTrail_us-west-2_20141127T2110Z_JWcmX2IqHMUoBRIM.json.gz",

"size": 2331,

"eTag": "63d801bb561037f59f2cb4d1c03c2392"

}

}

}

]

}

确保桶的名称和密钥指向你的桶中的一个真实的CloudTrail日志。大小和电子标签的值不会被函数使用，你不必修改它们的值。

你可以从一个真实的Lambda函数或文档中获取该输入记录对象。调用函数存储在main.js中，与下面的代码类似：

var lambda = require('./cloudtrail.js') //your lambda function var event

= require('./input.json') //your input record var context = {} context.done

= function(arg1, arg2) { console.log('context.done') } lambda.handler(event,

context)

本次测试代码前，先在本地安装测试需要的程序。

npm install aws-sdk q

你必须为AWS软件开发工具包配置一个访问密钥，密码密钥，和缺省域。如果你正向上面所述的一样，在使用AWS命令行界面，那你的本地配置就是正确的。否则，运行aws configure命令来创建一个缺省配置文件。

然后，在你的电脑上，输入命令行来调用节点。

node main.js

观察日志的输出结果。在Lambda部署代码前修正所有的错误。

部署Lambda函数

一旦你坚信函数已经可以按照预期运行，你可以准备在Lambda部署该函数了。首先，创建一个包含该函数和依赖程序（Q数据库）的.zip文件（cloudtrail.js）。

zip -r cloudtrail.zip cloudtrail.js node_modules -x node_modules/aws-sdk/*

在该文件中，你不需要包含AWS JavaScript软件开发工具包，因为Lambda的执行环境默认提供该工具包。

现在，上传并在Lambda上创建该函数（参数$ROLE_ARN的值必须设置为本帖前半部分第三步中，aws iam create-role命令返回的值）。

FUNCTION_ARN=$(aws lambda create-function --zip-file fileb://./cloudtrail.zip --function-name cloudtrail --runtime nodejs --role "$ROLE_ARN" --handler cloudtrail.handler --region $REGION --output text --query "FunctionArn")

记住参数Function_ARN的输出值，因为你在下一步将会用到该值。

将该函数链接到S3服务

要做的最后一件事就是配置S3，在文件在桶中被创建时，能触发Lambda函数。这是一个包含两个步骤的过程。你首先需要添加权限到Lambda函数，授权你的S3桶可以触发Lambda函数的执行。

AWS_ACCOUNT_ID=$(echo $ROLE_ARN | sed 's/^arn:aws:iam::(.*):.*$/
/')

aws lambda add-permission --function-name cloudtrail --statement-id Id-cloudtrail --action "lambda:InvokeFunction" --principal s3.amazonaws.com --source-arn arn:aws:s3:::$BUCKETNAME --source-account $AWS_ACCOUNT_ID --region $REGION

确保将$FUNCTION_ARN的值设置成第四步中Function_ARN的输出值，正如本帖的前半部分，上传代码时返回的Function_ARN的值。

然后，配置S3通知系统。你即可以在S2 web控制台进行配置，也可以在AWS CLI中使用命令行进行配置。但是你需要一个配置文件。

cat >s3_notifications_config.json <

{ "CloudFunction": "$FUNCTION_ARN", "Id": "cloudtrail-lambda-notifications",

"Event": "s3:ObjectCreated:*" } } EOF

确保将的值设置成“部署该函数”部分，上传函数时Function_ARN的输出值，正如本帖的前半部分所述。