AWSの知識を血肉にするための「AWSインフラ構築 100日行」の20日目。
お題は「Amazon S3 Object Lambdaを使用して個人を特定できる情報(PII)情報を削除する」です。
朝が涼しくなってきました。昼は暑いけど。。。
今日も頑張ります!
AWSインフラ構築 100日行の記事を書く上でのルール
①100日連続アウトプット!
②継続が第一、クオリティは第二
③「社会人のリアル」を忘れない(持続可能な完走を目指す)
④テーマとする学習に全集中!
テーマとするサービス以外は、CloudFormationや構築済みの資産をフル活用し、効率よく「核心」を突き詰める。
⑤100日終わった後のご褒美は「叙々苑」(発想が品祖でごめんなさい)
お題
Amazon S3 Object Lambdaを使用して個人を特定できる情報(PII)情報を削除する
試してみる
1.PIIが含まれる生データを格納するサンプルデータをアップロード

■テストデータ(piitest.txt)※適当なデータです。
id,name,email,phone
101,Taro Yamada,yamada@example.com,090-1234-5678
102,Hanako Sato,sato@example.com,080-9876-5432
2.標準 S3 アクセスポイント(Supporting Access Point)を作成

3.IAM 権限ロールの作成
Lambda 関数が S3 データの読み取りと、Object Lambda へのデータレスポンス返却を行えるようロールを作成
■S3ポリシー
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3-object-lambda:WriteGetObjectResponse"],
"Resource": "*"
},
{
"Effect": "Allow",
"Action": ["s3:GetObject"],
"Resource": "arn:aws:s3:::xxx-access-point-nb8pt45ptdoqgpodm8xbexrd7erakapn1a-s3alias/object/*"
}
]
}
4.PII削除処理を行う Lambda 関数の実装
以下Lambda関数を作成する。
import urllib.request
import re
import boto3
s3_object_lambda = boto3.client('s3-object-lambda')
# PII検出パターン (正規表現の例)
EMAIL_PATTERN = r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}'
PHONE_PATTERN = r'\d{2,4}-\d{2,4}-\d{3,4}'
def lambda_handler(event, context):
# S3 Object Lambda から送られるコンテキスト情報を取得
object_context = event['getObjectContext']
input_url = object_context['inputS3Url']
request_route = object_context['outputRoute']
request_token = object_context['outputToken']
# 1. 元のオブジェクトを S3 署名付き URL 経由で取得
req = urllib.request.Request(input_url)
with urllib.request.urlopen(req) as response:
raw_data = response.read().decode('utf-8')
# 2. PII 情報の書き換え(正規表現による置換)
redacted_data = re.sub(EMAIL_PATTERN, '[REDACTED_EMAIL]', raw_data)
redacted_data = re.sub(PHONE_PATTERN, '[REDACTED_PHONE]', redacted_data)
# 3. 処理済みデータを S3 Object Lambda に返却
s3_object_lambda.write_get_object_response(
Body=redacted_data.encode('utf-8'),
RequestRoute=request_route,
RequestToken=request_token
)
return {'statusCode': 200}
5.S3 Object Lambda アクセスポイントを作成


Object Lambda アクセスポイントの作成をクリックすると、以下エラーが出ました。

Geminiにエラーを確認すると、
AWS のポリシー変更により、新規アカウントや未利用アカウントでは S3 Object Lambda の新規作成がデフォルトで無制限に解放されていないため
だそうです。
いったここでやめておきます。
[rakuten:book:21026592:detail]