Amazon Bedrock Knowledge BasesにCrawl4AIでWebコンテンツを前処理して取り込む方法

Crawl4AIで取得したWebページをMarkdownとメタデータのサイドカーファイルとして準備し、Amazon S3データソース経由でAmazon Bedrock Knowledge Basesに取り込む手順を解説する。標準のAmazon Bedrock Web Crawlerでは対応しにくい、不要部分の除去、CSSセレクタによる領域抽出、カスタムメタデータの付与が必要な場合に使う経路である。サンプル実装はaws-samplesリポジトリで提供される。