おわりんです。
最近pythonを使ってスクレピングの勉強をしたいと思っていました。
なので、さっそく練習として、amazonの口コミ情報をダウンロードし、エクセルに出力するということにチャレンジしました。ネットで検索すると、多くのサンプルコートあったので、それを参考にして、自分なりに作ってみました。
スクレピングは、注意点があり、対象のサイトに負荷をかけてしまうので、禁止されているところもあるようです。負荷がかからないように、待ち時間をプログラムに入れています。
参考にしたサイト
qiita.com
www.kamesuke-blog.com
self-development.info
作成したサンプルコードの動作環境
OS:Windows 11 HOME
言語：Python 3.11.1
ツール：
・selenium 4.24.0(chromedriverを使用)
・beautifulsoup4 4.12.3
エディタ：Jupyter notebook
ブラウザ：GoogleChrome(128.0.6613.138)
※アプリを使う場合、GoogleChromeをインストールしておく必要あります。その他は、特にインストールしなくても実行ファイルアプリは動くと思います。
support.google.com
実行ファイルアプリダウンロード（使い方）
ダウンロードリンク
amazon_review - Google ドライブ
※ダウンロードできないとき（ワードクラウドを作成できるアプリの記事を参考）
ダウンロード手順
owarinaki-tabi.com
使用手順
ダウンロードしたら、左の「amazon_review」をダブルクリック。右のGUIがでてくるので、テキストボックスの中に口コミをダウンロードしたいサイトのURLをコピー＆ペーストする。そのあと「実行ボタン」を押す。
実行
商品サイトのURLをテキストボックスに張り付ける（一例）
https://www.amazon.co.jp/3%E9%9A%8E%E6%AE%B5TURBO%E9%80%9F%E5%BA%A6-Bluetooth%E6%8E%A5%E7%B6%9A-9%E8%89%B2RGB%E3%83%A9%E3%82%A4%E3%83%88-1000mAh%E5%A4%A7%E5%AE%B9%E9%87%8F-6%E8%BB%B8%E3%82%B8%E3%83%A3%E3%82%A4%E3%83%AD%E3%82%BB%E3%83%B3%E3%82%B5%E3%83%BC%E6%90%AD%E8%BC%89/dp/B0CCKRXXLD/ref=sr_1_1_sspa?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&crid=11NN7BHI1B0UL&dib=eyJ2IjoiMSJ9.T3SJeimWd5cQZPA6W48ZLFWwHUtE1KoTiqzB9efbeO9T8nlmIt7vv_ffwj-8POyfCZyuxeCsyE8-1bfADdExC_wXfHdnKSWTZ-lsMjn4lWnYOIqg94-rtCcs0TXRYMjF0QauB0raCgJ_fd3B0Llx8uXC3TlCQGFscIJfQzwIdkC7P-jwcrC2EHdX1dFGDbVOOcn-izxhe3cb4FbIsHZMtv5qyfWzXqzQImnBYMrWVF93lfaP4Xlk9wPRgNqhsHAa_Nrc-YkzwZgyK2cO1Q-_rh46VlkNIku-ytcFejy8tNE.DbsE4Za1gWVS-QWOVWtc7nEnYtAdSgCBNTNNoWLPDYA&dib_tag=se&keywords=Switch+%E3%82%B3%E3%83%B3%E3%83%88%E3%83%AD%E3%83%BC%E3%83%A9%E3%83%BC+%E8%87%AA%E5%8B%95%E9%80%A3%E5%B0%84%E6%A9%9F%E8%83%BD+%E3%82%B9%E3%82%A4%E3%83%83%E3%83%81+%E3%82%B3%E3%83%B3&qid=1727013850&sprefix=switch+%E3%82%B3%E3%83%B3%E3%83%88%E3%83%AD%E3%83%BC%E3%83%A9%E3%83%BC+%E8%87%AA%E5%8B%95%E9%80%A3%E5%B0%84%E6%A9%9F%E8%83%BD+%E3%82%B9%E3%82%A4%E3%83%83%E3%83%81+%E3%82%B3%E3%83%B3%2Caps%2C185&sr=8-1-spons&sp_csd=d2lkZ2V0TmFtZT1zcF9hdGY&psc=1
保存場所を選択すると、ソフトが動き出します。「終わりました」と表示されたらエクセルファイルが出力されます。
あ
下記のように口コミ情報をダウンロードした商品がエクセルのファイル名となりフォルダの中にできあがります。
エクセルファイルが出力される
ファイルの中身
amazonの口コミ件数が多数あっても100件までしかできませんでした。
（追記24/9/23：時点では、50件になってました）
（追記24/10/6：また100件できました。どうやら時間帯などでも、取得できるデータの数が変わるようです。）
「次へ」ボタンがあるところで無くなってしまう（透明色になり押せなくなる）ので、サイトで「次へ」ボタンを押して確認できる分しかダウンロードできませんでした。きっと、制限をかけてるのだと思います。多くの人たちが、大量の情報をスクレピングしたら、ものすごい負荷になるから対策しているのだと思います。
でも、とても簡単にpythonを使うといろいろなことが素人でもできてしまいます。
応用すればいろいろなことを自動化して情報をとってくることも可能だと思いました。
個人的には、今回のアプリ作成でスクレイピングについてとても勉強できました。
サンプルコード（jupyter notebook）
正直動けばいいやという感じで、変数の名前が適当だったり、無駄のコードも多いと思いますが、ソースをのせておきます。参考にしてください。
必要な環境が構築できていれば、「jupyter notebook」にコピペで貼り付けて動くと思います。
