Pythonを使ってWebサイトから情報を取得する方法はいくつかありますが、その中でも最もポピュラーなのがRequestsライブラリを使ったものです。 今回はRequestsライブラリの基本的な使い方について学んでいきたいと思います。 なお、今回の記事では以下の書籍を参考にさせていただいています。 【Amazon】Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析の […]
Jupyter Notebookは多くのショートカットコマンドが用意されています。 数が多すぎてすべてを覚えるのは大変ですよね。 この記事では、Jupyter Notebookのショートカットコマンドをまとめていきます。 【関連記事】Jupyter Notebookを使ってみる 超基本的な使い方を解説 コマンドモードで使えるショートカットコマンド 動作変更系 Jupyter Notebookやセル […]
前回まではクローリング&スクレイピング環境の構築として、Pythonのインストールとライブラリの導入を行いました。詳しくは以下の記事をご覧ください。 クローリング スクレイピングに向けたPython開発環境を構築Anaconda仮想環境にスクレイピング用ライブラリを導入 今回はJupyter Notebookを起動して実際に使ってみたいと思います。 JupyterNotebookを起動 ま […]
筆者はMicrosoftのSurface Pro7をサブマシンとして愛用しています。 自宅ではUSB TypeC-HDMIの変換アダプタ経由でサブディスプレイをつないで、デュアルディスプレイで利用していました。 数か月前に突然サブディスプレイが映らなくなり、本日やっと復活したのでその際の話を書いていきます。 経緯 ある日サブディスプレイを使って作業をしようとしたところ、全く映らなくなってしまいまし […]
前回の記事「副業効率化に向けた第一歩 クローリング&スクレイピングに向けたPython開発環境を構築」では、パソコンにAnacondaを導入して仮想環境を作成しました。 今回は、前回作成した仮想環境にスクレイピング用のライブラリを導入していきます。 スクレイピング用というわけではありませんが、Jupyter Notebookという便利なツールも導入します。 Jupyter Notebook […]
前回の記事「クローリング・スクレイピングとは？ 副業効率化のための基礎知識」ではクローリング＆スクレイピングに関する概念を理解しました。 今回はクローリング＆スクレイピングを学習・実践するための環境を構築していきます。 参考書籍の「Pythonクローリング&スクレイピング[増補改訂版] -データ収集・解析のための実践開発ガイド」では、macかUbuntuでenvを使って環境構築構築していま […]
以前の記事「SP-APIの利用準備 IAMユーザー IMポリシー IAMロールを作成」の中で、SP-APIの利用準備を行いましたが、その際にSP-APIはAmazonの価格情報取得に向かないことに気づいてしまいました。 情報取得自動化の王道といえばWebクローリング＆Webスクレイピングです。といわけで、早速クローリングとスクレイピングの勉強を開始しました。 技術評論社から出版されている「Pyth […]
筆者は最近は居間でノートパソコンを使って作業することが増えました。 勉強や副業がメインなのですが、やはりノートパソコンのディスプレイは小さいため作業効率はイマイチですね。私は調べものと作業用のディスプレイを分けたい派なので、デュアルディスプレイにしたくなります。 そこで今回は持ち運びもできるディスプレイ、「ポータブルモニター」についてまとめてみました。 最近のノートパソコンは接続端子が少ない傾向に […]
最近商品仕入れの自動化に向けて、SP-APIのマニュアルを読んでいます。経緯については以下の記事をご覧ください。 【関連記事】商品リサーチ自動化に向けた調査 SP-APIとは何かをドキュメントから読み解く 【関連記事】Login with Amazon(LWA)とは SP-APIとLWAの関係について解説 SP-APIを利用するためには、AWSでの準備が必要であることがわかりました。実際に準備作業 […]
前回「Login with Amazon(LWA)とは SP-APIとLWAの関係について解説」の記事の中で、Amazonから商品情報を取得するのにSP-APIというのが使えそうだと調査を行いました。 SP-APIを利用するにはAazon開発者申請が必要とのことで、さっそくAmazon開発者の申請を行いました。 MWSの開発者申請は失敗すると二度と再申請できなるなると聞いていたので戦々恐々としつつ […]