Python - イチゾーのブログ

Spyderをアップデートしたらすぐに新しいアップデートが来たので再度アップデート

一蔵 — Wed, 18 Jan 2017 09:10:05 +0000

PythonのIDE「Spyder」をアップデートついでにAnacondaもで
Spyderをアップデートしました。

これで度々出ていたバージョン3.0.2にアップデートできました。

で、再度Spyderを立ち上げると、また出たのです。
アップデート通知ウィンドウが。

今度は、「Releases」のリンクをクリックするとWEBページが開きます。

そこには、アップデートの方法が書かれています。

conda update qt pyqt
conda update spyder

Spyderを一旦閉じて、上記のコマンドを実行します。

>conda update qt pyqt
Fetching package metadata ...........
Solving package specifications: .

# All requested packages already installed.
# packages in environment at e:\Anaconda3:
#


>

qt、pyqtについてはアップデートはないようです。

（さっきアップデートしたばっかりですから）

Spyderのアップデートを実行します。

>conda update spyder
Fetching package metadata ...........
Solving package specifications: .

# All requested packages already installed.
# packages in environment at e:\Anaconda3:
#
spyder                    3.0.2                    py35_0

>

ん？アップデートない？

pipでやってみます。

>pip install -U spyder
Collecting spyder
  Downloading spyder-3.1.0-py3-none-any.whl (3.4MB)
    100% |################################| 3.4MB 92kB/s
Collecting numpydoc (from spyder)
  Downloading numpydoc-0.6.0.tar.gz
Requirement already up-to-date: qtawesome>=0.4.1 in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: chardet>=2.0.0 in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: pickleshare in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: sphinx in e:\anaconda3\lib\site-packages\sphinx-1.5.1-py3.5.egg (from spyder)
Requirement already up-to-date: jedi in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: qtconsole>=4.2.0 in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: qtpy>=1.1.0 in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: pylint in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: psutil in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: rope-py3k in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: pyzmq in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: nbconvert in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: pygments>=2.0 in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: pyflakes in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: pep8 in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: six in e:\anaconda3\lib\site-packages (from qtawesome>=0.4.1->spyder)
Requirement already up-to-date: Jinja2>=2.3 in e:\anaconda3\lib\site-packages (from sphinx->spyder)
Requirement already up-to-date: docutils>=0.11 in e:\anaconda3\lib\site-packages (from sphinx->spyder)
Requirement already up-to-date: snowballstemmer>=1.1 in e:\anaconda3\lib\site-packages (from sphinx->spyder)
Requirement already up-to-date: babel!=2.0,>=1.3 in e:\anaconda3\lib\site-packages (from sphinx->spyder)
Requirement already up-to-date: alabaster<0.8,>=0.7 in e:\anaconda3\lib\site-packages (from sphinx->spyder)
Requirement already up-to-date: imagesize in e:\anaconda3\lib\site-packages (from sphinx->spyder)
Requirement already up-to-date: requests in e:\anaconda3\lib\site-packages (from sphinx->spyder)
Requirement already up-to-date: colorama>=0.3.5 in e:\anaconda3\lib\site-packages (from sphinx->spyder)
Requirement already up-to-date: bleach in e:\anaconda3\lib\site-packages (from nbconvert->spyder)
Requirement already up-to-date: testpath in e:\anaconda3\lib\site-packages (from nbconvert->spyder)
Requirement already up-to-date: mistune!=0.6 in e:\anaconda3\lib\site-packages (from nbconvert->spyder)
Requirement already up-to-date: entrypoints>=0.2.2 in e:\anaconda3\lib\site-packages (from nbconvert->spyder)
Requirement already up-to-date: traitlets>=4.2 in e:\anaconda3\lib\site-packages (from nbconvert->spyder)
Requirement already up-to-date: nbformat in e:\anaconda3\lib\site-packages (from nbconvert->spyder)
Requirement already up-to-date: pandocfilters>=1.4.1 in e:\anaconda3\lib\site-packages (from nbconvert->spyder)
Requirement already up-to-date: jupyter-core in e:\anaconda3\lib\site-packages (from nbconvert->spyder)
Requirement already up-to-date: MarkupSafe>=0.23 in e:\anaconda3\lib\site-packages (from Jinja2>=2.3->sphinx->spyder)
Requirement already up-to-date: pytz>=0a in e:\anaconda3\lib\site-packages (from babel!=2.0,>=1.3->sphinx->spyder)
Requirement already up-to-date: html5lib!=0.9999,!=0.99999,<0.99999999,>=0.999 in e:\anaconda3\lib\site-packages (from bleach->nbconvert->spyder)
Building wheels for collected packages: numpydoc
  Running setup.py bdist_wheel for numpydoc ... done
  Stored in directory: C:\Users\hoge\AppData\Local\pip\Cache\wheels\9d\ca\8c\9be286b195791bbbfebfd407899de13eb12725a2c2c9fdb36f
Successfully built numpydoc
Installing collected packages: numpydoc, spyder
  Found existing installation: spyder 3.0.2
    DEPRECATION: Uninstalling a distutils installed project (spyder) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
    Uninstalling spyder-3.0.2:
      Successfully uninstalled spyder-3.0.2
Successfully installed numpydoc-0.6.0 spyder-3.1.0

>

Spyderの3.1.0 来ました。

The post Spyderをアップデートしたらすぐに新しいアップデートが来たので再度アップデート first appeared on イチゾーのブログ.

PythonのIDE「Spyder」をアップデートついでにAnacondaも

一蔵 — Wed, 18 Jan 2017 07:54:52 +0000

非常に重宝しているPythonのパッケージであるAnacondaに同梱されている
Spyderを開発環境として利用させてもらっています。

作成しているプログラムがWEBアプリとかではなく
スクリプトで実行させるものなので
Spyderはコーディングと実行が手軽にできて
便利に使用しています。

そのSpyderですが、アップデート通知が表示されます。
こんなやつです。

「Releases」とか「Installation」とかのリンクをクリックしてみても何も起きません。
「OK」ボタンも反応しません。

仕方がないので右上の「×」ボタンで閉じるのですが、
よく使うSpyderなので、バージョンアップしておこうと思ったので、
バージョンアップ方法をメモしておきます。

まず、Spyderを開いている場合、念のため閉じておきます。

アップデートは、コマンドプロンプトを開いて以下のコマンドを実行します。

pip install --upgrade spyder

アップデートが実行されます。
私のパソコンは低スペックのためか、結構時間がかかりました。

>pip install --upgrade spyder
Collecting spyder
  Downloading spyder-3.0.2-py3-none-any.whl (3.4MB)
    100% |################################| 3.4MB 92kB/s
Collecting qtawesome (from spyder)
  Downloading QtAwesome-0.4.1-py2.py3-none-any.whl (150kB)
    100% |################################| 153kB 480kB/s
Collecting nbconvert (from spyder)
  Downloading nbconvert-5.0.0-py2.py3-none-any.whl (371kB)
    100% |################################| 378kB 239kB/s
Collecting pyzmq (from spyder)
  Downloading pyzmq-16.0.2-cp35-cp35m-win_amd64.whl (917kB)
    100% |################################| 921kB 135kB/s
Collecting psutil (from spyder)
  Downloading psutil-5.0.1-cp35-cp35m-win_amd64.whl (181kB)
    100% |################################| 184kB 211kB/s
Requirement already up-to-date: pickleshare in e:\anaconda3\lib\site-packages (from spyder)
Collecting sphinx (from spyder)
  Downloading Sphinx-1.5.1-py2.py3-none-any.whl (1.6MB)
    100% |################################| 1.6MB 167kB/s
Requirement already up-to-date: rope-py3k in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: jedi in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: pygments>=2.0 in e:\anaconda3\lib\site-packages (from spyder)
Collecting pyflakes (from spyder)
  Downloading pyflakes-1.5.0-py2.py3-none-any.whl (225kB)
    100% |################################| 225kB 361kB/s
Collecting pylint (from spyder)
  Downloading pylint-1.6.4-py2.py3-none-any.whl (569kB)
    100% |################################| 573kB 288kB/s
Collecting qtpy>=1.1.0 (from spyder)
  Downloading QtPy-1.2.0-py2.py3-none-any.whl
Requirement already up-to-date: qtconsole>=4.2.0 in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: pep8 in e:\anaconda3\lib\site-packages (from spyder)
Requirement already up-to-date: six in e:\anaconda3\lib\site-packages (from qtawesome->spyder)
Collecting nbformat (from nbconvert->spyder)
  Downloading nbformat-4.2.0-py2.py3-none-any.whl (153kB)
    100% |################################| 153kB 446kB/s
Collecting pandocfilters>=1.4.1 (from nbconvert->spyder)
  Downloading pandocfilters-1.4.1.tar.gz
Collecting jinja2 (from nbconvert->spyder)
  Downloading Jinja2-2.9.4-py2.py3-none-any.whl (274kB)
    100% |################################| 276kB 371kB/s
Collecting traitlets>=4.2 (from nbconvert->spyder)
  Downloading traitlets-4.3.1-py2.py3-none-any.whl (74kB)
    100% |################################| 81kB 441kB/s
Collecting jupyter-core (from nbconvert->spyder)
  Downloading jupyter_core-4.2.1-py2.py3-none-any.whl (125kB)
    100% |################################| 133kB 382kB/s
Collecting testpath (from nbconvert->spyder)
  Downloading testpath-0.3-py2.py3-none-any.whl (82kB)
    100% |################################| 92kB 395kB/s
Requirement already up-to-date: mistune!=0.6 in e:\anaconda3\lib\site-packages (from nbconvert->spyder)
Collecting bleach (from nbconvert->spyder)
  Downloading bleach-1.5.0-py2.py3-none-any.whl
Collecting entrypoints>=0.2.2 (from nbconvert->spyder)
  Downloading entrypoints-0.2.2-py2.py3-none-any.whl
Collecting docutils>=0.11 (from sphinx->spyder)
  Downloading docutils-0.13.1-py3-none-any.whl (536kB)
    100% |################################| 542kB 281kB/s
Requirement already up-to-date: imagesize in e:\anaconda3\lib\site-packages (from sphinx->spyder)
Requirement already up-to-date: colorama>=0.3.5; sys_platform == "win32" in e:\anaconda3\lib\site-packages (from sphinx->spyder)
Requirement already up-to-date: babel!=2.0,>=1.3 in e:\anaconda3\lib\site-packages (from sphinx->spyder)
Collecting requests (from sphinx->spyder)
  Downloading requests-2.12.4-py2.py3-none-any.whl (576kB)
    100% |################################| 583kB 204kB/s
Requirement already up-to-date: alabaster<0.8,>=0.7 in e:\anaconda3\lib\site-packages (from sphinx->spyder)
Requirement already up-to-date: snowballstemmer>=1.1 in e:\anaconda3\lib\site-packages (from sphinx->spyder)
Collecting mccabe (from pylint->spyder)
  Downloading mccabe-0.5.3-py2.py3-none-any.whl
Collecting astroid<1.5.0,>=1.4.5 (from pylint->spyder)
  Downloading astroid-1.4.9-py2.py3-none-any.whl (213kB)
    100% |################################| 215kB 220kB/s
Collecting isort>=4.2.5 (from pylint->spyder)
  Downloading isort-4.2.5-py2.py3-none-any.whl (40kB)
    100% |################################| 40kB 372kB/s
Requirement already up-to-date: jsonschema!=2.5.0,>=2.4 in e:\anaconda3\lib\site-packages (from nbformat->nbconvert->spyder)
Requirement already up-to-date: ipython-genutils in e:\anaconda3\lib\site-packages (from nbformat->nbconvert->spyder)
Requirement already up-to-date: MarkupSafe>=0.23 in e:\anaconda3\lib\site-packages (from jinja2->nbconvert->spyder)
Collecting decorator (from traitlets>=4.2->nbconvert->spyder)
  Downloading decorator-4.0.11-py2.py3-none-any.whl
Collecting html5lib!=0.9999,!=0.99999,<0.99999999,>=0.999 (from bleach->nbconvert->spyder)
  Downloading html5lib-0.9999999.tar.gz (889kB)
    100% |################################| 890kB 146kB/s
Collecting pytz>=0a (from babel!=2.0,>=1.3->sphinx->spyder)
  Downloading pytz-2016.10-py2.py3-none-any.whl (483kB)
    100% |################################| 491kB 199kB/s
Collecting lazy-object-proxy (from astroid<1.5.0,>=1.4.5->pylint->spyder)
  Downloading lazy_object_proxy-1.2.2-cp35-cp35m-win_amd64.whl
Collecting wrapt (from astroid<1.5.0,>=1.4.5->pylint->spyder)
  Downloading wrapt-1.10.8.tar.gz
Building wheels for collected packages: pandocfilters, html5lib, wrapt
  Running setup.py bdist_wheel for pandocfilters ... done
  Stored in directory: C:\Users\hoge\AppData\Local\pip\Cache\wheels\d4\01\68\49055c80b9f01ccb49241e73c8019628605064730941d70b56
  Running setup.py bdist_wheel for html5lib ... done
  Stored in directory: C:\Users\hoge\AppData\Local\pip\Cache\wheels\6f\85\6c\56b8e1292c6214c4eb73b9dda50f53e8e977bf65989373c962
  Running setup.py bdist_wheel for wrapt ... done
  Stored in directory: C:\Users\hoge\AppData\Local\pip\Cache\wheels\19\8a\01\20cf74c3f38d49ef8e9b9aa7ffd38cefff79bad9f6f2c651f0
Successfully built pandocfilters html5lib wrapt
Installing collected packages: qtpy, qtawesome, decorator, traitlets, jupyter-core, nbformat, pandocfilters, jinja2, testpath, html5lib, bleach, entrypoints, nbconvert, pyzmq, psutil, docutils, requests, sphinx, pyflakes, mccabe, lazy-object-proxy, wrapt, astroid, isort, pylint, spyder, pytz
  Found existing installation: QtPy 1.1.2
    Uninstalling QtPy-1.1.2:
      Successfully uninstalled QtPy-1.1.2
  Found existing installation: QtAwesome 0.3.3
    Uninstalling QtAwesome-0.3.3:
      Successfully uninstalled QtAwesome-0.3.3
  Found existing installation: decorator 4.0.10
    Uninstalling decorator-4.0.10:
      Successfully uninstalled decorator-4.0.10
  Found existing installation: traitlets 4.3.0
    DEPRECATION: Uninstalling a distutils installed project (traitlets) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
    Uninstalling traitlets-4.3.0:
      Successfully uninstalled traitlets-4.3.0
  Found existing installation: jupyter-core 4.2.0
    DEPRECATION: Uninstalling a distutils installed project (jupyter-core) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
    Uninstalling jupyter-core-4.2.0:
      Successfully uninstalled jupyter-core-4.2.0
  Found existing installation: nbformat 4.1.0
    DEPRECATION: Uninstalling a distutils installed project (nbformat) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
    Uninstalling nbformat-4.1.0:
      Successfully uninstalled nbformat-4.1.0
  Found existing installation: Jinja2 2.8
    Uninstalling Jinja2-2.8:
      Successfully uninstalled Jinja2-2.8
  Found existing installation: nbconvert 4.2.0
    DEPRECATION: Uninstalling a distutils installed project (nbconvert) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
    Uninstalling nbconvert-4.2.0:
      Successfully uninstalled nbconvert-4.2.0
  Found existing installation: pyzmq 15.4.0
    DEPRECATION: Uninstalling a distutils installed project (pyzmq) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
    Uninstalling pyzmq-15.4.0:
      Successfully uninstalled pyzmq-15.4.0
  Found existing installation: psutil 4.3.1
    DEPRECATION: Uninstalling a distutils installed project (psutil) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
    Uninstalling psutil-4.3.1:
      Successfully uninstalled psutil-4.3.1
  Found existing installation: docutils 0.12
    DEPRECATION: Uninstalling a distutils installed project (docutils) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.
    Uninstalling docutils-0.12:
      Successfully uninstalled docutils-0.12
  Found existing installation: requests 2.11.1
    Uninstalling requests-2.11.1:
      Successfully uninstalled requests-2.11.1
  Found existing installation: sphinx 1.4.6
Cannot remove entries from nonexistent file e:\anaconda3\lib\site-packages\easy-install.pth

>

アップデート完了後、Spyderを立ち上げます。

あれ、まだ表示される・・・。

バージョンを表記させると、変わっていない・・・。

調べてみると、Spyder単体のみではなく、
Anacondaそのものをアップデートするというものがありました。

やってみます。

>conda update conda
Fetching package metadata .........
Solving package specifications: ..........

Package plan for installation in environment e:\Anaconda3:

The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    conda-env-2.6.0            |                0          498 B
    requests-2.12.4            |           py35_0         791 KB
    pyopenssl-16.2.0           |           py35_0          70 KB
    conda-4.3.4                |           py35_0         534 KB
    ------------------------------------------------------------
                                           Total:         1.4 MB

The following NEW packages will be INSTALLED:

    conda-env: 2.6.0-0

The following packages will be UPDATED:

    conda:     4.2.9-py35_0  --> 4.3.4-py35_0
    pyopenssl: 16.0.0-py35_0 --> 16.2.0-py35_0
    requests:  2.11.1-py35_0 --> 2.12.4-py35_0

Proceed ([y]/n)? y

Fetching packages ...
conda-env-2.6. 100% |###############################| Time: 0:00:00  99.39 kB/s
requests-2.12. 100% |###############################| Time: 0:00:00   1.40 MB/s
pyopenssl-16.2 100% |###############################| Time: 0:00:00   1.84 MB/s
conda-4.3.4-py 100% |###############################| Time: 0:00:00   1.45 MB/s
Extracting packages ...
[      COMPLETE      ]|##################################################| 100%
Unlinking packages ...
[      COMPLETE      ]|##################################################| 100%
Linking packages ...
[      COMPLETE      ]|##################################################| 100%

>

これでも変わりません・・・。

パッケージ一式のアップデートがあったので、今度はこれをやってみます。

>conda update --all

何度か以下のメッセージを出して止まりました。

WARNING conda.gateways.disk:exp_backoff_fn(47): Uncaught backoff with errno 41

どうもリトライしろということのようなので、
何度か実行していると大丈夫そうなメッセージが返ってきました。

>conda update --all
Fetching package metadata ...........
Solving package specifications: .

# All requested packages already installed.
# packages in environment at e:\Anaconda3:
#


>

Syderのバージョンを確認してみると、無事にバージョンアップされていました。

The post PythonのIDE「Spyder」をアップデートついでにAnacondaも first appeared on イチゾーのブログ.

PythonでAmazon Product Advertising APIを呼び出してKindle Unlimitedの情報を取得する

一蔵 — Thu, 29 Dec 2016 08:25:19 +0000

「英語多読用の本をレベル別に取得する（完成版）」で、
英語多読用の本のISBNリストを取得しました。

今度はこれを使用して、Amazon Product Advertising APIを呼び出してKindle Unlimitedの情報を取得するということをやります。

目的：英語多読をKindle Unlimitedでやりたい

英語力を伸ばしたいということで、英語多読をやってみたいのですが、
多読用の本を買っていては高くついてしまうというネックがあります。

英語多読研究会さんのHPに、難易度別の類型読書語数の目安が掲載されています。

それによると、各レベルごとの累計語数は以下のようになっています。

Level0　　 30,000語
Level1　　120,000語
Level2　　470,000語
Level3　1,020,000語
Level4　1,320,000語
Level5　1,600,000語
Level6　1,900,000語
Level7　2,000,000語
Level8　2,200,000語
Level9　2,380,000語

これを達成するためには、各レベルで以下の冊数が必要になります。

Level0　30冊
Level1　30冊
Level2　50冊
Level3　50冊
Level4　15冊
Level5　10冊
Level6　10冊
Level7　2冊
Level8　2冊
Level9　1冊

Level0では、3万語の読書語数が推奨されていますが、
これを満たすためには大体30冊読まなければいけないという計算になります。

Level9では、読書語数は18万語となっていますが、
読むべき冊数は1冊です。

これは、難易度があがると1冊あたりの語数が増えるため、
読む必要がある冊数は減ってくるということですね。

英語多読を始めたばかりの難易度の低い頃に読むのが
語数が少なく読みやすい本（児童向けだったりします）になりますので、
必然的に読むべき冊数が増えてしまいます。

１冊あたり500円とか600円とかなので、決して高いわけではありませんが、
Level0で30冊、Level1で30冊、Level2で50冊・・・
となると、一人で揃えるには予算的に非常に厳しいものがあります。

そこで、読み放題のKindle Unlimitedを英語多読に使えないかと考えた訳です。

英語多読研究会さんでは、多読用の洋書のリストを難易度別に公開されていますので、
ここで公開されている本のリストから、Kindle Unlimitedに登録されているものを探し出すということをやってみます。

多読用の本のリスト取得は前回までに行っていますので、
今回は取得したリストを元にAmazon Product Advertising APIを呼び出して本の情報を取得するということをやってみます。

ソースコード

# -*- coding: utf-8 -*-
"""
Created on Mon Dec 19 14:49:19 2016

@author: 
"""

from bottlenose import api
from lxml import objectify
import time

AMAZON_ACCESS_KEY_ID = "アクセスキー"
AMAZON_SECRET_KEY = "シークレットキー"
AMAZON_ASSOC_TAG = "アソシエイトタグ"

KINDLE_UMLIMITED_NODE_ID = "4486610051"

amazon = api.Amazon(AMAZON_ACCESS_KEY_ID, AMAZON_SECRET_KEY, AMAZON_ASSOC_TAG, Region = "JP")

def file_read (file):
    f = open(file, 'r')
    data = f.read()
    f.close()
    lines = data.split('\n')
    return lines

def loop_min(max_level):
    book_list = []
    min_level = 0
    while min_level < 1:
        level = max_level + min_level
        print('list'+str('%1.1f' % level)+'.txt')
        lines = file_read('list'+str('%1.1f' % level)+'.txt')
        for line in lines:
            if (len(line) > 0):
                print('line='+line)
                items = item_search(line)
                item_find = items.find('Item')
                if (item_find is not None):
                    for item in item_find:
                        if (item is not None):
                            title = item.ItemAttributes.Title
                            author = item.ItemAttributes.Author
                            isbn = item.ItemAttributes.Isbn
                            url = item.DetailPageURL
                            print(("%s, %s, %s, %s, %s" % (line, title, author, isbn, url)))
                            book_list.append(str("%s, %s, %s, %s, %s" % (line, title, author, isbn, url)))
                        else:
                            print ("%s : Book is None" % (line))
                #print ("END %s" % (line))
                time.sleep(5)   # Amazon API呼び出しは1秒に1回以内に収めるためsleep

        min_level += 0.1
        
    return book_list
    
def loop_max():
    max_level = 0
    while max_level < 10:
        book_list = loop_min(max_level)
        write_file(book_list, max_level)
        max_level += 1
    
def write_file(book_list, max_level):
    f = open('amazon'+str('%1d' % max_level)+'.txt', 'w')
    for book in book_list:
        f.write(book)
        f.write('\n')
    f.close()

def item_search (keywords, searchIndex="KindleStore", browseNode=KINDLE_UMLIMITED_NODE_ID):
    response = amazon.ItemSearch(Keywords=keywords, SearchIndex=searchIndex, BrowseNode=browseNode, ResponseGroup="Large")
    root = objectify.fromstring(response)
    return root.Items

if __name__ == '__main__':
    
        loop_max()

bottlenoseを使ってAmazon Product Advertising APIを呼び出しています。

この使い方は以前の記事を参考にしてください。

今回やっていることは、ISBNのリストファイルを開き１行ずつAmazon Product Advertising APIで
Kindle Unlimitedの情報を取得するということです。

ループの頻度ですが、Amazon Product Advertising APIには
頻繁にアクセスするとエラーを返す仕様がある（1秒間に1回以内に抑える）ので
sleepを5秒入れています。

これで実行していたのですが、
「接続済みの呼び出し先が一定の時間を過ぎても正しく応答しなかったため、接続できませんでした。または接続済みのホストが応答しなかったため、確立された接続は失敗しました。」
というエラーが返ってきて中断しましたので、sleep 10秒で再トライしてみます。

英語多読で使えるKindle Unlimitedの本のリストはまとめて公開したいと思います。

The post PythonでAmazon Product Advertising APIを呼び出してKindle Unlimitedの情報を取得する first appeared on イチゾーのブログ.

英語多読用の本をレベル別に取得する（完成版）

一蔵 — Thu, 29 Dec 2016 03:52:31 +0000

英語多読用の本をレベル別に取得する（完成版）

これまでのまとめと残りの実装

検索を行いその結果をリスト化しテキストに保存するという一連の作業を実装します。

検索の実行はPythonでSeleniumを動作させて行います。

英語多読研究会さんのWEBページから、読みやすさレベル別に本のリストを取得するスクリプトの完成版です。

これまで、「英語多読用の本のリストをレベル別に取得する」や
「英語多読用の本をレベル別に取得する（ページャーも対応）」で
実装してきたものの完成版です。

レベル別の英語多読用の本のリストをそれぞれテキストファイルに書き出すという処理です。

読みやすさレベルは、0.0から0.1刻みで10.0まであるので、
それぞれのレベルごとに本のリストを取得して、そのISBNをテキストファイルに書き出します。

今までは書名を取得していたのですが、検索結果の中にISBNが含まれていたことに気が付き、これを取得することにしました。

プログラムソース

では、プログラムソースです。

# -*- coding: utf-8 -*-
"""
Created on Thu Dec 22 16:32:48 2016

@author: 
"""

from selenium import webdriver

url = 'http://www.seg.co.jp/sss_review/jsp/frm_a_100.jsp'
keyword0 = '100'
level_no = 0
isbn_list = []

def open_window():
    try:
        browser = webdriver.Chrome('./chromedriver')
    finally:
        print('END')
    return browser
        
def search_web(browser, keyword1):
    browser.get(url)
    
    search_input = browser.find_element_by_name('dt_page_in')
    search_input.send_keys(keyword0)

    search_input = browser.find_element_by_name('nm_yle')
    search_input.send_keys(keyword1)

    search_input = browser.find_element_by_name('nm_yls')
    search_input.send_keys(keyword1)
    
    browser.find_element_by_name('Submit3022233').click()
    
    return browser

def go_next_page(browser):
    isFind = True
    page_no = 1
    
    while isFind:
        get_isbns(browser)
    
        page_no += 1
        search_word = '"JavaScript:fncPagnig('+str(page_no)+');"'
        
        if browser.page_source.find(search_word) > 0:
            browser.find_element_by_xpath('//a[@href='+search_word+']').click()
        else:
            isFind = False

def get_isbns(browser):
    subjects = browser.find_elements_by_class_name('subj')
    for subject in subjects:
        if subject.text.find('●ISBN：') > 0:
            isbn = subject.text.split('●ISBN：')
            isbn = isbn[1].split('(')
            isbn_list.append(isbn[0])

def write_file(level_no):
    f = open('list'+str('%1.1f' % level_no)+'.txt', 'w')
    for isbn in isbn_list:
        f.write(isbn)
        f.write('\n')
    f.close()
    

if __name__ == '__main__':
    browser = open_window()
    while level_no < 10:
        browser = search_web(browser, str('%1.1f' % level_no))
        go_next_page(browser)
        write_file(level_no)
        level_no += 0.1
        isbn_list = []

プログラムソースの説明

ソース下部の

if __name__ == '__main__':

から各メソッドを実行していますので、ここから説明していきます。

これまではsearch_web()内で

browser = webdriver.Chrome('./chromedriver')

を行っていたのですが、検索のたびに新しいウィンドウを立ち上げたくなかったので、
別途open_window()メソッドを定義して、1回だけこれを呼び出すことにしました。

読みやすさレベルは、0.0から10.0まで検索を続けるので、
whileループで各レベルごとに検索処理を実行します。

ループ内では、search_web()で検索処理を実行し、
検索結果をgo_next_page()に渡します。

go_next_page()では、検索結果ページごとにget_isbns()を呼び出し、
ページャーのリンクを探します。
ページャーのリンクの数だけ、リンクをクリックし、検索結果をget_isbn()に渡すことを繰り返します。

get_isbns()では、ISBNはclass名が「subj」というtdタグで囲まれているので、
find_elements_by_class_nameで「subj」を指定して中の文字列を取得します。
これで文字列はリストに入るので、この文字列でループし、
「●ISBN」という文字列がある場合だけISBNを取得し、これをリストに追加します。

ISBNをリストに追加し終わったらwrite_file()で
読みやすさレベル別にテキストファイルに保存します。

次にlevel_no（読みやすさレベル）を0.1上げて、
検索結果をセットするリストを初期化しておきます。

以上をlevel_noが10になるまで繰り返します。

注意事項

私は、非常に低スペックのパソコンで実行しているためか、
Seleniumで検索を行ってページ送りしてという動作が非常に緩慢です。
手動で検索を行ってページ送りしてというよりも動作が遅いぐらいです。

ですのでsleepを入れていませんが、
高スペックパソコン等で検索やページ送りの動作が非常に速い場合は
ループの間隔をあけるように適度にsleepを入れましょう。

The post 英語多読用の本をレベル別に取得する（完成版） first appeared on イチゾーのブログ.

英語多読用の本をレベル別に取得する（ページャーも対応）

一蔵 — Wed, 28 Dec 2016 08:04:19 +0000

英語多読用の本をレベル別に取得する（ページャーに対応する）

前回の「英語多読用の本のリストをレベル別に取得する」に引き続き、
英語多読研究会さんのデータベースから、読みやすさレベル別の書籍リストを取得する実装を行います。

検索結果が多数のページにまたがらないように、結果一覧ページの表示件数を最大の100件にしています。
また読みやすさレベルで細かく分けられるように、検索項目の読みやすさレベルを0.1刻みで上げていく方法を取ります。
他の絞り込み条件を入れると、リストから漏れてしまったりということも考えられなくもないので、
単純に読みやすさレベルを細かく刻むことでその対応とします。

前回の記事で紹介したPythonのソースをさらに書き換えます。

プログラムは以下のようになりました。

プログラムソース

# -*- coding: utf-8 -*-
"""
Created on Thu Dec 22 16:32:48 2016

@author: 
"""

from selenium import webdriver

url = 'http://www.seg.co.jp/sss_review/jsp/frm_a_100.jsp'
keyword0 = '100'
keyword1 = '0.0'
keyword2 = '0.0'
title_list = []

def search_web():
    try:
        browser = webdriver.Chrome('./chromedriver')
        browser.get(url)
        
        search_input = browser.find_element_by_name('dt_page_in')
        search_input.send_keys(keyword0)

        search_input = browser.find_element_by_name('nm_yle')
        search_input.send_keys(keyword1)

        search_input = browser.find_element_by_name('nm_yls')
        search_input.send_keys(keyword2)
        
        browser.find_element_by_name('Submit3022233').click()
        
        get_titles(browser)

        page_no = 2

        search_word = '"JavaScript:fncPagnig('+str(page_no)+');"'
        page_source = browser.page_source
        while page_source.find(search_word) > 0:
            browser.find_element_by_xpath('//a[@href='+search_word+']').click()
            get_titles(browser)
            page_no += 1
            search_word = '"JavaScript:fncPagnig('+str(page_no)+');"'
            
    finally:
        print('END')

    return title_list

def get_titles(page_text):
    titles = page_text.find_elements_by_xpath('//b')
    isTitle = 0
    for title in titles:
        if isTitle == 0 and title.text == '簡易検索：':
            isTitle = 1
        elif isTitle == 1 and title.text == 'ISBN検索：':
            isTitle = 2
        elif isTitle == 1:
            #print(title.text)
            title_list.append(title.text)

            
if __name__ == '__main__':
    search_web()
    print(title_list)

プログラムソースの内容

今回は、プログラムの冒頭で、以下のように空のリスト「title_list」を宣言します。

title_list = []

search_web()で英語多読研究会さんのサイトからデータの取得処理を行います。

browser = webdriver.Chrome('./chromedriver')

で、chromedriverを立ち上げて、send_keysで検索項目を指定し、
下記のclick()で検索処理を実行するところまでは前回と同じです。

browser.find_element_by_name('Submit3022233').click()

その後、以下でget_titles()を実行します。

get_titles(browser)

取得した書名リストをtitle_listに追加します。

title_list.append(title.text)

ここまで終わると、再びsearch_web()に戻ります。

ページャーのリンクは、以下のタグです。

これをクリックすることで2ページ目に遷移します。

ページャーがあると、”JavaScript:fncPagnig(2);” という文字列がページソース内に存在します。
最初に page_no = 2 として、以下のようにsearch_wordという文字列を生成します。

search_word = '"JavaScript:fncPagnig('+str(page_no)+');"'

3ページ以上あることも想定して、page_no をインクリメントし、
その値で生成したsearch_wordで、ページソースを検索します。

while page_source.find(search_word) > 0:

ページソース内にページャーがあった場合はwhileループ内を実行します。

まずは、以下でページャーのリンクをクリックします。

browser.find_element_by_xpath('//a[@href='+search_word+']').click()

get_titles(browser)

で検索結果ページから書名リストを取得します。

page_no += 1
search_word = '"JavaScript:fncPagnig('+str(page_no)+');"'

でpage_noをインクリメントして、その値でリンク先の文字列を生成します。

while文で、この値（次のページのリンク）が存在するかを調べ、
存在する場合は再度ループ内を実行します。

次ページが存在しない場合は、ループを抜けてプログラムを終了します。

次は、書名のリストをテキストファイルに書き出すことと、
これまで固定だった検索項目（読みやすさレベル）を動かして
それぞれの読みやすさレベルごとに書名リストのテキストファイルを
生成することを実装したいと思います。

The post 英語多読用の本をレベル別に取得する（ページャーも対応） first appeared on イチゾーのブログ.

英語多読用の本のリストをレベル別に取得する

一蔵 — Tue, 27 Dec 2016 07:55:05 +0000

英語多読用の本のリストをレベル別に取得したい

英語多読研究会さんが、英語多読に使える本のデータベースを公開してくれています。
読みやすさレベルを指定して検索することができるので、
自分のレベルに合わせた本を探すのに非常に使い勝手がいいサイトになっています。

このリストから読みたい本を見つけて英語多読に役立てたいところですが、
個別に本を買っていると結構お金がかかってしまいます。

そこで洋書も多いKindle Unlimitedで対象の本があれば
月額980円で読み放題ということで、
より英語多読がやりやすくなります。

ということで、英語多読に役立てたいという目的で、
英語多読研究会さんのデータベースからレベル別に
本のリストを取得することを考えてみます。

Seleniumを使おう

レベル別に英語本のリストを取得するには、
検索画面に抽出したいレベルを指定して
検索要求を投げる必要があります。

最初はPythonスクリプトからRequestsを使って
リスト取得することを考えました。

検索項目等の指定をした上で検索要求を投げる訳ですが、
再び検索画面が表示されるだけで、なぜか検索結果画面が表示されません。
（検索画面と検索結果画面のURLが同じで、どうにも受け渡しているパラメーターによって切り替えているっぽいです）

Requestsでヘッダ情報をセットしたり、
検索画面で受け取ったクッキーを検索要求で渡すなどやってみましたが
うまくいかずRequestsでの検索要求はやめることにしました。
（ブラウザから渡しているhidden項目等を渡してみましたがことごとくダメでした）

ということでSeleniumでブラウザを操作して検索結果を取得してみます。

Seleniumを操作するプログラム

まずはプログラムソースを。

前回の記事「PythonとSeleniumでブラウザの自動操作」で作成したソースを改変します。

# -*- coding: utf-8 -*-
"""
Created on Thu Dec 22 16:32:48 2016

@author: 
"""

from selenium import webdriver

url = 'http://www.seg.co.jp/sss_review/jsp/frm_a_100.jsp'
keyword0 = '100'
keyword1 = '0.0'
keyword2 = '0.0'


def search_web():
    try:
        browser = webdriver.Chrome('./chromedriver')
        browser.get(url)
        
        search_input = browser.find_element_by_name('dt_page_in')
        search_input.send_keys(keyword0)

        search_input = browser.find_element_by_name('nm_yle')
        search_input.send_keys(keyword1)

        search_input = browser.find_element_by_name('nm_yls')
        search_input.send_keys(keyword2)
        
        browser.find_element_by_name('Submit3022233').click()
        
        #print(browser.page_source)
        titles = browser.find_elements_by_xpath('//b')
        isTitle = 0
        for title in titles:
            if isTitle == 0 and title.text == '簡易検索：':
                isTitle = 1
            elif isTitle == 1 and title.text == 'ISBN検索：':
                isTitle = 2
            elif isTitle == 1:
                print(title.text)
            #booktext = bookdata.text

        
    finally:
        print('END')


if __name__ == '__main__':
    search_web()

プログラムソースの解説

keyword0 = ‘100’で、表示件数（100件）、
keyword1 = ‘0.0’とkeyword2 = ‘0.0’で読みやすさレベルを設定しておきます。

browser = webdriver.Chrome('./chromedriver')

で、Pythonスクリプトと同じディレクトリ内に置いたchrmedriverを読み込みます。
browser.get(url) で指定したURLを開きます。

search_input = browser.find_element_by_name('dt_page_in')
search_input.send_keys(keyword0)

で、dt_page_inにkeyword0（100）をセットします。

同様に「nm_yle」と「nm_yls」に検索項目である読みやすさレベルを指定します。

browser.find_element_by_name('Submit3022233').click()

で検索ボックスをクリックします。

検索結果ページはbrowserに入っていて、
書名は「bタグ」で囲まれているので、書名リストをfind_elements_by_xpathで取得します。

titles = browser.find_elements_by_xpath('//b')

titlesにbタグで囲まれた書名のリストが入っていますが、
それ以外のbタグで囲まれた部分もリストに入っているので、
以下で取り除きます。

isTitle = 0
for title in titles:
    if isTitle == 0 and title.text == '簡易検索：':
        isTitle = 1
    elif isTitle == 1 and title.text == 'ISBN検索：':
        isTitle = 2
    elif isTitle == 1:
        print(title.text)

ここまでで、検索を実行して表示された検索結果ページから
書名のリストを取得する（ただし最初の1ページ目のみ）ということができました。

引き続いて次回は、検索結果が複数ページに渡る場合に
画面を遷移させた上で書名リストを取得し、
これをテキストファイルに出力するということを行います。

Pythonって直観的で使いやすい言語ですね。

The post 英語多読用の本のリストをレベル別に取得する first appeared on イチゾーのブログ.

PythonとSeleniumでブラウザの自動操作

一蔵 — Thu, 22 Dec 2016 07:55:43 +0000

PythonとSeleniumでブラウザの自動操作

今回は、PythonからSeleniumを動かしてブラウザの自動操作をやってみます。

前回の「PythonのRequestsを使って検索結果を取得する」で、
うまく検索結果を取得できなかったサイトがあったので
今回はSeleniumを使用してみます。

Requestsで取得できなかったのは、見えないところで何らかのパラメーターを渡しているのか、
header情報が必要なのか、画面表示の際にJavaScriptが動いているようなので
これが何かをやっているのか等々なのですが、
ブラウザ操作からは簡単に結果を取得できるので
Requestsは早々に諦めてSeleniumを使ってみることにしました。

Seleniumとは？

ブラウザの自動操作ツールです。

Pythonから操作できるということで、Python勉強中の私は
勉強も兼ねてSeleniumを使ってみたいと思います。

まずはSeleniumのインストールです。

これはpipから行えます。

私はWindows環境なので、コマンドプロンプトを管理者権限で立ち上げて
以下のコマンドを実行します。

pip install selenium

すると以下のようにインストールされます。

Collecting selenium
  Downloading selenium-3.0.2-py2.py3-none-any.whl (915kB)
    100% |################################| 921kB 359kB/s
Installing collected packages: selenium
Successfully installed selenium-3.0.2

ブラウザはChromeを使いたいのですが、
ドライバが必要なようです。

ChromeDriverをダウンロードサイトからダウンロードします。

「Latest Release:」の後ろの「ChromeDriver 2.26」（2016/12/22現在）の
リンクをクリックするとファイル一覧が表示されます。

「chromedriver_win32.zip」をダウンロードします。

解凍すると「chromedriver.exe」というファイルが現れるので、
これをPythonファイルと同じフォルダ内に移動します。

Pythonのプログラムを実装

# -*- coding: utf-8 -*-
"""
Created on Thu Dec 22 16:32:48 2016

@author: 
"""

import time
from selenium import webdriver

url = 'http://search.yahoo.co.jp/search'
keyword = 'python'

def search_web():
    try:
        browser = webdriver.Chrome('./chromedriver')
        browser.get(url)
        time.sleep(1)
        
        search_input = browser.find_element_by_name('p')
        search_input.send_keys(keyword)
        search_input.submit()
        time.sleep(1)
        
        print(browser.page_source)
        
    finally:
        print('END')


if __name__ == '__main__':
    search_web()

seleniumのwebdriverを使用するために、「from selenium import webdriver」を宣言します。

対象ページのURLと検索キーワードを設定しておきます。

search_web()内では、「webdriver.Chrome(‘./chromedriver’)」で
同じディレクトリ内にあるchromedriverを起動します。

「browser.get(url)」でブラウザにURLを渡します。

検索キーワードの入力ボックスのnameが「p」だったので、
「search_input = browser.find_element_by_name(‘p’)」として指定します。

「search_input.send_keys(keyword)」でキーワードをセットします。

「search_input.submit()」で検索を実行します。

検索結果は「browser.page_source」から取得します。

実際に実行してみると、まずchromedriverが起動し、
次にChromeが立ち上がります。

http://search.yahoo.co.jp/searchに移動し、
検索ボックスに「python」が入力されます。

さらに検索が実行され、検索結果ページが表示されました。

最後にChromeが閉じ、検索結果ページのソースが出力されました。

これだけ簡単な操作だと、実装コードも少なくて簡単ですね。

ちなみに、「検索」ボタンがsubmitではなくて、
onclickでJavasScriptを実行している場合は、
「search_input.submit()」の部分を下記で置き換えます。

browser.find_element_by_name('Search').click()

The post PythonとSeleniumでブラウザの自動操作 first appeared on イチゾーのブログ.

PythonのRequestsを使って検索結果を取得する

一蔵 — Thu, 22 Dec 2016 03:31:47 +0000

検索結果一覧を自動取得したい

検索サービスを提供しているWEBページに対して、検索を実行しその結果ページの内容を取得したいということで、
Pythonを使って検索要求を投げ、その結果ページをスクレイピングするプログラムを実装したいと思います。

環境は「AnacondaでWindows上にPython環境を構築」で構築したWindows上のものを使用します。

PythonのRequestsモジュールを使用します。

RequestsはすでにAnacondaに含まれているようなので、これを使用します。

今回は、Requestsを使って検索リクエストを送信します。

サンプルとして、「python」をYahoo!検索した結果を取得するプログラムを実装してみます。

# -*- coding: utf-8 -*-
"""
Created on Thu Dec 22 11:14:21 2016

@author: arina
"""

import requests

url = 'http://search.yahoo.co.jp/search'
params = {'p':'python',
          'search.x':'1',
          'fr':'top_ga1_sa',
          'tid':'top_ga1_sa',
          'ei':'UTF-8',
          'aq':'',
          'oq':'',
          'afs':'',}

def send_request():
    response = requests.get(url, params)
    print (response.text)


if __name__ == '__main__':
    send_request()

これだけでできてしまいました。

URLやパラメーターに使用している値は、Yahoo!のソースを見て取得しました。

検索を行うformタグのURLが「http://search.yahoo.co.jp/search」になっていて、
キーワードを入力するボックスが「p」になっていたので、
paramsに「’p’:’python’」を指定します。
paramsのほかの値は、form内でhiddenで設定されていたものを入れました。

検索リクエストを送信するのは、「response = requests.get(url, params)」の1行だけです。
Yahoo!ページ内のformタグのmethodが「get」になっていたので、
「requests.get」を使用します。
引数にurlとparamsを指定するだけです。

検索結果はresponse内に入っているので、テキストとして取り出すには
「response.text」とすればOKです。

びっくりするほど簡単でした。

The post PythonのRequestsを使って検索結果を取得する first appeared on イチゾーのブログ.

英語多読用リストがKindle Unlimitedに存在するか自動チェックしてみる

一蔵 — Tue, 20 Dec 2016 08:50:13 +0000

PythonでAmazonのKindle Unlimited情報を取得してみるに続いて、
あらかじめテキストファイルに記載していた書名を取得して
Amazon Product Advertising APIに対して検索を行います。

Pythonでテキストファイルを開く

テキストファイルは、以下のようなソースで読み込みます。

#!/usr/bin/env python

f = open('text.txt', 'r')

for line in f:
    print line
    
f.close()

読み込みたいのは以下のようなテキストファイルです。

Foundations Reading Library
Penguin Readers Easystarts
Oxford Bookworms Starters
Macmillan Readers Starter
Macmillan New Wave Readers Level 1
Oxford Reading Tree
Longman Literacy Land Story Street
Macmillan Springboard
Rookie Readers Fiction
Cambridge Storybooks
Longman Shared Reading
Oxford Start with English Readers
Longman Big and Little Books
CTP Emergent Readers
100 English
Sight Word Readers
Time-to-Discover Readers
Step into Reading Step 1
Step into Reading Step 2
Scholastic Reader Level1
Scholastic Reader Level2
My First I Can Read Books
I Can Read Books Level 1
Penguin Young Readers Level 1
Ready-to-Read Pre-Level 1
Ready-to-Read Level 1
Ready-to-Read Level 2
All Aboard Reading Picture Books
All Aboard Reading Level 1
Puffin Easy-to-Read Level 1
Addison Wesley Big and Little Books
Oxford Classic Tales
Curious George Short Stories
Dorling Kindersley Readers Level 1
Dorling Kindersley Readers Level 2
Oxford Dominoes Stage 0
Penguin Young Readers Level 2
Longman Chatterbox
TL PM Readers
HM Leveled Reading Grade 1
The Very Hungry Caterpillar
Good Night Moon
Brown Bear, Brown Bear, What Do You See?

英語多読用の本のリストが欲しい

これは何かというと、英語多読用の本のリストです。

SSS英語多読研究会がすすめる「非常にやさしい本からはじめ、１００万語単位で読む多読」をやってみたいと思っていたのですが、
多読をするためにはまず教材となる英語の本を用意する必要があります。

SSS英語多読研究会では、レベル別に読むべき本を紹介してくれています。

問題は、多読をするためには大量の本を読まなければいけないのですが、
目安である100万語まで到達するまでにはかなりの本が必要になります。

特にレベルの低いころに読む本は、1冊あたりの字数が少ないために
どうしても本の数が多くなってしまいます。

１冊500円～600円程度で購入できるので、数冊買う分にはいいのですが、
多読となると数十冊単位で読む必要があります。
となると、数万円は軽くかかります。

しかもそのレベルを通り過ぎてしまえば、必要がなくなってしまうという
悲しい運命が待っています。
簡単なものから始めるがゆえに、ほぼ読み捨てしなければならないということです。

そこで目を付けたのが、Kindle Unlimitedです。

読み放題のKindle Unlimitedであれば、お金を気にせず読み進められます。
洋書もかなりの冊数あります（先ほど洋書一覧で見ると137万冊以上あるようです）ので、
きっと多読に使える本もあるはずということです。

ただ、ここで問題になるのは対象になる本を見つける方法です。
リストにあがっている本をいちいち検索するのはメンドくさい、
そもそもKindle Unlimitedにない本もある（ないことが多い）、
効率よく多読するには本を効率よく見つけることも大切だということで
リストからKindle Unlimitedにあるのかを探すプログラムを作ることにしました。

今回検索するリストは、SSS英語多読研究会がレベル0として推薦しているものです。

書名リストからAmazon Product Advertising APIを呼び出すプログラム

書名リストのテキストをlevel0.txtとして、Pythonプログラムと同じディレクトリに置きます。

前回の「PythonでAmazonのKindle Unlimited情報を取得してみる」に、ファイルの読み込み処理を組み込みます。

修正したプログラムが以下です。

# -*- coding: utf-8 -*-
"""
Created on Mon Dec 19 14:49:19 2016

@author: 
"""

from bottlenose import api
from lxml import objectify
import time

AMAZON_ACCESS_KEY_ID = "アクセスキー"
AMAZON_SECRET_KEY = "シークレットキー"
AMAZON_ASSOC_TAG = "アソシエイトタグ"

KINDLE_UMLIMITED_NODE_ID = "4486610051"

amazon = api.Amazon(AMAZON_ACCESS_KEY_ID, AMAZON_SECRET_KEY, AMAZON_ASSOC_TAG, Region = "JP")

def file_read (file):
    f = open(file, 'r')
    data = f.read()
    f.close()
    lines = data.split('\n')
    return lines

def item_search (keywords, searchIndex="KindleStore", browseNode=KINDLE_UMLIMITED_NODE_ID):
    response = amazon.ItemSearch(Keywords=keywords, SearchIndex=searchIndex, BrowseNode=browseNode, ResponseGroup="Large")
    root = objectify.fromstring(response)
    return root.Items.Item

if __name__ == '__main__':

    lines = file_read('level0.txt')
    for line in lines:
        for item in item_search(line):
            title = item.ItemAttributes.Title
            author = item.ItemAttributes.Author
            url = item.DetailPageURL
            print ("%s\n%s\n%s\n%s\n\n" % (line, title, author, url))
        time.sleep(5)   # Amazon API呼び出しは1秒に1回以内に収めるためsleep

file_readというメソッドを作って、ここでテキストファイルを読み込み
１行ずつを配列の各要素に入れて返します。

file_readの呼び出し元では、返り値でループさせます。
その際に、sleep(5)を入れています。

これで実行してみると、
「AttributeError: no such child: {http://webservices.amazon.com/AWSECommerceService/2013-08-01}Item」
というエラーで終了します。

APIの結果がない場合にエラーで落ちてしまっています。
今度はこれの対策を考えます。

以下のように書き換えてみました。

# -*- coding: utf-8 -*-
"""
Created on Mon Dec 19 14:49:19 2016

@author: 
"""

from bottlenose import api
from lxml import objectify
import time

AMAZON_ACCESS_KEY_ID = "アクセスキー"
AMAZON_SECRET_KEY = "シークレットキー"
AMAZON_ASSOC_TAG = "アソシエイトタグ"

KINDLE_UMLIMITED_NODE_ID = "4486610051"

amazon = api.Amazon(AMAZON_ACCESS_KEY_ID, AMAZON_SECRET_KEY, AMAZON_ASSOC_TAG, Region = "JP")

def file_read (file):
    f = open(file, 'r')
    data = f.read()
    f.close()
    lines = data.split('\n')
    return lines

def item_search (keywords, searchIndex="KindleStore", browseNode=KINDLE_UMLIMITED_NODE_ID):
    response = amazon.ItemSearch(Keywords=keywords, SearchIndex=searchIndex, BrowseNode=browseNode, ResponseGroup="Large")
    root = objectify.fromstring(response)
    return root.Items

if __name__ == '__main__':

    lines = file_read('level0.txt')
    for line in lines:
        items = item_search(line)
        item_find = items.find('Item')
        if (item_find is not None):
            for item in item_find:
                if (item is not None):
                    title = item.ItemAttributes.Title
                    author = item.ItemAttributes.Author
                    url = item.DetailPageURL
                    print ("%s\n%s\n%s\n%s\n\n" % (line, title, author, url))
                else:
                    print ("%s : Book is None" % (line))
        print ("END %s" % (line))
        time.sleep(5)   # Amazon API呼び出しは1秒に1回以内に収めるためsleep

調べてみると、「root.Items.find(‘Item’)」は、
Itemが空の時Noneを返すということなので、
「items.find(‘Item’)」をitem_findに放り込んで
これがNoneの場合は処理しないようにしました。

結果はというと、以下のようになりました。

END Foundations Reading Library
END Penguin Readers Easystarts
END Oxford Bookworms Starters
END Macmillan Readers Starter
END Macmillan New Wave Readers Level 1
END Oxford Reading Tree
END Longman Literacy Land Story Street
END Macmillan Springboard
END Rookie Readers Fiction
END Cambridge Storybooks
END Longman Shared Reading
END Oxford Start with English Readers
END Longman Big and Little Books
END CTP Emergent Readers
END 100 English
END Sight Word Readers
END Time-to-Discover Readers
END Step into Reading Step 1
END Step into Reading Step 2
END Scholastic Reader Level1
END Scholastic Reader Level2
END My First I Can Read Books
END I Can Read Books Level 1
END Penguin Young Readers Level 1
END Ready-to-Read Pre-Level 1
END Ready-to-Read Level 1
END Ready-to-Read Level 2
END All Aboard Reading Picture Books
END All Aboard Reading Level 1
END Puffin Easy-to-Read Level 1
END Addison Wesley Big and Little Books
END Oxford Classic Tales
END Curious George Short Stories
END Dorling Kindersley Readers Level 1
END Dorling Kindersley Readers Level 2
END Oxford Dominoes Stage 0
END Penguin Young Readers Level 2
END Longman Chatterbox
END TL PM Readers
END HM Leveled Reading Grade 1
END The Very Hungry Caterpillar
END Good Night Moon
END Brown Bear, Brown Bear, What Do You See?
END

結果は全滅・・・。
一つもKindle Unlimitedにはないという結果に。

そしてなぜか「if (item is not None):」のelse部分を通ってくれなかったという謎も。

リストを広げて再取得してみることにします。

The post 英語多読用リストがKindle Unlimitedに存在するか自動チェックしてみる first appeared on イチゾーのブログ.

PythonでAmazonのKindle Unlimited情報を取得してみる

一蔵 — Tue, 20 Dec 2016 03:10:39 +0000

Kindle Unlimitedって検索しずらい

Kindle Unlimitedを利用しているのですが、いまいち検索しずらいので
該当の本がKindle Unlimitedで読めるのかを取得するプログラムを作ってみます。

PythonからAmazon Product Advertising APIを呼び出すプログラムを実装してみます。

環境は、「AnacondaでWindows上にPython環境を構築」で構築したものを使用します。

Windows上でインストールしたAnacondaで一緒に入っているSyderを使用します。

Syderを立ち上げて、まずはプロジェクトを作成します。

メニューのProjectsから「New Project…」をクリックします。

プロジェクト名とプロジェクトで使用するフォルダを指定します。

作成したいPythonプログラム

作成したいプログラムは、書名で検索してその本がKindle Unlimitedに
登録されているかを返すというものです。

現在、Kindle Unlimitedを利用中なのですが、
Kindle Unlimitedだけを対象とした検索って
いまいちやりずらいんです。

そこで、書名から検索してそれがKindle Unlimitedの対象になっているかを
調べるプログラムを作ろうと思った次第です。

書名は1冊ではなく複数調べたいので、
入力はテキストファイルにリストで書いておいて
それを読み込むようにしたいと思います。

出力は、書名とそれがKindle Unlimitedに存在するかの真偽値を
記載するようにすればよいでしょう。

Amazon Product Advertising API用のライブラリを利用する

Pythonには、Amazon Product Advertising API用のライブラリがあるようなので、それを利用させてもらいます。

まずはbottlenoseというライブラリをインストールします。

コマンドプロンプトを立ち上げる際に右クリックして、
「その他」から「管理者として実行」をクリックします。

以下のコマンドを実行します。

pip install bottlenose

これでインストールできました。

pipのバージョンが古いというメッセージが出ましたので、
ついでにpipのバージョンも上げておきます。

python -m pip install --upgrade pip

Pythonプログラムのコーディング

準備ができたので、さっそくPythonプログラムを実装します。
今度はSpyderのエディタでコーディングを行います。

まずは簡単に、キーワードを指定して該当する書籍の書名、著者名、URLを返すプログラムを書きます。

# -*- coding: utf-8 -*-
"""
Created on Mon Dec 19 14:49:19 2016

@author:
"""

from bottlenose import api
from lxml import objectify

AMAZON_ACCESS_KEY_ID = "アクセスキー"
AMAZON_SECRET_KEY = "シークレットキー"
AMAZON_ASSOC_TAG = "アソシエイトタグ"

amazon = api.Amazon(AMAZON_ACCESS_KEY_ID, AMAZON_SECRET_KEY, AMAZON_ASSOC_TAG, Region = "JP")

def item_search (keywords, searchIndex="Books"):
    response = amazon.ItemSearch(Keywords=keywords, SearchIndex=searchIndex, ResponseGroup="Large")
    root = objectify.fromstring(response)
    return root.Items.Item

if __name__ == '__main__':

    for item in item_search('python'):
        title = item.ItemAttributes.Title
        author = item.ItemAttributes.Author
        url = item.DetailPageURL
        print ("%s\n%s\n%s\n\n" % (title, author, url))

lxmlはAnacondaに含まれていましたので、インストールする必要はありませんでした。

これで、「python」というキーワードに該当する本の
タイトル、著者名、URLを取得することができました。

Kindle Unlimitedを対象に検索する

上記では、「searchIndex=”Books”」として、本のカテゴリから検索しましたが、
次はKindle Unlimitedカテゴリ内を検索するようにします。

すでに実装されている方がいらっしゃったので、参考にさせていただきます。

RubyでAmazonのAPIを使ってKindle Unlimited本の一覧を取得する。

こちらの方の記事によると、searchIndexを「KindleStore」にして
browseNodeを追加してKindle UnlimitedのノードID「4486610051」を指定してやればよいようです。

で、実装してみました。

# -*- coding: utf-8 -*-
"""
Created on Mon Dec 19 14:49:19 2016

@author:
"""

from bottlenose import api
from lxml import objectify

AMAZON_ACCESS_KEY_ID = "アクセスキー"
AMAZON_SECRET_KEY = "シークレットキー"
AMAZON_ASSOC_TAG = "アソシエイトタグ"

KINDLE_UMLIMITED_NODE_ID = "4486610051"

amazon = api.Amazon(AMAZON_ACCESS_KEY_ID, AMAZON_SECRET_KEY, AMAZON_ASSOC_TAG, Region = "JP")

def item_search (keywords, searchIndex="KindleStore", browseNode=KINDLE_UMLIMITED_NODE_ID):
    response = amazon.ItemSearch(Keywords=keywords, SearchIndex=searchIndex, BrowseNode=browseNode, ResponseGroup="Large")
    root = objectify.fromstring(response)
    return root.Items.Item

if __name__ == '__main__':

    for item in item_search('python'):
        title = item.ItemAttributes.Title
        author = item.ItemAttributes.Author
        url = item.DetailPageURL
        print ("%s\n%s\n%s\n\n" % (title, author, url))

変更した個所は、item_searchでsearchIndexを「KindleStore」に変更して
browseNodeを追加しただけです。

これを実行してみたところ、きちんとKindle Unlimited対象商品がリストに上がってきます。

これで、Amazon Product Advertising APIからKindle Unlimitedの電子書籍を取得することができました。

次回からは、いよいよ書名のリストからそれがKindle Unlimitedにあるかを取得するプログラムに進みます。

The post PythonでAmazonのKindle Unlimited情報を取得してみる first appeared on イチゾーのブログ.