自動化厨のプログラミングメモブログ │ CODE:LIFE

Python/ExcelVBA/JavaScript/Raspberry Piなどで色んなことを自動化

Pythonでスクレイピングしようと思ってScrapy入れようとしたらエラーになった話

sutaba-mac.site

$ pip install scrapy

でインストールすればええんやな、楽勝。 ・・・。 めっちゃエラーでるやん。

Command "c:\users\1953.three-i\appdata\local\continuum\anaconda3\python.exe -u -c "import setuptools, tokenize;__file__='C:\\Users\\1953~1.THR\\AppData\\Local\\Temp\\pip-install-3mpbwq60\\Twisted\\setup.py';f=getattr(tokenize, 'ope
n', open)(__file__);code=f.read().replace('\r\n', '\n');f.close();exec(compile(code, __file__, 'exec'))" install --record C:\Users\1953~1.THR\AppData\Local\Temp\pip-record-imjhck90\install-record.txt --single-version-externally-man
aged --compile" failed with error code 1 in C:\Users\1953~1.THR\AppData\Local\Temp\pip-install-3mpbwq60\Twisted\

WindowsかつAnaconda環境ではこっち使えとのこと

conda install -c conda-forge scrapy

Installation guide — Scrapy 1.5.0 documentation

Proceed ([y]/n)? y

Y

上手くいきました

Solving environment: done

## Package Plan ##

  environment location: C:\Users\1953.THREE-I\AppData\Local\Continuum\anaconda3

  added / updated specs:
    - scrapy


The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    pydispatcher-2.0.5         |           py36_0          18 KB  conda-forge
    hdf5-1.10.1                |           vc14_2        17.9 MB  conda-forge
    zope.interface-4.5.0       |   py36hfa6e2cd_0         203 KB
    conda-4.5.3                |           py36_0         649 KB  conda-forge
    twisted-17.5.0             |           py36_0         4.4 MB
    tk-8.6.7                   |           vc14_0         3.5 MB  conda-forge
    pyasn1-modules-0.2.1       |             py_0          33 KB  conda-forge
    constantly-15.1.0          |             py_0           9 KB  conda-forge
    ca-certificates-2018.4.16  |                0         176 KB  conda-forge
    zlib-1.2.11                |           vc14_0         119 KB  conda-forge
    qt-5.6.2                   |           vc14_1        55.6 MB  conda-forge
    sqlite-3.22.0              |           vc14_0         907 KB  conda-forge
    libpng-1.6.34              |           vc14_0         547 KB  conda-forge
    krb5-1.14.6                |           vc14_0         767 KB  conda-forge
    pyasn1-0.4.2               |             py_0          46 KB  conda-forge
    zope-1.0                   |           py36_0           3 KB
    lzo-2.10                   |           vc14_0         154 KB  conda-forge
    yaml-0.1.7                 |           vc14_0         103 KB  conda-forge
    freetype-2.8.1             |           vc14_0         469 KB  conda-forge
    certifi-2018.4.16          |           py36_0         143 KB  conda-forge
    queuelib-1.5.0             |           py36_0          21 KB
    hyperlink-17.3.1           |             py_0          28 KB  conda-forge
    service_identity-17.0.0    |           py36_0          18 KB
    libxml2-2.9.8              |           vc14_0         3.2 MB  conda-forge
    libxslt-1.1.32             |           vc14_0         456 KB  conda-forge
    automat-0.6.0              |           py36_0          90 KB  conda-forge
    winpty-0.4.3               |           vc14_2         126 KB  conda-forge
    bzip2-1.0.6                |           vc14_1         144 KB  conda-forge
    libssh2-1.8.0              |           vc14_2         184 KB  conda-forge
    icu-58.2                   |           vc14_0        21.8 MB  conda-forge
    pytest-runner-4.2          |             py_0           8 KB  conda-forge
    jpeg-9b                    |           vc14_2         314 KB  conda-forge
    incremental-17.5.0         |             py_0          14 KB  conda-forge
    libiconv-1.15              |           vc14_0         682 KB  conda-forge
    libtiff-4.0.9              |           vc14_0         616 KB  conda-forge
    curl-7.59.0                |           vc14_1         362 KB  conda-forge
    scrapy-1.5.0               |           py36_0         329 KB  conda-forge
    openssl-1.0.2o             |           vc14_0         5.4 MB  conda-forge
    cssselect-1.0.3            |             py_0          16 KB  conda-forge
    parsel-1.4.0               |           py36_0          27 KB
    w3lib-1.19.0               |           py36_0          31 KB
    ------------------------------------------------------------
                                           Total:       119.3 MB

The following NEW packages will be INSTALLED:

    automat:          0.6.0-py36_0          conda-forge
    constantly:       15.1.0-py_0           conda-forge
    cssselect:        1.0.3-py_0            conda-forge
    hyperlink:        17.3.1-py_0           conda-forge
    incremental:      17.5.0-py_0           conda-forge
    krb5:             1.14.6-vc14_0         conda-forge [vc14]
    parsel:           1.4.0-py36_0
    pyasn1:           0.4.2-py_0            conda-forge
    pyasn1-modules:   0.2.1-py_0            conda-forge
    pydispatcher:     2.0.5-py36_0          conda-forge
    pytest-runner:    4.2-py_0              conda-forge
    queuelib:         1.5.0-py36_0
    scrapy:           1.5.0-py36_0          conda-forge
    service_identity: 17.0.0-py36_0
    twisted:          17.5.0-py36_0
    w3lib:            1.19.0-py36_0
    zope:             1.0-py36_0
    zope.interface:   4.5.0-py36hfa6e2cd_0

The following packages will be UPDATED:

    ca-certificates:  2018.03.07-0                      --> 2018.4.16-0      conda-forge
    certifi:          2018.1.18-py36_0                  --> 2018.4.16-py36_0 conda-forge
    conda:            4.5.0-py36_0                      --> 4.5.3-py36_0     conda-forge
    curl:             7.59.0-h7602738_0                 --> 7.59.0-vc14_1    conda-forge [vc14]
    freetype:         2.8-h51f8f2c_1                    --> 2.8.1-vc14_0     conda-forge [vc14]
    hdf5:             1.10.1-h98b8871_1                 --> 1.10.1-vc14_2    conda-forge [vc14]
    jpeg:             9b-hb83a4c4_2                     --> 9b-vc14_2        conda-forge [vc14]
    libpng:           1.6.34-h79bbb47_0                 --> 1.6.34-vc14_0    conda-forge [vc14]
    libtiff:          4.0.9-h0f13578_0                  --> 4.0.9-vc14_0     conda-forge [vc14]
    libxml2:          2.9.7-h79bbb47_0                  --> 2.9.8-vc14_0     conda-forge [vc14]
    libxslt:          1.1.32-hf6f1972_0                 --> 1.1.32-vc14_0    conda-forge [vc14]
    openssl:          1.0.2o-h8ea7d77_0                 --> 1.0.2o-vc14_0    conda-forge [vc14]
    sqlite:           3.22.0-h9d3ae62_0                 --> 3.22.0-vc14_0    conda-forge [vc14]

The following packages will be DOWNGRADED:

    bzip2:            1.0.6-hbe05fcf_4                  --> 1.0.6-vc14_1     conda-forge [vc14]
    icu:              58.2-ha66f8fd_1                   --> 58.2-vc14_0      conda-forge [vc14]
    libiconv:         1.15-h1df5818_7                   --> 1.15-vc14_0      conda-forge [vc14]
    libssh2:          1.8.0-hd619d38_4                  --> 1.8.0-vc14_2     conda-forge [vc14]
    lzo:              2.10-h6df0209_2                   --> 2.10-vc14_0      conda-forge [vc14]
    qt:               5.6.2-vc14h6f8c307_12             --> 5.6.2-vc14_1     conda-forge [vc14]
    tk:               8.6.7-hcb92d03_3                  --> 8.6.7-vc14_0     conda-forge [vc14]
    winpty:           0.4.3-4                           --> 0.4.3-vc14_2     conda-forge [vc14]
    yaml:             0.1.7-hc54c509_2                  --> 0.1.7-vc14_0     conda-forge [vc14]
    zlib:             1.2.11-h8395fce_2                 --> 1.2.11-vc14_0    conda-forge [vc14]

Proceed ([y]/n)? y


Downloading and Extracting Packages
pydispatcher 2.0.5: ########################################################################################################################################################################################################## | 100%
hdf5 1.10.1: ################################################################################################################################################################################################################# | 100%
zope.interface 4.5.0: ######################################################################################################################################################################################################## | 100%
conda 4.5.3: ################################################################################################################################################################################################################# | 100%
twisted 17.5.0: ############################################################################################################################################################################################################## | 100%
tk 8.6.7: #################################################################################################################################################################################################################### | 100%
pyasn1-modules 0.2.1: ######################################################################################################################################################################################################## | 100%
constantly 15.1.0: ########################################################################################################################################################################################################### | 100%
ca-certificates 2018.4.16: ################################################################################################################################################################################################### | 100%
zlib 1.2.11: ################################################################################################################################################################################################################# | 100%
qt 5.6.2: #################################################################################################################################################################################################################### | 100%
sqlite 3.22.0: ############################################################################################################################################################################################################### | 100%
libpng 1.6.34: ############################################################################################################################################################################################################### | 100%
krb5 1.14.6: ################################################################################################################################################################################################################# | 100%
pyasn1 0.4.2: ################################################################################################################################################################################################################ | 100%
zope 1.0: #################################################################################################################################################################################################################### | 100%
lzo 2.10: #################################################################################################################################################################################################################### | 100%
yaml 0.1.7: ################################################################################################################################################################################################################## | 100%
freetype 2.8.1: ############################################################################################################################################################################################################## | 100%
certifi 2018.4.16: ########################################################################################################################################################################################################### | 100%
queuelib 1.5.0: ############################################################################################################################################################################################################## | 100%
hyperlink 17.3.1: ############################################################################################################################################################################################################ | 100%
service_identity 17.0.0: ##################################################################################################################################################################################################### | 100%
libxml2 2.9.8: ############################################################################################################################################################################################################### | 100%
libxslt 1.1.32: ############################################################################################################################################################################################################## | 100%
automat 0.6.0: ############################################################################################################################################################################################################### | 100%
winpty 0.4.3: ################################################################################################################################################################################################################ | 100%
bzip2 1.0.6: ################################################################################################################################################################################################################# | 100%
libssh2 1.8.0: ############################################################################################################################################################################################################### | 100%
icu 58.2: #################################################################################################################################################################################################################### | 100%
pytest-runner 4.2: ########################################################################################################################################################################################################### | 100%
jpeg 9b: ##################################################################################################################################################################################################################### | 100%
incremental 17.5.0: ########################################################################################################################################################################################################## | 100%
libiconv 1.15: ############################################################################################################################################################################################################### | 100%
libtiff 4.0.9: ############################################################################################################################################################################################################### | 100%
curl 7.59.0: ################################################################################################################################################################################################################# | 100%
scrapy 1.5.0: ################################################################################################################################################################################################################ | 100%
openssl 1.0.2o: ############################################################################################################################################################################################################## | 100%
cssselect 1.0.3: ############################################################################################################################################################################################################# | 100%
parsel 1.4.0: ################################################################################################################################################################################################################ | 100%
w3lib 1.19.0: ################################################################################################################################################################################################################ | 100%
Preparing transaction: done
Verifying transaction: done
Executing transaction: done