Komenda "scrapy" daje "command not found" w PyCharm.

Question

Hej,

Zainstalowałem framework/bibliotekę scrapy w PyCharm:

1. https://ibb.co/d20g60F

Jednak po wpisaniu w terminalu PyCharm komendy "scrapy" dostaje "command not found":

2. https://ibb.co/6nnFZkn

Moje pytanie to: jak uruchomić scrapy w terminalu PyCharm?

Dzięki za wasz czas i waszą pomoc :-).

Cześć.

Answer 1

Scrapy importujesz w swoim crawlerze

import scrapy

Jak napiszesz swój scrapy, korzystając z biblioteki scrapy to możesz go odpalić lokalnie lub w chmurze, np. jako FaaS czy w specjalnej chmurze od twórców tej biblioteki ScrapingHub (cześć usług płatna).

Zwykle odpalasz:

scrapy runspider moj_scraper.py

 

Jeśli scrapy nie odpala, to może być tak, ze masz go zainstalowanego w pythonie systemowym, a nie w odizolowanym środowisku, które masz aktualnie otwarte w PyCharm.

Widzę, że zabierasz się za scrapowanie stron. Od razu polecę Tobie dodatek SPLASH do Scrapy, bo inaczej będziesz miał problemy z dynamicznymi (JS-owymi) stronami.

pip install scrapy-splash

Comments

Hej @reaktywny,

Na początku chciałbym ci podziękować za twoją pomoc.

Po wpisaniu komendy "scrapy" w terminalu powinien mi się pokazać komunikat o opcjach jakie daje ta komenda i to by świadczyło o tym że terminal rozpoznaje tą komendę czyli wszystko jest set up.

Dziękuję ci za podpowiedzi odnośnie spidera ale to już wszystko wiem. Chodzi mi tylko o możliwość odpalenia scrapy w terminalu PyCharma abym mógł na przykład wykonać komendę "scrapy crawl nazwa_spidera".

PyCharm domyślnie tworzy virtual environment dla każdego projektu i tak jak widać na screenshocie mam zainstalowaną tą bibliotekę w tym środowisku.

Jedyne co mi się nasuwa do głowy to to że na początku terminala pisze "base" a chyba powinno pisać "env" ale nie wiem jak to zmienić.

Może ty wiesz, bo to może być rozwiązanie tego problemu :-)?

---

Ten (base) to może być raczej python systemowy? Ja u siebie mam (venv).

Może odpal plik activate.exe lub .bat by uruchomić środowisko odizolowane (?).

U mnie tego robić nie potrzeba, scrapy działa od "pierwszego kopniaka" :)

 

(venv) C:\Users\User\PycharmProjects\pythonProject3>scrapy
Scrapy 2.4.1 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test

itd itd.

---

Hej @reaktywny,

Też tak myślę że base świadczy o tym że terminal jest podłączony do interpretera Python systemowego a nie venv. Nie wiem jednak jak odpalić venv ponieważ nie pracuje na Windowsie tylko na Macbooku.

Na Windowsie też bym tego nie wiedział :-D.

Jakieś sugestie?

---

Może to:

4. punkt (przy zakładaniu projektu):

https://www.jetbrains.com/help/pycharm/creating-virtual-environment.html#python_create_virtual_env

Ewentualnie:

https://medium.com/@marcio.debarros/configuring-a-python-development-environment-to-be-used-with-pycharm-on-macos-17dae7e59e49

---

Problem już został rozwiązany. Nie pamiętam już jak. Dzięki za pomoc.

Answer 2

Problemem jest to że PyCharm używa do każdego projektu innego środowiska wirtualnego. Tak więc jak instalujemy scrapy przez GUI w PyCharm to instalujemy go do tego środowiska.

Jednak w terminalu mamy inne środowisko (base), które jest chyba głównym środowiskiem dla komputera.

Tak więc po wpisaniu komendy scrapy w tym terminalu nie rozpozna jej.

Rozwiązaniem jest albo:

1. Zainstalować scrapy też dla tego głównego środowiska, w terminalu wpisz: pip install scrapy

2. Zmiana środowiska w terminalu z (base) na to co mamy w PyCharm, jednak jeszcze szukam rozwiązania jak to zrobić.

Pozdrawiam.