背景

为了业务需要，手动搭建一个pyspider，因为不想手动安装太多软件，考虑到 官网有释放出了一个可用的docker-compose.yml 配置；

上车

  • 碰到问题一： 直接使用官网的docker-compose.yml （http://docs.pyspider.org/en/latest/Running-pyspider-with-Docker/）会碰到：scheduler 启动不起来的问题，使用 docker logs name 可以看到具体的报错信息是： ImportError: No module named MySQLdb
  • 解决方式：因为官网的版本，有个模块没安装，重新编译一下image:
  1. # 新建文件Dockerfile,填入以下内容：
  3. FROM binux/pyspider
  4. RUN pip install MySQL-python
  5. VOLUME ["/opt/pyspider"]
  6. ENTRYPOINT ["pyspider"]
  7. EXPOSE 5000 23333 24444 25555
  9. # 执行以下命令：
  10. docker build -t binux/pyspider:my .
  • 这样就生成了pyspider的my 标签；把官网的配置里面的： binux/pyspider:latest 全部改成 binux/pyspider:my
  • 碰到问题二：提示：docker pyspider “Can’t connect to MySQL server on 172
  • 解决方式： 因为官网的docker compose写法是把数据库和queue放外面，而我是放在 docker-compose 配置里面；所以为了确保他们在同一个网络下，我先创建要给网络 (命令行先执行： docker network create nginx-proxy)，然后把整个放在里面; docker-compose.yml 建下面：
  1. ##file_name: docker-compose.yml
  3. ### 不要随意改动：
  4. version: "3"
  6. services:
  7.     phantomjs:
  8.         image: binux/pyspider:my
  9.         command: phantomjs
  10.     result:
  11.         image: binux/pyspider:my
  12.         links:
  13.             - mysql
  14.             - rabbitmq
  15.         command: result_worker
  16.     processor:
  17.         image: binux/pyspider:my
  18.         links:
  19.             - mysql
  20.             - rabbitmq
  21.         command: processor
  22.     fetcher:
  23.         image: binux/pyspider:my
  24.         links:
  25.             - phantomjs
  26.             - rabbitmq
  27.         command: fetcher
  28.     scheduler:
  29.         image: binux/pyspider:my
  30.         links:
  31.             - mysql
  32.             - rabbitmq
  33.         command: scheduler
  34.     webui:
  35.         image: binux/pyspider:my
  36.         links:
  37.             - scheduler
  38.             - phantomjs
  39.             - mysql
  40.             - rabbitmq
  41.         command: webui
  42.         ports:
  43.             - "5000:5000"
  44.     mysql:
  45.         image: mysql:5.6
  46.         restart: always
  47.         environment:
  48.             MYSQL_ALLOW_EMPTY_PASSWORD: "yes"
  49.     rabbitmq:
  50.         image: rabbitmq:latest
  51.         restart: always
  53. networks:
  54.   default:
  55.     external:
  56.       name: nginx-proxy
  • 执行 docker-compose up ，访问 http://ip:5000 出现图形界面：成功；

参考文档：