fastcgi-mono-server4 и nginx с докером

Question

В Интернете много информации о том, как настроить nginx + fastcgi-mono-server4 на той же машине для размещения ASP.net (в данный момент я использую приложение F# с Websharper) из среды linux. Но докер должен запускать только один процесс. Также существуют решения для этого с использованием runit или других инструментов для запуска nginx и моно-сервера в одном контейнере.

Он работает в том же контейнере, но когда я пытаюсь переместить веб-приложение + fastcgi-mono-server4 в другой контейнер, я получаю

 [error] 12#12: *1 connect() failed (111: Connection refused) while connecting to upstream, client: 192.168.99.1, server: , request: "GET / HTTP/1.1", upstream: "fastcgi://172.17.0.40:32775", host: "192.168.99.100:32786"

Нашел статью о похожих требованиях, но для php fastcgi server (php-fpm), и это работает только с линковкой контейнеров. Но для fastcgi-mono-server4 это не так.

Я попытался создать 1 контейнер с файлами приложений fastcgi-mono-server4 +, выставив ОБЪЕМ файлов приложений, выставив порт 9000, а затем контейнер nginx с томами из первого контейнера и ссылку на него. Также попытался запустить 2 одинаковых контейнера с nginx и mono. сервер установлен, сначала с fastcgi_pass 127.0.0.1:9000, затем с fastcgi_pass 172.17.0.40:32775 - ip и порт из первого контейнера. Если доступ к первому контейнеру - приложение работает, доступ ко второму контейнеру - та же ошибка, что и выше.

Команда, используемая для запуска моно-сервера:

fastcgi-mono-server4 /printlog=True /applications=/:/var/www/websharper/ /socket=tcp:0.0.0.0:9000 /loglevels=All /verbose=True

Версии установленного программного обеспечения:

Container from mono (debian wheezy with mono:4.0.0)
NGINX_VERSION 1.9.5-1~wheezy
$ mono --version
Mono JIT compiler version 4.0.3 (Stable 4.0.3.20/d6946b4 Tue Aug  4 09:43:57 UTC 2015)
Copyright (C) 2002-2014 Novell, Inc, Xamarin Inc and Contributors. www.mono-project.com
    TLS:           __thread
    SIGSEGV:       altstack
    Notifications: epoll
    Architecture:  amd64
    Disabled:      none
    Misc:          softdebug
    LLVM:          supported, not enabled.
    GC:            sgen
$ fastcgi-mono-server4 --version
Mono.WebServer2.dll 0.4.0.0

Некоторые логи при запуске fastcgi-mono-server4

9: 1 fastcgi-mono-server [2015-10-01 09:01:17.510407] Debug  : fastcgi-mono-server4
9: 1 fastcgi-mono-server [2015-10-01 09:01:17.530481] Debug  : Uid 0, euid 0, gid 0, egid 0
9: 1 fastcgi-mono-server [2015-10-01 09:01:17.531310] Debug  : Root directory: /
9: 1 fastcgi-mono-server [2015-10-01 09:01:17.532843] Notice : Adding applications '/:/var/www/websharper/'...
9: 1 fastcgi-mono-server [2015-10-01 09:01:17.533478] Notice : Registering application:
9: 1 fastcgi-mono-server [2015-10-01 09:01:17.533757] Notice :     Host:          any
9: 1 fastcgi-mono-server [2015-10-01 09:01:17.534075] Notice :     Port:          any
9: 1 fastcgi-mono-server [2015-10-01 09:01:17.534459] Notice :     Virtual path:  /
9: 1 fastcgi-mono-server [2015-10-01 09:01:17.534770] Notice :     Physical path: /var/www/websharper/
9: 1 fastcgi-mono-server [2015-10-01 09:01:17.543250] Debug  : Parsed tcp:0.0.0.0:9000 as URI tcp:0.0.0.0:9000
9: 1 fastcgi-mono-server [2015-10-01 09:01:17.556826] Debug  : Listening on port: 9000
9: 1 fastcgi-mono-server [2015-10-01 09:01:17.558991] Debug  : Listening on address: 0.0.0.0
9: 1 fastcgi-mono-server [2015-10-01 09:01:17.564079] Debug  : Max connections: 1024
9: 1 fastcgi-mono-server [2015-10-01 09:01:17.564786] Debug  : Max requests: 1024
9: 1 fastcgi-mono-server [2015-10-01 09:01:17.565224] Debug  : Multiplex connections: False
9: 3 fastcgi-mono-server [2015-10-01 09:01:17.568840] Debug  : Server started [callback: Mono.WebServer.FastCgi.ServerProxy]

Поверх моно: установленный образ докера 4.0.0:

apt-get install -y ca-certificates nginx=1.9.5-1~wheezy
apt-get install -qy mono-fastcgi-server4
apt-get install -qy mono-xsp4
apt-get install -qy fsharp

Также я гарантирую, что для приложения используется mono 4.5:

sed -ie 's|mono/4.0|mono/4.5|g' /usr/bin/fastcgi-mono-server4 \
&& sed -ie 's|mono/4.0|mono/4.5|g' /usr/bin/xsp4

И мой nginx.conf

worker_processes  1;
events {
   worker_connections  1024;
}
http {
   include       mime.types;
   default_type  application/octet-stream;
   sendfile        on;
   keepalive_timeout  65;
   server {
       listen       80 default;
       access_log   /dev/stdout;
       error_log    /dev/stdout;
       root         /var/www/websharper;
       index        main.html;
       location / {
           root                /var/www/websharper/;
           fastcgi_pass        172.17.0.40:32775;
           include             /etc/nginx/fastcgi_params;
       }
       error_page   500 502 503 504  /50x.html;
       location = /50x.html {
           root   html;
       }
   }
}

и, наконец, fastcgi_params

fastcgi_param  QUERY_STRING       $query_string;
fastcgi_param  REQUEST_METHOD     $request_method;
fastcgi_param  CONTENT_TYPE       $content_type;
fastcgi_param  CONTENT_LENGTH     $content_length;
fastcgi_param  SCRIPT_NAME        $fastcgi_script_name;
fastcgi_param  REQUEST_URI        $request_uri;
fastcgi_param  DOCUMENT_URI       $document_uri;
fastcgi_param  DOCUMENT_ROOT      $document_root;
fastcgi_param  SERVER_PROTOCOL    $server_protocol;
fastcgi_param  HTTPS              $https if_not_empty;
fastcgi_param  GATEWAY_INTERFACE  CGI/1.1;
fastcgi_param  SERVER_SOFTWARE    nginx/$nginx_version;
fastcgi_param  REMOTE_ADDR        $remote_addr;
fastcgi_param  REMOTE_PORT        $remote_port;
fastcgi_param  SERVER_ADDR        $server_addr;
fastcgi_param  SERVER_PORT        $server_port;
fastcgi_param  SERVER_NAME        $server_name;
fastcgi_param  PATH_INFO         "";
fastcgi_param  SCRIPT_FILENAME   $document_root$fastcgi_script_name;

Обновить:

В источниках я обнаружил, что TcpSocket назначает петлевой ip, если вы выбираете Any ip... что странно...

class TcpSocket : StandardSocket {
    public TcpSocket (System.Net.IPEndPoint localEndPoint)
        : base (System.Net.Sockets.AddressFamily.InterNetwork, System.Net.Sockets.SocketType.Stream,
                System.Net.Sockets.ProtocolType.IP, localEndPoint)
    {
    }

    public TcpSocket (System.Net.IPAddress address, int port)
        : this (new System.Net.IPEndPoint (Equals(address, System.Net.IPAddress.Any) ?
            System.Net.IPAddress.Loopback : address, port))
    {
    }
}

В любом случае я попытался использовать заданный IP-адрес напрямую для моно-сервера (связав контейнер nginx с моно-контейнером)

fastcgi-mono-server4 /printlog=True /applications=/:/var/www/websharper/ /socket=tcp:$(printenv NGINX_HOST_PORT_80_TCP_ADDR):9000 /loglevels=All /verbose=True

и запустить коробку с

docker run --name t2 --link t1:nginx_host -it -P vasylpurchel/docker-websharper

где t1 - это окно с запущенным в нем nginx. Этот тест также не прошел:

root@dc540db6577f:/#     8: 1 fastcgi-mono-server [2015-10-02 14:32:05.147774] Debug  : fastcgi-mono-server4
8: 1 fastcgi-mono-server [2015-10-02 14:32:05.154128] Debug  : Uid 0, euid 0, gid 0, egid 0
8: 1 fastcgi-mono-server [2015-10-02 14:32:05.155000] Debug  : Root directory: /
8: 1 fastcgi-mono-server [2015-10-02 14:32:05.156562] Notice : Adding applications '/:/var/www/websharper/'...
8: 1 fastcgi-mono-server [2015-10-02 14:32:05.157182] Notice : Registering application:
8: 1 fastcgi-mono-server [2015-10-02 14:32:05.157457] Notice :     Host:          any
8: 1 fastcgi-mono-server [2015-10-02 14:32:05.157908] Notice :     Port:          any
8: 1 fastcgi-mono-server [2015-10-02 14:32:05.158195] Notice :     Virtual path:  /
8: 1 fastcgi-mono-server [2015-10-02 14:32:05.158489] Notice :     Physical path: /var/www/websharper/
8: 1 fastcgi-mono-server [2015-10-02 14:32:05.169995] Debug  : Parsed tcp:172.17.0.5:9000 as URI tcp:172.17.0.5:9000
8: 1 fastcgi-mono-server [2015-10-02 14:32:05.181117] Debug  : Listening on port: 9000
8: 1 fastcgi-mono-server [2015-10-02 14:32:05.182573] Debug  : Listening on address: 172.17.0.5
8: 1 fastcgi-mono-server [2015-10-02 14:32:05.186638] Debug  : Max connections: 1024
8: 1 fastcgi-mono-server [2015-10-02 14:32:05.187418] Debug  : Max requests: 1024
8: 1 fastcgi-mono-server [2015-10-02 14:32:05.187767] Debug  : Multiplex connections: False
8: 1 fastcgi-mono-server [2015-10-02 14:32:05.192868] Error  : Failed to start server Mono.WebServer.FastCgi.Sockets.    TcpSocket: The requested address is not valid in this context (10049)
Unhandled Exception:
System.Net.Sockets.SocketException: The requested address is not valid in this context
at System.Net.Sockets.Socket.Bind (System.Net.EndPoint local_end) [0x00000] in <filename unknown>:0
at Mono.WebServer.FastCgi.Sockets.StandardSocket.Listen (Int32 backlog) [0x00000] in <filename unknown>:0
at Mono.WebServer.FastCgi.GenericServer`1[Mono.WebServer.FastCgi.ConnectionProxy].Start (Boolean background, Int32 backlog) [    0x00000] in <filename unknown>:0
[ERROR] FATAL UNHANDLED EXCEPTION: System.Net.Sockets.SocketException: The requested address is not valid in this context
at System.Net.Sockets.Socket.Bind (System.Net.EndPoint local_end) [0x00000] in <filename unknown>:0
at Mono.WebServer.FastCgi.Sockets.StandardSocket.Listen (Int32 backlog) [0x00000] in <filename unknown>:0
at Mono.WebServer.FastCgi.GenericServer`1[Mono.WebServer.FastCgi.ConnectionProxy].Start (Boolean background, Int32 backlog) [0x00000] in <filename unknown>:0

Адрес 172.17.0.5 был IpAddress контейнера с запущенным nginx.

Answer 1

У fastcgi-mono-server4 есть ограничение на контейнер докера с адресом прослушивания при использовании параметра

• /socket=tcp:9000 только слушать на локальном хосте
• /socket=tcp:0.0.0.0:9000 слушать только на локальном хосте, странно, но верно

чтобы исправить поведение fastcgi-mono-server4, вы должны использовать IP-адрес контейнера докера в параметре сокета

• / Сокет = TCP: IPContainer: 9000
• / socket = tcp: $ (ip -4 addr show eth0 | grep -Po 'inet \ K [\ d.] +'): 9000

вам нужно исправить команду внутри контейнера Docker

fastcgi-mono-server4 /applications=/:/var/www/websharper/ /socket=tcp:$(ip -4 addr show eth0| grep -Po 'inet \K[\d.]+'):9000

Это пример исправления Dockerfile

FROM mono:latest

RUN apt-get update
RUN apt-get install -y mono-fastcgi-server4
RUN rm -rf /var/lib/apt/lists/* /tmp/*

RUN echo "#!/bin/sh\nfastcgi-mono-server4 /applications=/:/var/www/websharper/ /socket=tcp:\$(ip -4 addr show eth0| grep -Po 'inet \K[\d.]+'):9000" > /opt/mono-fastcgi
RUN chmod +x /opt/mono-fastcgi

EXPOSE 9000

CMD [ "/opt/mono-fastcgi" ]

Answer 2

Хочу добавить, что в сервисе Docker Swarm с оверлейной сетью вам нужен адрес eth2, Моя конфигурация выглядит так:

Dockerfile

...
ENV BIND_TO=eth0
RUN echo "#!/bin/sh\nfastcgi-mono-server4 /applications=/:/app/ /socket=tcp:\$(ip -4 addr show \$BIND_TO| grep -Po 'inet \K[\d.]+'):9000" > /opt/mono-fastcgi
...

докер-compose.yml

version: "3"
services:
  web:
    image: ...
    ports:
      - "9000:9000"
    environment:
      # use eth2 in a swarm service, eth0 in a simple container
      - BIND_TO=eth2      
    networks:
      - mynet
networks:
  mynet:
    driver: overlay