Python Tornado实现WEB服务器Socket服务器共存并实现交互的方法

(编辑：jimmy 日期: 2024/11/16 浏览：2)

1、背景

最近有个项目，需要搭建一个socket服务器，一个web服务器，然后实现两个服务器之间的通讯交互。刚开始的方案是用Python中socket模块实现一个多线程的socket服务器，然后用Flask实现一个web服务器，他们之前通过线程交互实现通讯。
但是在我看来这个方案有例外一个更好的解决方法，就是用Torndao框架。鉴于网上用Tornado实现一个程序同时实现web服务和socket服务器并且实现交互的文章几乎没有，所以记录一下。觉得写得好麻烦点个赞，写得不好请指出，有疑问可以留言。

2、准备

2.1、环境部署

Python3.x
pip3 install Tornado

2.2、目录结构

目录结构如上图，这个目录结构包括文件命名只是我的个人习惯。其实目录结构不固定，只要合理就行。另外，原本项目是前后分离的只需要实现API接口，所以我这里就没有涉及到HTML的东西。

3、服务器的实现

3.1、Socket服务器实现

socket服务器部分实现主要靠 Tornado中的TCPServer类

3.1.1、导入类

socket_server.py:

from tornado.iostream import IOStream  # 这句可以没有，只是作为参数的代码提示
from tornado.tcpserver import TCPServer

3.1.2、构建一个Connecter类

socket_server.py:

class Connecter:

  clients = set()   # 存放连接的客户端

  async def init(self, stream: IOStream, address: tuple):
    """
    注意这个不是构造方法，这里不用构造方法是为了方便后续的与web端相互通信
    """
    self.stream, self.address = stream, address
    self.clients.add(self)
    print("{address} 上线!".format(address=address))
    self.stream.set_close_callback(self.onClose) # 客户端离线的时候会被调用
    await self.receive()    # 接受消息

  async def receive(self):
    """
    接受消息
    """
    while True:
      try:  # 因为异步的原因。可能设备离线后还在接收消息，所以try一下，不让错误打印出来，其实打印了错误也不影响程序运行
        data = await self.stream.read_bytes(num_bytes=1024, partial=True)  # num_bytes:每次最多接收字节，partial:数据中断后视为接收完成
        print(data)
        # TODO:接收到数据的处理
      except: 
        pass

  def send(self, data):
    """
    发送消息
    :param data: 消息内容
    """
    self.stream.write(bytes(data.encode('utf8')))

  def onClose(self):
    """
    客户端离线
    """
    print("{address} 离线!".format(address=self.address))
    self.clients.remove(self) # 在clients内删掉该客户端

3.1.3、构建一个SocketServer类

socket_server.py:

class SocketServer(TCPServer):   # 需要继承TCPServer这个类
  async def handle_stream(self, stream: IOStream, address: tuple):  # 实现类里面的handle_stream方法
    await Connecter().init(stream, address)   # 每次有客户端连入都实例化一个Connecter类

3.2、Web服务器实现

3.2.1、实现一个requestHandler

web_test.py:

from tornado.web import RequestHandler   # 导入RequestHandler类


class TestApiHandler(RequestHandler):    # 继承RequestHandler类

  def get(self):   # 实现GET方法，GET请求会执行这个方法
    pass

  def post(self):   # 实现POST方法，POST请求会执行这个方法
    pass

3.2.2、实现web app

web_server.py:

from tornado.web import Application     # 导入Tornado的Application类
from .src.web_test import TestApiHandler  # 导入我们自己写的TestApiHandler类


def webServerApp():   # 构造出webApp
  return Application([
    (r'/api_test/', TestApiHandler),  # 把/api_test/路由到TestApiHandler
  ])

3.3、程序入口

3.3.1、导入web_server和socket_server,还有导入tornado的ioloop

main.py：

from web_server.web_server import webServerApp
from socket_server.socket_server import SocketServer
from tornado import ioloop
from tornado.options import define, options

3.3.2、定义默认端口

main.py

#这里用define定义端口，可以方便使用命令行参数的形式修改端口
define("socketPort", 8888, type=int)  # socket默认使用8888端口
define("webPort", 8080, type=int)    # web默认使用8080端口

3.3.3、启动代码

main.py

def main():
  socket_server = SocketServer()
  socket_server.listen(options.socketPort, '0.0.0.0')
  print("socket服务器启动，端口：{port}".format(port=options.socketPort))
  app = webServerApp()
  app.listen(options.webPort, '0.0.0.0')
  print("web服务器启动，端口：{port}".format(port=options.webPort))
  ioloop.IOLoop.current().start()


if __name__ == '__main__':
  main()

4、服务器运行效果

到此，一个混合型的socket+web服务器已经搭建好了。我们我们运行main.py文件可以看到打印的信息，socket和web都正常运行。

我在这里简单地写了一个socket客户端测试，代码如下：

import socket
import datetime


class Client:

  def __init__(self):
    with socket.create_connection(("127.0.0.1", 8888)) as sock:
      while True:
        msg = sock.recv(1024)
        if len(msg) > 0:
          print(msg)
          sock.send(bytes(str(datetime.datetime.now).encode('utf8')))
        msg = []
            
        

if __name__ == "__main__":
  Client()

可以看到tornado异步的形式实现了多客户端同时接入socket。同时也可以测试web接口是正常的，如下图：

5、Web服务器与Socket服务器交互

重点来了，web和socket怎样实现交互呢？其实很简单。

5.2、 web socket

web_test.py -> TestApiHandler -> post:

5.2.1、导入Connecter类

from socket_server.socket_server import Connecter

5.2.2、实现请求接口发送消息到socket客户端

 def post(self):   # 实现POST方法，POST请求会执行这个方法
    msg = self.get_argument("msg") # 得到post请求中的msg的值
    ip = self.get_argument('ip')  # 得到要发送的ip
    c = Connecter()   # 实例化Connecter类
    counter = 0   # 记录发送到客户端的个数
    for client in c.clients:  # type:Connecter
      if client.address[0] == ip:   # 根据ip发送
        client.send(msg)  # 发送消息
        counter += 1    # 计数加1
    self.write("{'send_counter':" + str(counter) + "}")

5.2.3、效果

请求接口可以返回数据，已经成功发送一个客户端

客户端也能收到消息：

5.1、 socket web

其实socket发送的消息让web马上收到消息是不太现实的，但是我们可以把数据保存起来（可以是数据库、全局变量、缓存……），然后通过api接口再把数据取出。另外还有一种方法是通过socket和websocket进行交互通讯，这种方法是推荐的方法，同样的也可以用Tornado去实现，感兴趣可以去研究一下也很简单。如何有需要我提供socket、websocket、web三个端都互相交互的例子可以留言。
这里为了简单一点，我使用一个类作为全局变量来保存数据，然后用接口访问，拿出这个类的值来演示一下效果。

5.1.1、声明类作为全局变量

socket_data_processing.py

class SocketData:
  msg = ""

5.1.2、接受到的消息保存到这个类里面的msg

socket_server.py -> Connecter -> receive

 async def receive(self):
    """
    接受消息
    """
    while True:
      try:  # 因为异步的原因。可能设备离线后还在接收消息，所以try一下，不让错误打印出来，其实打印了错误也不影响程序运行
        data = await self.stream.read_bytes(num_bytes=1024, partial=True)  # num_bytes:每次最多接收字节，partial:数据中断后视为接收完成
        print(data)
        from .src.socket_data_processing import SocketData
        SocketData.msg = data.decode('utf8')
      except:
        pass

5.1.3、用get方法显示socket显示回来的数据

web_test.py -> TestApiHandler -> get:

 def get(self):   # 实现GET方法，GET请求会执行这个方法
    from socket_server.src.socket_data_processing import SocketData
    self.write(SocketData.msg)

5.1.4、效果

可以看到，从socket传过来的字符串，被我通过Api读取到了。

6、完整代码GitHub：https://github.com/JohnDoe1996/socket-web

上一篇：Python自定义聚合函数merge与transform区别详解

下一篇：tensorflow实现从.ckpt文件中读取任意变量