Django实现web端tailf日志文件功能及实例详解

TAILF = {
 1: '/ops/coffee/error.log',
 2: '/ops/coffee/access.log',
}

tailf
 - migrations
 - __init__.py
 - __init__.py
 - admin.py
 - apps.py
 - models.py
 - tests.py
 - views.py

from django.urls import path
from django.contrib.auth.views import LoginView,LogoutView
from tailf.views import tailf
urlpatterns = [
 path('tailf', tailf, name='tailf-url'),
 path('login', LoginView.as_view(template_name='login.html'), name='login-url'),
 path('logout', LogoutView.as_view(template_name='login.html'), name='logout-url'),
]

from django.conf import settings
from django.shortcuts import render
from django.contrib.auth.decorators import login_required

# Create your views here.
@login_required(login_url='/login')
def tailf(request):
 logDict = settings.TAILF
 return render(request, 'tailf/index.html', {"logDict": logDict})

{% extends "base.html" %}

{% block content %}
<div class="col-sm-8">
 <select class="form-control" id="file">
 <option value="">选择要监听的日志</option>
 {% for k,v in logDict.items %}
 <option value="{{ k }}">{{ v }}</option>
 {% endfor %}
 </select>
</div>
<div class="col-sm-2">
 <input class="btn btn-success btn-block" type="button" onclick="connect()" value="开始监听"/><br/>
</div>
<div class="col-sm-2">
 <input class="btn btn-warning btn-block" type="button" onclick="goclose()" value="终止监听"/><br/>
</div>
<div class="col-sm-12">
 <textarea class="form-control" id="chat-log" disabled rows="20"></textarea>
</div>
{% endblock %}

from channels.auth import AuthMiddlewareStack
from channels.routing import ProtocolTypeRouter, URLRouter
from django.urls import path, re_path
from chat.consumers import ChatConsumer
from tailf.consumers import TailfConsumer
application = ProtocolTypeRouter({
 'websocket': AuthMiddlewareStack(
 URLRouter([
 path('ws/chat/', ChatConsumer),
 re_path(r'^ws/tailf/("htmlcode">

import json
from channels.generic.websocket import WebsocketConsumer
from tailf.tasks import tailf
class TailfConsumer(WebsocketConsumer):
 def connect(self):
 self.file_id = self.scope["url_route"]["kwargs"]["id"]
 self.result = tailf.delay(self.file_id, self.channel_name)
 print('connect:', self.channel_name, self.result.id)
 self.accept()
 def disconnect(self, close_code):
 # 中止执行中的Task
 self.result.revoke(terminate=True)
 print('disconnect:', self.file_id, self.channel_name)
 def send_message(self, event):
 self.send(text_data=json.dumps({
 "message": event["message"]
 }))


这里使用Channels的单通道模式，每一个新连接都会启用一个新的channel，彼此互不影响，可以随意终止任何一个监听日志的请求
connect
我们知道 self.scope 类似于Django中的request，记录了丰富的请求信息，通过 self.scope["url_route"]["kwargs"]["id"] 取出routing中正则匹配的日志ID
然后将 id 和 channel_name 传递给celery的任务函数tailf，tailf根据 id 取到日志文件的路径，然后循环文件，将新内容根据 channel_name 写入对应channel
disconnect
当websocket连接断开的时候我们需要终止Celery的Task执行，以清除celery的资源占用
终止Celery任务使用到 revoke 指令，采用如下代码来实现
self.result.revoke(terminate=True)


注意 self.result 是一个result对象，而非id
参数 terminate=True 的意思是是否立即终止Task，为True时无论Task是否正在执行都立即终止，为False（默认）时需要等待Task运行结束之后才会终止，我们使用了While循环不设置为True就永远不会终止了
终止Celery任务的另外一种方法是：


from webapp.celery import app
app.control.revoke(result.id, terminate=True)
send_message


方便我们通过Django的view或者Celery的task调用给channel发送消息，官方也比较推荐这种方式
使用Celery异步循环读取日志
上边已经集成了Channels实现了WebSocket，但connect函数中的celery任务 tailf 还没有实现，下边来实现它
关于Celery的详细内容可以看这篇文章： 《Django配置Celery执行异步任务和定时任务》 ，本文就不介绍集成使用以及细节原理，只讲一下任务task
task实现代码如下：


from __future__ import absolute_import
from celery import shared_task
import time
from channels.layers import get_channel_layer
from asgiref.sync import async_to_sync
from django.conf import settings
@shared_task
def tailf(id, channel_name):
 channel_layer = get_channel_layer()
 filename = settings.TAILF[int(id)]
 try:
 with open(filename) as f:
 f.seek(0, 2)
 while True:
 line = f.readline()
 if line:
  print(channel_name, line)
  async_to_sync(channel_layer.send)(
  channel_name,
  {
  "type": "send.message",
  "message": "微信公众号【运维咖啡吧】原创 版权所有 " + str(line)
  }
  )
 else:
  time.sleep(0.5)
 except Exception as e:
 print(e)


这里边主要涉及到Channels中另一个非常重要的点： 从Channels的外部发送消息给Channel
其实 上篇文章 中检查通道层是否能够正常工作的时候使用的方法就是从外部给Channel通道发消息的示例，本文的具体代码如下


async_to_sync(channel_layer.send)(
 channel_name,
 {
 "type": "send.message",
 "message": "微信公众号【运维咖啡吧】原创 版权所有 " + str(line)
 }
)


channel_name对应于传递给这个任务的channel_name，发送消息给这个名字的channel
type对应于我们Channels的TailfConsumer类中的 send_message 方法，将方法中的 _ 换成 . 即可
message就是要发送给这个channel的具体信息
上边是发送给单Channel的情况，如果是需要发送到Group的话需要使用如下代码


async_to_sync(channel_layer.group_send)(
 group_name,
 {
 'type': 'chat.message',
 'message': '欢迎关注公众号【运维咖啡吧】'
 }
)


只需要将发送单channel的 send 改为 group_send ， channel_name 改为 group_name 即可
需要特别注意的是： 使用了channel layer之后一定要通过async_to_sync来异步执行
页面添加WebSocket支持
后端功能都已经完成，我们最后需要添加前端页面支持WebSocket



function connect() {
 if ( $('#file').val() ) {
 window.chatSocket = new WebSocket(
 'ws://' + window.location.host + '/ws/tailf/' + $('#file').val() + '/');

 chatSocket.onmessage = function(e) {
 var data = JSON.parse(e.data);
 var message = data['message'];
 document.querySelector('#chat-log').value += (message);
 // 跳转到页面底部
 $('#chat-log').scrollTop($('#chat-log')[0].scrollHeight);
 };

 chatSocket.onerror = function(e) {
 toastr.error('服务端连接异常！')
 };

 chatSocket.onclose = function(e) {
 toastr.error('websocket已关闭！')
 };
 } else {
 toastr.warning('请选择要监听的日志文件')
 }
 }


上一篇文章 中有详细介绍过websocket的消息类型，这里不多介绍了
至此我们一个日志监听页面完成了，包含了完整的监听功能，但还无法终止，接着看下面的内容
Web页面主动断开WebSocket
web页面上“终止监听”按钮的主要逻辑就是触发WebSocket的onclose方法，从而可以触发Channels后端consumer的 disconnect 方法，进而终止Celery的循环读取日志任务
前端页面通过 .close() 可以直接触发WebSocket关闭，当然你如果直接关掉页面的话也会触发WebSocket的onclose消息，所以不用担心Celery任务无法结束的问题


function goclose() {
 console.log(window.chatSocket);

 window.chatSocket.close();
 window.chatSocket.onclose = function(e) {
 toastr.success('已终止日志监听！')
 };
 }



至此我们包含完善功能的Tailf日志监听、终止页面就全部完成了


总结
以上所述是小编给大家介绍的Django实现web端tailf日志文件功能及实例详解,希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对网站的支持！

如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！