NodeJS服务器篇之简单静态文件合并

NodeJS是一个基于Chrome V8引擎的JavaScript运行环境,其使用了事件驱动、异步I/O机制,具有运行速度快,性能优异等特点,非常适合在分布式设备上运行数据密集型的实时应用。

本文主要介绍一下通过搭建简单的NodeJS服务器,实现静态文件的合并,并通过浏览器访问输出的功能;同时,还会进行功能的完善,通过不断的迭代开发,从易用性、性能、安全性等等方面,较为全面的介绍一下NodeJS服务器的开发过程,为以后的进一步学习做准备。

在下面的内容开始之前,假定您对JavaScript已经有了一定的了解,如果您之前没有了解过,请先熟悉一下七天学会NodeJS,本文主要参考上述资料的最后一部分,为作者的开源奉献精神表示感谢。下面正式开始介绍服务器的具体实现:

需求

实现一个静态文件合并的服务器,通过请求的链接(URL)指定需要合并的文件,之后把文件内容返回给客户端。参考链接如下:

分析

链接中的??是一个分隔符,前面是需要合并的文件路径,后面是需要合并的文件名,多个文件名之间用,分隔,因此服务器处理这个URL后返回的是各个文件的路径;之后,通过递归读取文件内容,再进行拼接合并;最后,通过响应数据输出给客户端。这是整个服务器的全部分析过程。

由于涉及到文件操作,所以需要fs模块、path模块;加上服务器模块http,一共需要三个模块:fs、path、http

第一版

源码如下:

以上代码完整实现了服务器的功能,可以用测试URL请求,就会输出其后的内容。其中,有几点需要注意:

  • 命令行参数可以通过读取JSON配置文件,或者直接在main函数内设定(缺点是修改不方便,配置不灵活)
  • 入口main函数开启了http服务器;combineFiles函数负责异步读取文件内容,并合并文件内容;parseULR函数负责解析URL,并返回文件的MIME类型(在返回数据给客户端时,指定数据的类型)和文件名数组,。

服务器的工作流程如下:

第二版

由于第一版中,代码是把文件内容全部读取到内存后,再进行数据合并的,这会导致如下问题:

  • 当请求的文件较多,需要合并的数据量又比较大时,串行读取文件会比较耗时,拖慢服务的相应时间
  • 每次都完整的把数据读到内存缓存起来,当服务器并发数较大时,就会有较大的内存开销

针对上面的第一个问题,如果改为并行读取方式,对于机械磁盘来说,需要不停的切换磁头,反而会降低I/O效率。而对于固态硬盘,是存在多个并行的I/O的,对单个请求采用并行也不会提高效率。因此,采用流式读取方式:一遍读取,一遍输出,把相应的输出时机提前至读取第一个文件的时刻,这样就能解决上述的问题。

修改后的服务器工作流程如下:

可以看到,调整后的代码是边读取边输出,即快速响应请求,有减少了内存的压力。

源码如下:

第三版

服务器的功能和性能已经得到初步满足,接下来我们要考虑稳定性。由于没有系统是绝对的稳定,都存在一定的宕机风险,而这一问题不可避免,所以我们要尽量减少宕机的时间,比如增加一个守护进程,在服务器挂掉后立即重启。并且NodeJS官方也建议在出现异常时重启,因为这时系统处于一种不稳定的状态。

所以,我们利用NodeJS的进程管理机制,将守护进程作为父进程,将服务器进程作为子进程,让父进程监控子进程的运行状态,在其异常时立即退出重启子进程。

守护进程代码如下:

服务器代码也要在main函数里做如下调整:

这样调整后,守护进程会进一步启动和监控服务器进程。此外,为了能够正常终止服务,我们让守护进程在接收到SIGTERM信号时终止服务器进程。而在服务器进程这一端,同样在收到SIGTERM信号时先停掉HTTP服务再正常退出。至此,我们的服务器程序就靠谱很多了。

至此,NodeJS合并文件的服务器开发完成,当然还有许多不足之处,比如:提供日志通知访问量、充分利用多核CPU等等。如有兴趣,可以在此基础之上,做进一步的开发。


源码地址

https://github.com/BirdandLion/NodeJSCombineFiles

参考资料

七天学会NodeJS

Node.js官网

感觉不错,打个赏?
微信                                 支付宝
pay_weixin            pay_zhifubao
金额随意 快来“”我呀~
联系方式:kelvin@fishbay.cn

发表评论

电子邮件地址不会被公开。 必填项已用*标注