注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

逍遥子 曰:

得失失得 何必患得患失 舍得得舍 不妨不舍不得

 
 
 

日志

 
 

[原]Mosquito的优化——epoll优化(七)  

2015-06-08 15:51:46|  分类: mqtt |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

本文由逍遥子撰写,转发请标注原址:

http://blog.csdn.net/houjixin/article/details/46413583

http://houjixin.blog.163.com/blog/static/3562841020155835146428/#

        

原版的mosquito在移动互联网情况下,其性能不高,实际运营时一个mosquito实例能支持2万连接就不错了;mosquitto在网络状态不好的情况下,随着用户量的上升,其对cpu消耗将大幅增加,主要的CPU主要消耗在以下几个方面:

(1)Poll机制的缺陷;

(2)Mosquitto内部订阅树机制的缺陷;

(3)其他消息发送,数据结构管理方面的缺陷;

本节将针对这些缺陷提出相应的优化策略和方法。

7.1、poll优化

7.1.1、优化原因

        在mosquitto原始程序中,核心处理流程是对所有的socket进行监听处理,该部分功能主要使用poll来完成,但是它的效率较差,尤其当在线活动用户较少的情况下,性能更差,这一定程序上影响了mosquitto性能,epoll效率的低下主要是由于下面3个原因:

       1)  poll在每次监听端口之前,都需要重新注册所有需要监听的socket;

       2)  poll返回的结果中,只会修改有事件发生的socket对应的poll结构体,因此,在使用时需要对所有注册的socket对应的poll结构体进行扫描,才能判断出那些socket有事件发生。

       3)  在内部实现上,poll需要查询所有注册的socket以确定其是否有事件发生。

Poll的上述问题是是其自身实现方式造成的,很难进行优化。针对poll的这些问题,linux实现了一个更高效的实现方式:epoll,相对而言,epoll则不需要poll这些复杂操作,epoll具有以下3个优点:

       1)  epoll中,只需要将被监听的socket注册进epoll一次,后续epoll就会监听它,而不需要每次监听之前重新注册。

       2)  epoll返回结果包含了所有有事件发生的socket,因此处理过程中,扫描所有这些有事件发生的socket即可,而不需要扫描所有注册的socket。

       3)  在内部实现上,epoll不需查询所有注册的socket,它内部是:所有有事件发生的socket自己将自己挂载epoll的就绪队列上,epoll只需返回就绪队列中的socket即可。

        因此,本次优化首先选择对poll进行优化,主要使用epoll替换poll,以提升系统的执行效率。

7.1.2、优化方案:

        Mosquitto中对poll的使用主要集中在文件loop.c的在函数mosquitto_main_loop中,因此本次修改将使用一个新的函数epoll_mosquitto_main_loop来代替它。另外,在使用方法上,epoll的监听函数epoll_wait返回所有就绪socket,而mosquitto程序中需要知道socket对应的conetxt才能完成业务处理,因此,为了支持epoll,需要增加一个hash表t_fd2context来完成socket到其对应conetxt的映射。

        Mosquito的核心处理逻辑主要在函数mosquitto_main_loop中,该函数主要完成了以下功能:

       1)  更新系统topic的信息;

       2)  将所有监听socket放入poll结构体pollfds中;

       3)  扫描所有context,完成下列工作:

               如果context有消息发送,则将消息按照mqtt协议发送出去;

                检查context是否超时;

              将context的socket放入poll的结构体pollfds中。

       4)  扫描所有conetxt,如果context中有消息,则更新消息的时间戳;

       5)  调用poll,轮询poll的结构体pollfds所有的socket;

       6)  处理poll的结果,需完成下面两个工作:

                扫描所有的context,查看其对应的socket是否有事件发生,如果有,则进行读写处理;

               处理所有的监听socket,如果有新的连接进入,则为之创建对应的context

       7)  进行重新加载配置文件等可选择操作。

       在poll的工作过程中,上述操作将会循环执行,使用epoll优化之后的mosquitto的核心流程将会有所改变,为:

       1)  向epoll中注册监听端口,该步骤在循环之前执行;下面2)之后的步骤将会放入循环执行。

       2)  更新系统topic的信息;

       3)  根据策略扫描全部context,完成下面两个工作:

               回收context,并将该context的索引放入空闲索引数组中;

              检查超时,如果超时,则将该context与其socket的映射从hash表t_fd2context中删除;

       4)  调用epoll的epoll_wait函数获取所有的就绪socket;

       5)  对所有的就绪socket进行处理,主要完成下面的工作:

             如果就绪的socket是监听接口,则对监听接口进行处理,为每个新进来的业务socket建立context,并将其注册进epoll;

             如果不是监听socket,则从socket到cotext的hash表t_fd2context中找到该socket对应的context,然后完成相应的处理,如果找不到,则断开此socket的连接。

       6)  进行重新加载配置文件等可选择操作。

由于epoll和poll的工作方式不同,因此需要对上述流程进行修改以使其能适应epoll的要求,主要修改之处包括:

       1)  Socket注册方式;poll中每次循环都需要将socket重新注册入poll,而epoll只需要开始注册一次即可;

       2)  返回结果处理;poll中需要对所有注册的socket结构体进行扫描,才能判断某个socket是否有数据处理;epoll直接返回就绪socket,因此无需全部遍历注册的socket结构体。

       3)  增加socket到对应context的映射,由于epoll直接返回就绪socket,而mosquitto中需要找到该socket对应的context才能进行上层应用的处理,因此需要增加一个hash表完成socket到context的映射。

       4)  修改消息发送部分的功能

 

7.1.3、具体实现

       Epoll的优化也采用原来的单线程结构,并使用一个大循环“while”完成对任务的处理,该大循环被放在函数epoll_mosquitto_main_loop中,该函数与函数mosquitto_main_loop(该函数是使用poll时的主要业务处理)的参数完全相同,并在函数mosquitto_main_loop中调用epoll_mosquitto_main_loop,因此程序中原来调用poll的主业务处理函数mosquitto_main_loop的地方将会被转向调用epoll的主业务处理函数epoll_mosquitto_main_loop,从而实现对epoll功能的调用,系统的流程如下图5-1所示。

[原]Mosquito的优化(七) - 逍遥子 - 逍遥子 曰:

 

图7-1 使用epoll之后的系统流程图

 

1、socket注册

       epoll在使用时只需将待监控的socket加入一次即可,这一点与poll在使用方法上有差别,在mosquitto程序中,需要epoll监控的socket包括监听socket和业务socket;Socket的注册过程由函数reg_socket完成,注册socket的监听类型为EPOLLIN,采用默认的水平触发模式。

       1)  监听socket,此类型socket负责接收客户端的新连接,例如程序中默认的1883端口对应的socket,客户端将使用该端口连接到mosquitto。在函数epoll_mosquitto_main_loop的主循环开始直接之前完成注册,只进行一次注册,后续不再重复注册;

       2)  业务socket,该类型socket负责完成客户端和mosquitto之间的业务数据的传输;业务socket将在新连接进入时完成注册,此过程在函数epoll_loop_handle_result中完成。

2、Epoll的事件处理

       Epoll事件处理将由函数epoll_loop_handle_result来完成,在该函数中将循环扫描epoll返回的所有就绪socket,并对每个就绪的socket进行处理,处理的方式为:

       1)  如果为监听socket,则首先调用mqtt3_socket_accept函数对新连接进来的socket进行处理,处理过程包括:为socket创建对应的context等;其次将socket注册入epoll。

       2)  如果监听端口为业务socket,则读取该结构体上的数据,然后对数据进行处理。

[原]Mosquito的优化(七) - 逍遥子 - 逍遥子 曰:

 

图7-2 epoll事件处理流程

  评论这张
 
阅读(1092)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017