(编辑:jimmy 日期: 2024/12/23 浏览:2)
在上一篇文章中,我们讲解了nginx是如何读取请求行的数据,并且解析请求行的。本文我们则主要讲解nginx是如何读取客户端发送来的请求头的数据,并且解析这些数据的。本质上来讲,请求行的数据和请求头的数据读取流程是基本一致的,因为其都面临着如何从间断的数据流中读取到数据,也面临着如何对数据进行处理的问题。
1. 请求头读取主流程
在介绍请求头的读取流程之前,我们首先展示一个http请求报文的示例:
POST /web/book/read HTTP/1.1 Host: localhost Connection: keep-alive Content-Length: 365 Accept: application/json, text/plain, */*
示例中的第一行数据就是请求行,而后面的几行都是请求头。每一个请求头都是以name: value的格式组装的,并且每一个请求头都占用一行。 在上一篇介绍请求行读取流程的文章中,我们讲到,一旦请求行读取完成,nginx就会将当前读取事件的回调函数修改为ngx_http_process_request_headers()方法,并且直接调用该方法尝试读取请求头数据。这个方法就是读取请求行数据的主流程,如下是该方法的源码:
/** * 解析客户端发送来的header数据 */ static void ngx_http_process_request_headers(ngx_event_t *rev) { u_char *p; size_t len; ssize_t n; ngx_int_t rc, rv; ngx_table_elt_t *h; ngx_connection_t *c; ngx_http_header_t *hh; ngx_http_request_t *r; ngx_http_core_srv_conf_t *cscf; ngx_http_core_main_conf_t *cmcf; c = rev->data; r = c->data; if (rev->timedout) { ngx_log_error(NGX_LOG_INFO, c->log, NGX_ETIMEDOUT, "client timed out"); c->timedout = 1; ngx_http_close_request(r, NGX_HTTP_REQUEST_TIME_OUT); return; } cmcf = ngx_http_get_module_main_conf(r, ngx_http_core_module); rc = NGX_AGAIN; for (;;) { if (rc == NGX_AGAIN) { // 如果当前header缓冲区中没有剩余空间,则申请新的空间 if (r->header_in->pos == r->header_in->end) { // 申请新的空间 rv = ngx_http_alloc_large_header_buffer(r, 0); if (rv == NGX_ERROR) { ngx_http_close_request(r, NGX_HTTP_INTERNAL_SERVER_ERROR); return; } // 客户端发送的header太长,超出了large_client_header_buffers指定的最大大小 if (rv == NGX_DECLINED) { p = r->header_name_start; r->lingering_close = 1; if (p == NULL) { ngx_log_error(NGX_LOG_INFO, c->log, 0, "client sent too large request"); ngx_http_finalize_request(r, NGX_HTTP_REQUEST_HEADER_TOO_LARGE); return; } len = r->header_in->end - p; if (len > NGX_MAX_ERROR_STR - 300) { len = NGX_MAX_ERROR_STR - 300; } ngx_http_finalize_request(r, NGX_HTTP_REQUEST_HEADER_TOO_LARGE); return; } } // 尝试读取连接上客户端新发送来的数据 n = ngx_http_read_request_header(r); if (n == NGX_AGAIN || n == NGX_ERROR) { return; } } cscf = ngx_http_get_module_srv_conf(r, ngx_http_core_module); // 这里主要是对读取到的数据进行转换 rc = ngx_http_parse_header_line(r, r->header_in, cscf->underscores_in_headers); // NGX_OK表示成功解析得到了一个header数据 if (rc == NGX_OK) { r->request_length += r->header_in->pos - r->header_name_start; // 过滤无效的header if (r->invalid_header && cscf->ignore_invalid_headers) { continue; } // 创建一个存储header的结构体 h = ngx_list_push(&r->headers_in.headers); if (h == NULL) { ngx_http_close_request(r, NGX_HTTP_INTERNAL_SERVER_ERROR); return; } h->hash = r->header_hash; // 把header的name作为hash表的key h->key.len = r->header_name_end - r->header_name_start; h->key.data = r->header_name_start; h->key.data[h->key.len] = '\0'; // 把header的value作为hash表的value h->value.len = r->header_end - r->header_start; h->value.data = r->header_start; h->value.data[h->value.len] = '\0'; h->lowcase_key = ngx_pnalloc(r->pool, h->key.len); if (h->lowcase_key == NULL) { ngx_http_close_request(r, NGX_HTTP_INTERNAL_SERVER_ERROR); return; } if (h->key.len == r->lowcase_index) { ngx_memcpy(h->lowcase_key, r->lowcase_header, h->key.len); } else { ngx_strlow(h->lowcase_key, h->key.data, h->key.len); } // headers_in_hash中存储了所有的header,这里是查找当前客户端传的header是否为有效的header hh = ngx_hash_find(&cmcf->headers_in_hash, h->hash, h->lowcase_key, h->key.len); // 这里的handler是在ngx_http_headers_in中为每一个header定义的处理方法,经过各个header的 // handler()方法处理后,客户端传来的header就都转换到r->headers_in结构体中的各个属性中了 if (hh && hh->handler(r, h, hh->offset) != NGX_OK) { return; } continue; } // NGX_HTTP_PARSE_HEADER_DONE表示已经将所有的header都处理完成了 if (rc == NGX_HTTP_PARSE_HEADER_DONE) { r->request_length += r->header_in->pos - r->header_name_start; r->http_state = NGX_HTTP_PROCESS_REQUEST_STATE; // 检查客户端发送来的header数据的合法性 rc = ngx_http_process_request_header(r); if (rc != NGX_OK) { return; } ngx_http_process_request(r); return; } // NGX_AGAIN表示读取到的header行数据不完全,还需要继续读取 if (rc == NGX_AGAIN) { continue; } ngx_log_error(NGX_LOG_INFO, c->log, 0, "client sent invalid header line"); ngx_http_finalize_request(r, NGX_HTTP_BAD_REQUEST); return; } }
这里请求头的读取主要分为如下几个步骤:
2. 请求头数据的读取
可以看到,对请求头的读取主要有两个方法:ngx_http_read_request_header()和ngx_http_parse_header_line()。这里的第二个方法比较长,但是其逻辑非常的简单,主要就是解析读取到的数据是否能组成一个完整的请求头(name: value的形式,并且占用一行),如果是,则返回NGX_OK,否则返回NGX_AGAIN以期待继续读取数据。对于这个方法,我们这里不进行讲解,读者可自行阅读源码,我们主要讲解ngx_http_read_request_header()方法是如何读取客户端发送来的请求头数据的:
static ssize_t ngx_http_read_request_header(ngx_http_request_t *r) { ssize_t n; ngx_event_t *rev; ngx_connection_t *c; ngx_http_core_srv_conf_t *cscf; c = r->connection; rev = c->read; // 计算当前还有多少数据未处理 n = r->header_in->last - r->header_in->pos; // 如果n大于0,说明还有读取到的数据未处理,则直接返回n if (n > 0) { return n; } // 走到这里,说明当前读取到的数据都已经处理完了,因而这里会进行判断,如果当前事件的ready参数为1, // 则表示当前连接的句柄上存储还未读取的数据,因而调用c->recv()方法读取数据,否则继续将当前事件添加到 // 事件队列中,并且继续监听当前连接句柄的读事件 if (rev->ready) { // 在连接文件描述符上读取数据 n = c->recv(c, r->header_in->last, r->header_in->end - r->header_in->last); } else { n = NGX_AGAIN; } // 如果n为NGX_AGAIN,则将当前事件添加到事件监听器中,并且继续监听当前epoll句柄的读事件 if (n == NGX_AGAIN) { if (!rev->timer_set) { cscf = ngx_http_get_module_srv_conf(r, ngx_http_core_module); ngx_add_timer(rev, cscf->client_header_timeout); } if (ngx_handle_read_event(rev, 0) != NGX_OK) { ngx_http_close_request(r, NGX_HTTP_INTERNAL_SERVER_ERROR); return NGX_ERROR; } return NGX_AGAIN; } // 如果n为0,说明客户端关闭了连接 if (n == 0) { ngx_log_error(NGX_LOG_INFO, c->log, 0, "client prematurely closed connection"); } // 如果客户端关闭了连接或者读取异常,则回收当前的request结构体 if (n == 0 || n == NGX_ERROR) { c->error = 1; c->log->action = "reading client request headers"; ngx_http_finalize_request(r, NGX_HTTP_BAD_REQUEST); return NGX_ERROR; } // 更新当前读取到的数据指针 r->header_in->last += n; return n; }
这里请求头数据的读取主要分为如下几个步骤:
3. 小结
本文主要对nginx是如何读取并且解析请求头的流程进行了讲解,并且着重讲解了读取数据的主流程代码和读取的详细步骤。