模块 RDoc::TokenStream

TokenStream 是一个令牌列表,在解析某个实体(例如方法)期间收集。实体通过在词法分析器中注册来填充这些流。任何类都可以通过包含 TokenStream 来收集令牌。从外部,您可以通过调用 start_collecting_tokens 方法,然后调用 add_token 和 pop_token 来使用这样的对象。