如何在elasticsearch中查看Logstash打到elasticsearch的数据

全部回答3
默认 最新
  • 当我们用 logstash 处理 web 服务器访问日志的时候,肯定就涉及到一个后期查询的问题。  可能一般我们在 kibana 上更多的是针对响应时间做数值统计,针对来源ip、域名或者客户端情况做分组统计。但是如果碰到这么个问题的时候呢——过滤所有动态请求的响应时间。  这时候你可能会发现一个问题:我们肯定都是用 url 里带有问号? 来作为过滤条件。但是实际是 kibana 里一条数据都过滤不出来。
    0 点赞
  • Elasticsearch是一个高伸缩、高可用、基于Apache  Lucene的开源搜索与分析引擎。通过它你可以很方便地对数据进行深入挖掘,可以随时放大与缩小搜索与分析的区间,并且这一切都是实时的。为了提供了一  个优秀的用户体验,我们对Elasticsearch投入了很大的精力。Elasticsearch本身的各种选项已有了良好的默认值,使用户能够更方便  地上手。但我们也为用户提供了全方面的选项,在必要的情况下,可以对该引擎的几乎每个方面进行定制。  举例来说,当你使用它搜索数据的时候,可以使  用传统的查询(‘查找满足条件Y的所有项X’)进行过滤(在Elasticsearch术语中称为“视图”),高亮显示搜索片段,为每条结果提供相应的上  下文。也可以使用地理位置(‘查找在Z里之内的所有项’),或是为用户提供搜索关键字建议,并且提供了强大的聚合(即Elasticsearch中的“分  面”(facet))能力,例如时间分布图或者统计图。  Elasticsearch既可以搜索、也可以保存数据。它提供了一种半结构化、不依赖  schema并且基于JSON的模型,你可以直接传入原始的JSON文档,Elasticsearch会自动地检测出你的数据类型,并对文档进行索引。你  也可以对schema映射进行定制,以实现你的目的,例如对单独的字段或文档进行boost映射,或者是定制全文搜索的分析方式等等。  你既可以在自己的膝上电脑中启用一个小型实例,也可以在云端启用几十乃至几百个实例,只需要一些极小的改变而已。Elasticsearch会自动进行横向扩展,它能够随着你的应用一起成长。  Elasticsearch  运行在JVM之上,它使用JSON格式,通过RESTful  HTTP接口的方式访问,因此任何一种客户端或语言都能够与其交互。目前已经有了大量的客户端和框架的整合方案,包括对多种编程语言的支持,通过这些原生  的API与专门的DSL将不一致的地方最小化,并实现性能最大化。  Elasticsearch非常适合于大数据的场合,它的高伸缩性与分布式架构  的本质使得对大量信息的搜索与存储都可以在近乎实时的情况下完成。通过Elasticsearch-Hadoop这个项目,我们使Hadoop使用者(这  里也包括Hive、Pig和Cascading)能够用一个成熟的搜索引擎来增强他们的工作流。我们还为他们提供了一种丰富的语言,能够让他们更好地表达  意图,因而更准确地获得想要的结果,并且速度也大大提高了。
    0 点赞
  • 在output->elasticsearch下增加一个index配置  output {  elasticsearch {  hosts => ["192.168.10.166:9200"]  index => "test_system_log"  }  }  查看的的话,就装kibana好了,在kibana的settings->indices页面,在页面里面的输入框输入test_system_log,如果下面的按钮文字不是unable to fetch mapping xxxx,就说明日志收集成功了,点create按钮就创建好了
    0 点赞

没有更多内容了

返回顶部
产品求购 求购