大数据排查是怎么查的?|全球快看
发布时间：2022-12-28 13:21:32
(资料图片仅供参考)
大数据作业异常的排查，往往是个比较棘手的问题。这一方便是因为分布式作业的执行往往需要跨多个www.nfysw.com网络节点进行通信比较复杂，另一方面也是因为涉及底层框架多（spark, hive, flink, hdfs, hbase, kafka, yarn，zookeeper 等等），排查人员对这些组件各自的运行机制以及组件之间如何交互配合完成最终作业的机制不甚明了，再加上整个作业的执行涉及到各种日志且这些日志散落于集群多个节点多个目录，如何根据时间线跟踪排查各处日志，还原作业执行发生异常时底层究竟发生了什么原因是什么，相比传统的作业异常的排查确实更加困难些。
标签：
