http://shiyanjun.cn/archives/915.html 简单之美，难得简单，享受简单的唯美。 Wed, 19 Feb 2025 08:08:30 +0000 hourly 1 http://wordpress.org/?v=3.9.2 http://shiyanjun.cn/archives/915.html#comment-175323 Wed, 14 Jun 2023 06:46:01 +0000 http://shiyanjun.cn/?p=915#comment-175323 大佬好有耐心，从14年回复到19年哈哈

]]> http://shiyanjun.cn/archives/915.html#comment-103580 Sat, 03 Aug 2019 14:53:11 +0000 http://shiyanjun.cn/?p=915#comment-103580 根据提供的信息，这台机器未格式化的原因，很可能是配置和其他机器有差异，仔细检查下配置的 path 是否与其他机器相同。

]]> http://shiyanjun.cn/archives/915.html#comment-103018 Mon, 01 Jul 2019 09:45:33 +0000 http://shiyanjun.cn/?p=915#comment-103018 在另外的flume服务器上相同的配置，生成的路径是正确的，想要请教下这台flume未格式化时间戳的原因

]]> http://shiyanjun.cn/archives/915.html#comment-103017 Mon, 01 Jul 2019 09:43:54 +0000 http://shiyanjun.cn/?p=915#comment-103017 请教，最近新写的agent是hdfs的sink，想要按照日期目录存放，path设置是%Y%m%d/%H，但是时间戳并没有格式化，即生成了%Y%m%d/%H这样的目录，而不是20190701/15

]]> http://shiyanjun.cn/archives/915.html#comment-62326 Tue, 23 Oct 2018 09:10:10 +0000 http://shiyanjun.cn/?p=915#comment-62326 你好博主，可以加您微信吗

]]> http://shiyanjun.cn/archives/915.html#comment-58041 Mon, 12 Dec 2016 02:41:41 +0000 http://shiyanjun.cn/?p=915#comment-58041 写博主， 啥时候也一个Flume的分层架构吧

]]> http://shiyanjun.cn/archives/915.html#comment-57587 Wed, 22 Jun 2016 09:27:02 +0000 http://shiyanjun.cn/?p=915#comment-57587 agent1到agent2,agent3,agent4中数据会有重复吗

]]> http://shiyanjun.cn/archives/915.html#comment-57543 Thu, 16 Jun 2016 08:03:13 +0000 http://shiyanjun.cn/?p=915#comment-57543 agent使用filechannel的时候出现ERROR channel.ChannelProcessor: Error while writing to required channel: FileChannel c1 java.lang.OutOfMemoryError: Java heap space
然后我agent进程干掉重启，多次出现这种情况，最后收到的数据比元数据（一百万条）还要多一百多条，这是什么情况，一般filechannel 内存溢出的问题如何解决，有什么参数可调；还有就是agent中的”ChannelSize”:”526999″,”EventTakeSuccessCount”:”95200″，在filechannel中堆积了大量数据，这可能就是内存溢出的原因吧，可是一直没有解决思路，请楼主赐教

]]> http://shiyanjun.cn/archives/915.html#comment-57539 Sun, 12 Jun 2016 07:25:20 +0000 http://shiyanjun.cn/?p=915#comment-57539 使用kafka-source, memory-channel, hdfs-sink。如果flume挂了的话，拉起来之后能从挂时候的offset继续消费么；或者启多个flume-ng，它们是在同一个消费组中groupID一样，通过这样来保证高可用？

]]> http://shiyanjun.cn/archives/915.html#comment-57443 Wed, 18 May 2016 16:04:04 +0000 http://shiyanjun.cn/?p=915#comment-57443 最近比较忙，等过段时间方便的话可以考虑实现一个。

]]>