<div><DIV style="font-family:arial; font-size:13px;">Hi,<DIV><BR></DIV><DIV>Not that hard... well, it depends on who you are talking about :)</DIV><DIV>I'm afraid I can barely read Perl. So writing a proper plugin, ready for production on 3 servers, it kind of a challenge for me. An easier approach would be to write a shell/python/ruby/whatever script for Splunk to pull data from Redis, and then define a "script data source" using this script. But I want to make sure that I've not missed anything. May be I can leverage some Amavisd-new functionality or setting to get closer from my goal.</DIV><DIV><BR><DIV><BR><DIV>Joolee <amavisd@joolee.nl> wrote:<BLOCKQUOTE type="cite" cite="<CA+Q-w8VGZo4-bQTB1KxxFkBhANHWb8z29LhzEFtv_c8K2Kc1_w@mail.gmail.com>">It wouldn't be that hard to create a plugin for that using the amavis custom hooks api. I'm planning on writing one myself to feed KairosDB with statistical information and log some extra information about a mail to db/file.<BR><BR><DIV class="gmail_quote">On 5 October 2014 13:11, Patrick Proniewski <SPAN dir="ltr"><<A href="mailto:patrick.proniewski@univ-lyon2.fr" target="_blank">patrick.proniewski@univ-lyon2.fr</A>></SPAN> wrote:<BR><BLOCKQUOTE class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello,<BR>
<BR>
I've given up on ELK (ElasticSearch/Logstash/Kibana), and I'm moving to Splunk. Amavisd-new ability to log in JSON format is a very great feature, and I would like to be able to pipe my JSON logs to Splunk.<BR>
<BR>
The redis output is still defined, from my past tests with ELK and I have defined this:<BR>
<BR>
$log_templ = <<'EOD';<BR>
[:report_json]<BR>
EOD<BR>
<BR>
Unfortunately I've got some problem feeding logs into Splunk:<BR>
<BR>
- Splunk won't pull data from a Redis server. It just does not have proper connector for that.<BR>
- Amavisd-new will not log pure JSON into a file, there's always regular log lines (start/stop for example) and every mail analysis log entry is prefixed with "time-stamp hostname binary-path[PID]: (thread-number)", JSON comes only after all those informations. Hence, Splunk fails to recognize proper JSON, and won't index the log file.<BR>
- Using Syslog with JSON output is not an option, on FreeBSD syslogd can't handle lines longer than 1000 Bytes.<BR>
<BR>
Any help is greatly appreciated.<BR>
<BR>
I'm registered to digest, feel free to {B}Cc me.<BR>
<SPAN class="HOEnZb"><FONT color="#888888"><BR>
Patrick PRONIEWSKI<BR>
--<BR>
Responsable pôle Opérations - DSI - Université Lumière Lyon 2<BR>
Responsable Sécurité des Systèmes d'Information<BR>
<BR>
</FONT></SPAN></BLOCKQUOTE></DIV><BR>
</BLOCKQUOTE></DIV><BR><BR><DIV style="font-family:arial; font-size:13px;"><SPAN class="Apple-style-span" style="font-family: monospace; font-size: medium; ">Patrick PRONIEWSKI<BR>-- <BR>Responsable pôle Opérations - DSI - Université Lumière Lyon 2<BR>Responsable Sécurité des Systèmes d'Information<BR></SPAN><DIV><SPAN class="Apple-style-span" style="font-family: monospace; font-size: medium; "><BR></SPAN></DIV></DIV></DIV></DIV></DIV></div>