入力

1287144100    299    名無しさんにズームイン！    LnjhWICN        sage    迫力ねえよ、香川w
1287144803    300    名無しさんにズームイン！    3M/Iym08        sage    利根川なんかちがう。
1287144804    301    名無しさんにズームイン！    xueZONEO        sage    利根川キター!

出力

1287144000    迫力
1287144000    ねえ
1287144000    よ
1287144000    、
1287144000    香川
1287144000    ｗ

1287144600    利根川
1287144600    なんか
1287144600    ちがう
1287144600    。

1287144600    利根川
1287144600    キター
1287144600    !

#!/usr/bin/perl
#
#

use strict;
use MeCab;
use Data::Dumper;
use Encode qw(encode decode);
use utf8;

use constant TIMESEC=>600;

# 標準入力から読み込み
while (<STDIN>)
{
  chomp; # 改行削除
  my @line = split(/¥t/, $_); # タブでスプリット

  # 時刻を丸める。
  my $time = int($line[0]/TIMESEC)*TIMESEC;

  my $body = $line[6];
  $body = decode("utf8",  $body);

  if( my $buf = isAA($body) )
  {
    next;
  }

  $body = noGomi($body);

  my $mecab = MeCab::Tagger->new();
  my $node = $mecab->parseToNode($body);

  while( $node = $node->{next} ) 
  {
    next if ( !  defined $node->{surface} );

    my $surface = $node->{surface};
    next if ( isGomi($surface) );
    my($hinsi, $hinsi2) = (split( /,/, $node->{feature} ))[0..1];

    if ( $hinsi eq encode("utf8", "名詞" ) && $hinsi2 ne encode("utf8", "非自立"))
    {
      # キーバリューで出力。セパレータはタブ。
      print $time, "¥t", $surface,"\n";
    }
  }
}


sub isAA
{
  my $s = shift;

  $s =~ /.*[／￣＿＼　]{2,}.*/;
  return $&; 
}

sub noGomi
{
  my $s = shift;

  $s =~ s/(h?ttp:¥/¥/|h?ttps:¥/¥/|sssp:¥/¥/){1}[¥w¥.-¥/:¥#¥?¥=¥&¥;¥%¥~¥+]+|>?>[0-9- ]+//g;

  return $s;
}

sub isGomi
{
  my $s = shift;

  return $s =~ /^[¥ﾟ¥/¥?¥!¥(¥),0-9a-zA-Z０-９＄％”！＃＆、；：?｜｛｝＠｀＊＋＿？＞＜∴∀Д▼△▲▽]/;
}

1287144000    迫力
1287144000    香川
1287144000    ｗ
1287144600    利根川
1287144600    利根川
1287144600    キター
1287144600    !

1287144000    1,迫力
1287144000    1,香川
1287144000    1,ｗ
1287144600    2,利根川
1287144600    1,キター
1287144600    1,!

#!/usr/bin/perl
#
#

use strict;
use Data::Dumper;
use Encode qw(encode decode);
use utf8;

use constant LIMIT=>5;

my $hash;
my $_time;

# 標準入力から読み込み
while (<STDIN>)
{
  chomp;
  my @line = split(/¥t/, $_);

  my $time = $line[0];
  my $word = $line[1];

  $word = decode("utf8",  $word);

  # 最初の1行目のみ
  if ( ! $_time ) 
  {
    # 現在のキーを保持。
    $_time = $time;
  }

# キーである$timeが保持している値と変わった。
  if ( $_time != $time && $_time )
  {
    # バッファにたまったデータを出力する。
    showBuf($hash, LIMIT);

    # バッファを初期化
    $hash = undef;
  }

  # 単語ごとにカウントする。
  if ( ! exists ( $hash->{$word} ) ) 
  {
    $hash->{$word} =  1;  
  }
  else
  {
    $hash->{$word} += 1;
  }

  # 現在のキーを保持する。
  $_time = $time;

}

# 残ったバッファを出力する。
showBuf($hash, LIMIT);


sub showBuf
{
  my ($buf, $limit) = @_; 

  my @arr = sort{ $buf->{$b} <=> $buf->{$a} } keys %$buf;
  my $cnt = 0;
  foreach my $a ( @arr )
  {
    my $value = $buf->{$a};
    # キーバリューを出力する。セパレータはタブ。
    print $_time, "¥t", $value, ",", encode("utf8", $a), "\n";
    last if ( ++$cnt >= $limit ) ; 
  }
}

《略》

1287150000      93,土下座
1287150000      67,焼き
1287150000      47,ﾟ
1287150000      31,カイジ
1287150000      31,利根川
1287139800      2,そう
1287139800      2,オッケイ
1287139800      2,羽鳥
1287139800      2,足
1287139800      2,今日
1287142800      4,借金
1287142800      4,侍
1287142800      2,ウイルス
1287142800      2,自由
1287142800      2,大丈夫
1287144600      242,ﾟ
1287144600      154,これ
1287144600      154,ざわ
1287144600      119,利根川
1287144600      110,∀
1287146400      112,映画
1287146400      98,これ
1287146400      89,カット
1287146400      64,人
1287146400      63,原作
1287148200      230,ざわざわ
1287148200      114,ざわ
1287148200      105,カイジ
1287148200      88,これ
1287148200      85,利根川
1287151200      152,/
1287151200      102,.
1287151200      59,映画
1287151200      54,-
1287151200      47,カイジ
1287138000      4,ヤバ
1287138000      3,宣伝

《略》