Landscape - エンジニアのメモ 2003-12

- glucose

- unix 環境にはいいブラウザやスクリプトがあるのに、と言われるかもしれないけど

- まだ RSS リーダよりも Web ブラウザでいい

- その他現状の不満点を列挙

- ごめんなさい

2003-12-29 (月) 02:05:12 yto : そういえば、Bulkfeedsの中の人が、Landscape の RSS がでかくて処理重め、と言ってました。RSS 1.0 はサイズ制限はないので、仕様上は問題ないのですが。

> メモ: ブラウザに欲しい機能
> ・タイトルと URL をコピー
> ・指定文字列をハイライト
> ・すでにハイライトしている文字列がある場合に、指定文字列を追加でハイライト

Donut RAPTの と
RakuCopyじゃまずいのかな？

- OpenOffice.org のダウンロード とインストール。

- 起動してエクセルのファイルを読ませてみる

- 宛名は手書き

# ChangeLog を公開する URL (相対 URL 不可) - RSS に必要
# 末尾の "/" は不要
$clog_url = q(http://sonic64.hp.infoseek.co.jp);

- もしかして単に実装を簡潔にするため?

$clog_url = q(http://sonic64.hp.infoseek.co.jp/);

<rdf:li resource="http://sonic64.hp.infoseek.co.jp//2003-12.html#2003-12-25-4" />

<channel rdf:about="$clog_url/cl.rdf">
<title>$changelog_name</title>
<link>$clog_url/</link>

- テスト

s!(bulkfeeds\s*で\s*(.+?)\s*(を|で)検索)!"<a href=\"http://bulkfeeds.net/app/search2?sort=score&amp;q=" . url_encode(Jcode->new($2)->utf8) . "\" title=\"Bulkfeeds 検索: $2\">$1</a>"!eig;

Bulkfeeds は RSS Feed のディレクトリサービスです。日本国内で Syndicate されている RSS を検索できます。2003/12/25 09:15 現在 26,251 件の RSS が登録され、208,508 件の item がインデクスされています。

# ヘッドラインを生成する
sub make_headline {
    my $MAX_DATE = 90;
    my $tmplt_item_header = qq(<li class="headline_li"><a href="%s.html#%s-%d">%s</a></li>\n);
    my $tmplt_item_list = qq(<dd class="headline_dd">\n<ul class="headline_ul">\n%s</ul>\n</dd>\n);
    my $tmplt_item_dt = qq(<dt class="headline_dt"><a href="%s.html#%s">%s</a></dt>\n);
    my $tmplt_item_dl = qq(<dl class="headline_dl">%s</dl>\n);

    my $headline = '';
        my $cnt = $MAX_DATE;
    foreach my $ymd (sort {$b cmp $a} keys %all_entries) {
        last if (! $cnt);
        my $lists = '';
        my ($ym) = ($ymd =~ /^(\d{4}-\d\d)-\d\d/);
        foreach my $i (sort {$b <=> $a} keys %{$all_entries{$ymd}}) {
            next if ($i !~ /^\d/);
            my $c = $all_entries{$ymd}{$i}{h};
            $c =~ s/[\n\t]+//g; # 改行消し
            $c =~ s/\s\s+/ /g;
            $c =~ s|<img.+?alt="(.*?)".*?>|[$1]|gosm;
            $c =~ s/<.+?>//g; # タグ抜き
            $c =~ s/\* //;
            $c =~ s/\s+$//;
            $lists .= sprintf($tmplt_item_header, $ym, $ymd, $i, $c);
        }
        $headline .= sprintf($tmplt_item_dt, $ym, $ymd, $ymd);
        $headline .= sprintf($tmplt_item_list, $lists);
        --$cnt;
    }
    return sprintf($tmplt_item_dl, $headline);
}

- サイトの登録と更新通知

- wget で更新通知 URL をアクセスする

$ wget -q -O - http://bulkfeeds.net/app/add.xml?url=http://sonic64.com/cl.xml

<?xml version="1.0" encoding="UTF-8" ?>
<result>

<successes>

<success about="http://bulkfeeds.net/app/view/25995.html">
http://sonic64.com/cl.xml</success>

</successes>

</result>

「over httpsだと、ブロックできないので管理者大変」と各地で騒がれているけど、仮想Hubは接続したときに、「SoftEther Protocol」って答えるから、これを見て落とせばOKなのにね。

- お醤油屋さんのつけやき

- 新潟仕込み

- うまい煎餅

- 拡張レスポンスヘッダの取得

str := IdHTTP1.Response.RawHeaders.Values['X-SpecialResponse'];

- 拡張リクエストヘッダの設定

IdHTTP1.Request.CustomHeaders.Add('X-SpecialRequest: F-ZERO GX');

- CustomHeaders からは取得できない

// NG
str := IdHTTP1.Response.CustomHeaders.Values['X-SpecialResponse'];

Dec 16 16:01:03 pro procmail[15195]: Insufficient privileges to deliver to "root"
Dec 16 16:01:03 pro sendmail[15194]: QAA15185: QAA15194: DSN: Insufficient permission

4000 user s-bit を立てる (setuid・suid)
2000 group s-bitを立てる (setgid・sgid)
1000 sticky bit を立てる

というものがある。

% chmod 4755 file

あるいは

% chmod u+sx file

で setuid を立てることができ、

% chmod 2755 file

あるいは

% chmod g+sx file

で setgid を立てられる。setuid・setgid の意味については setuid の項を参照してほしい。
(用語集 setuid *)

sticky bit というのは、ディレクトリの下にあるファイルの削除に関する設定である。例えば /tmp ディレクトリを考えてみよう。/tmp は一時ファイルを作成するためのディレクトリで、誰でもファイル・ディレクトリを作成できる。しかし /tmp のパーミッションを 777 にすると、あるユーザが作ったファイルを他のユーザが消すことができてしまう。そこで /tmp のパーミッションを 777 にし、さらに sticky bit を立てる。すると、

誰でもそのディレクトリの下にファイル・ディレクトリを新規作成できる
しかし、それを消せるのは作成したユーザ (ファイル・ディレクトリのオーナー) のみ
となる。実際、/tmp は sticky bit が立っている。

% ls -ld /tmp
drwxrwxrwt 7 bin bin 1024 Oct 10 10:24 /tmp

最後の「rwt」の「t」が sticky bit を表している。

% chmod 1777 dir
% chmod a+rwxt dir

などで sticky bit を ON にできる。

procmail: Error while writing to "/usr/sbin/sendmail"

- 対象となる文字列

<Unknown_Internet_Mail_Address@10.3.50.200>,
"=?ISO-2022-JP?B?GyRCQX4kJCQiJHMkQSQvJDckZyQmGyhC?="
<マルチバイトの文字列>,

<Unknown_Internet_Mail_Address@10.3.50.200>,
"=?ISO-2022-JP?B?GyRCQX4kJCQiJHMkQSQvJDckZyQmGyhC?="
<NGSTRING_nn_NGSTRING>,

- スクリプトを書いて試してみる

|perl -pe 's/<(\W+)>/"<NGSTRING_" . unpack("H2", $1) . "_NGSTRING>"/eg;'

|perl -0777 -pe 's/(To: .*?),.*?(?=^\w)/$1\n/sm;'

PATH=/usr/bin:/usr/sbin:/usr/ucb:/usr/local/bin:/pub/bin:.
LOGFILE=$HOME/log/procmail.log

# ヘッダだけを対象にしたフィルタ
:0 fhH
* > 8192
|perl -0777 -pe 's/^(To: .*?),.*?(?=^\w)/$1\n/sm;'
# |perl -pe 's/<(\W+)>/"<NGSTRING_" . unpack("H2", $1) . "_NGSTRING>"/eg;'

:0
! saitou-hiroaki@example.co.jp

set logfile "/home/hiroaki/log/fetchmail/fetchmail_setlogfile.log"

$ man -LC fetchmail
[...]
      The -L <filename> or --logfile <filename> option
      (keyword: set logfile) allows you to redirect status
      messages emitted while detached into a specified
                        ^^^^^^^^^^^^^^
      logfile (follow the option with the logfile name).
[...]

ということで detach、言い換えると background(あるいは
daemon) として動作しないとログをファイルに記録しないことが仕
様のようです。

松田陽一さんの ~/.fetchmailrc の内容は分かりませんが
"fetchmail --logfile ~/fetchmaillog -v -v" でデーモン動作し
ないならログファイルが存在しないときログをファイルに記録しな
いことになりそうです。

ちなみに私は fetchmail をデーモン動作させて使用していますが、
『ログファイルは「なければ自動的に作成」』しています。

ログファイルが存在するとデーモン動作させなくてもログをファイ
ルに記録しますよね? 一貫性がなくてなんだか良く分からない仕様・
動作ではあります。はい。

client <-> delegate <-> ftp server

- 何のためにこの設定をするのか?

- 設定方法

/usr/local/bin/delegated SERVER=ftp VARDIR=/var/delegate ADMIN="admin@example.com" FTPCONF=nopasv

FTPCONF parameter*  ==    FTPCONF=ftpControl[:{sv|cl}]
       ftpControl  ==  nopasv | noport | noxdc | rawxdc
           --    default: none

nopasv
データ接続の PASV コマンドを使用不可とする。
noport
データ接続の PORT コマンドを使用不可とする。
noxdc
制御接続で、データ伝送の XDC モードを使用不可にする。
rawxdc
XDC モードにおいて、伝送データをBASE64エンコードしない。
上で列挙された ftpControl は、"nopasv:sv" のように ":sv" または ":cl" がつづく場合、例えば、ftpControl は、それぞれ、サーバ側、または、クライアント側のみに適用されます。

#!/bin/sh
tar -C /home/hiroaki/ log.txt chalow-0.20 script public_html/log -Ivcf /home/hiroaki/changelog.tar.bz2 >/dev/null
mpack -s "[ChangeLog Pack] `date`" /home/hiroaki/changelog.tar.bz2 example@example.com

- 2004-10-09 追記

:0 c

- You have mail って誰が言ってるの?

USER=`id -un`
LOGNAME=$USER
MAIL="/var/spool/mail/$USER"

ログインに成功すると、システムメッセージやメールの有無が表示される。ログインディレクトリに長さ 0 のファイル .hushlogin を作っておけば、システムメッセージファイルである /etc/motd の表示を無効にできる。メールに関するメッセージは、メールボックスの状態によって "You have new mail.", "You have mail.", "No Mail." のいずれかになる。

$ perl -MPOSIX -e 'print strftime "%Y-%m-%d %H:%M", localtime;'
2003-12-10 14:09

delegate 構築メモ

作成者 : 齋藤宏明 (example@example.com)
作成日 : 2002年06月11日

ダウンロードとインストール :
http://www.delegate.org/delegate/ から DeleGate/7.9.5 (May 22, 2002) 、
delegate7.9.5.tar.gz をダウンロードした。

tar ball を展開。
[hiroaki@sonic hiroaki]$ tar zxvf delegate7.9.5.tar.gz
[hiroaki@sonic hiroaki]$ cd delegate7.9.5

configure なしでいきなり make
[hiroaki@sonic delegate7.9.5]$ make

Enter your E-mail address [hiroaki@sonic]: example@example.com
で、メールアドレスを入力。

あとは自動的に make が進む。

src/delegated がバイナリ。これを /usr/local/bin にコピーする。

/var/delegate を作成。
/var/delegate/log を作成
/var/delegate/work を作成。

起動用スクリプト /etc/rc.d/init.d/delegated.rc を作成。
#!/bin/sh
/usr/local/bin/delegated SERVER=ftp VARDIR=/var/delegate ADMIN="example@example.com" MAXIMA=delegated:32

inetd と tcpwrapper の設定
/etc/inetd.conf に以下の記述を追加。
ftp-proxy stream tcp nowait root /usr/sbin/tcpd /etc/rc.d/init.d/delegated.rc

/etc/hosts.allow に以下の記述を追加。
# ftp-proxy
delegated.rc: 10.42.2., 10.31.3.

/etc/services に ftp-proxy を追加
ftp-proxy      8021/tcp        # ftp-proxy

上記設定を有効にするために、inetd を再起動。

ftp クライアントからの接続の仕方 :
ftp で 10.50.2.54 8021 へ接続。
ユーザ名@接続したいホスト名 を入力。
接続したいホストのパスワードを入力。

ex) ftp 10.50.2.54 8021
user hiroaki@10.24.3.1
Password:*********

これで接続完了。

以上

- logrotate の設定

/var/delegate/log/8021 {
    monthly
    rotate 60
    create
}

/var/delegate/log/8021.ftp {
    monthly
    rotate 60
    create
}

- .fetchmailrc

set postmaster hiroaki
set nobouncemail
defaults
protocol pop3
keep
no mimedecode
smtphost localhost
poll 10.58.30.2
user "私の名前"
password PASSWORD
mda "/usr/bin/procmail"

- .procmailrc

PATH=/usr/bin:/usr/sbin:/usr/ucb:/usr/local/bin:/pub/bin:.
LOGFILE=$HOME/log/procmail.log

:0
* ! ^X-Loop: hiroaki@example.com
! hiroaki@example.com

- cron

# fetch mail
*/5 8-23 * * * /usr/bin/fetchmail -f $HOME/.fetchmailrc 2>&1 >>$HOME/log/fetchmail.log

ディレクトリのパーミッション
r そのディレクトリを ls できる
w そのディレクトリの中でファイルを作成・消去できる
x そのディレクトリの中のファイルにアクセスできる

ファイルと同じように、ディレクトリにもパーミッション（アクセス権）がある。ここでも、パーミッション（アクセス権）の種類は３つだ。読み、書き、実行。でも、ディレクトリの場合には意味がちがう。つまりディレクトリを "読む" パーミッションは、そのディレクトリの中身を見たり、中のファイルを検索する許可だ。 "書く" のは、そのディレクトリの中にファイルを作ったり、ディレクトリのファイルを削除したりするパーミッションだ。そして "実行" は、そのディレクトリのファイルをアクセスする権限のことだ。

ちなみに、あるファイルのパーミッション（アクセス権）は、そのファイルが置かれているディレクトリのパーミッション（アクセス権）にも依存する。ファイルが読めるには、そのファイル自身の読み出し権限と、それが含まれるディレクトリの "実行" 権限が必要になる。だから sasha が、ほかのだれにも自分のファイルを見られたくなければ、ホームディレクトリの実行権限を、他のユーザには認めないようにすればいい。こうすれば sasha 自身（そしてもちろん root）以外は、だれもかれのファイルを読めなくなる。かれの個別ファイルのアクセス権はまったく影響しない。

# OK
ftp-proxy stream tcp nowait root /usr/sbin/tcpd /etc/rc.d/init.d/delegated.rc

# NG
ftp-proxy stream tcp nowait root /etc/rc.d/init.d/delegated.rc in.delegated

http,ftpプロトコルによるファイルのダウンロードによく使われるのが wget です。こちらは再帰的取得やレジュームの機能を備えた強力で、かつ使い勝手のいいソフトです。
wget -r 再帰的取得、mや kと組み合わせてウェブページをミラーすることも可能
-b バックグラウンドで勝手に落して来てくれます。
-c レジューム
-i ファイルからURL を読み込む
あたりはよく使います。

設定ファイルは、/etc/wgetrc や~/.wgetrc にて行います。プロキシの設定などは、いじっておいた方が良さそうです。デフォルトでプロキシの利用はオンです。

一時的にプロキシの ON/OFF をコントロールするには、例えばオフにするには、
$ wget -Y off http://hogehoge/hoge.html

どこぞのサイトにあるページ全体をローカルにミラーするのも、いとも簡単。それ以外のオプションも、あると便利なものばかり、ただし使い過ぎには注意。相手のサイトの迷惑にならない範囲でやりましょう。

ftp サイトをまるごとミラーするには、
$ wget -mck  ftp://ftp.jaist.ac.jp/pub/os/linux/kondara/Kondara/i586/
とか。

- 例

/usr/local/apache/bin/ab -n 5 -c 10 http://10.3.31.90/cgi-bin/printstdin.pl -p mutipart_form_data.txt -T "Content-Type: form/multipart"

- 参考

- ftp + tar によるバックアップの長所と短所

- バックアップで一番大切なこと

- ftp にコマンドの出力結果をアップロードさせる

ファイル名の変換
ftp の引き数として指定されたファイル名は、以下の規則に従って変更される。

1. ファイル名として `- ' が指定された場合、(読み込みとして) stdin が、(書き出しとして) stdout が使われる。
2. ファイル名の最初の文字が `|' の場合、残りの引き数はシェルコマンドとして解釈される。そして、 ftp は与えられた引き数を popen(3) に渡してシェルを fork し、stdout を読み込み、stdin に書き出す。シェルコマンドがスペースを含む場合、 " ls -lt" のように引き数をクォートしなければならない。この機構の特に役立つ例としては、dir more がある。

- バックアップスクリプトの例

#!/bin/sh

# log setting
LOGDIR=/var/log
LOG=$LOGDIR/ftpbackup.log
LOG_TAR=$LOGDIR/ftpbackup_tar.log

echo `date` backup start >>$LOG
echo `date` backup start >>$LOG_TAR

# ftp and tar backup start
ftp -i -v -n 10.3.31.89 << END >>$LOG
user USER_ID PASSWORD
cd /d/backup
bin
put |"tar -C / -zvcf - etc home --exclude=music --exclude=backup 2>>$LOG_TAR" "`hostname`_`date +%a`.tar.gz"
quit
END

echo `date` backup complete >>$LOG_TAR
echo `date` backup complete >>$LOG

- 解説

ftp -i -v -n 10.3.31.89 << END >>$LOG

複数のファイルの転送中に対話 (interactive) プロンプトを出さないようにする。

詳細表示 (verbose) オプションを使うと、 ftp はデータ転送の結果だけでなく、リモートサーバからの全てのレスポンスを表示する。

ftp が最初の接続で 自動ログイン (auto-login) しようとするのを抑制する。自動ログインが可能な場合、 ftp はユーザーのホームディレクトリにある .netrc ファイル ( netrc(5) を参照) でリモートマシンのアカウントが記述されているエントリをチェックする。エントリがない場合、 ftp はリモートマシンのログイン名 (デフォルトではローカルマシンでログイン名) を要求するプロンプトを出す。必要ならば、ログインに使うパスワードとアカウントを要求するプロンプトを出す。

user USER_ID PASSWORD
cd /d/backup
bin

user operator backup_command

put |"tar -C / -zvcf - etc home --exclude=music --exclude=backup 2>>$LOG_TAR" "`hostname`_`date +%a`.tar.gz"

"tar -C / -zvcf - etc home --exclude=music --exclude=backup 2>>$LOG_TAR"

"`hostname`_`date +%a`.tar.gz"

[hiroaki@sonic ~]$ echo `hostname`_`date +%a`.tar.gz
sonic_Tue.tar.gz