5ちゃんねる ★スマホ版★ ■掲示板に戻る■ 全部 1- 最新50  

■ このスレッドは過去ログ倉庫に格納されています

キャッシュ型負荷分散システム開発スレッド

1 :名無し娘。 ◆vP.bOZFQ :01/08/27 19:29 ID:asPJm1Ug
このスレッドは、2ch.net の転送量削減を目指し、P2P-cache型の
負荷分散システムを開発するスレッドです。

参照:http://203.174.72.113/p2pcache/P2Pcache/frame.htm
その他参照スレは >>2-5 あたりに。

2ちゃんねるの軽量化・開発に関する他の話題は、
http://piza2.2ch.net/test/read.cgi?bbs=tech&key=998845501&ls=20

その他、障害報告・動作報告等は、
http://teri.2ch.net/test/read.cgi?bbs=accuse&key=998808733&ls=20

に、それぞれお願いいたします。

369 :名無しさん@お腹いっぱい。:01/09/01 00:54 ID:0uvhcdI.
いますぐ対処できる方法?
そんなもん・・・sleep( 2 ) ;にきまってんじゃん。
  (処理量[TPS]×レスポンス[秒])÷(多重度×1秒×並列実行度(0.7〜0.9))=1秒
  処理量[TPS] = (多重度×並列実行度)÷レスポンス
今は処理量をある一定量にしたいだけ。
多重度をあげようと思うと、apacheの設定変更が要る→×どうもそれはやっちゃダメなレギュレーションらしい
並列実行度は、まぁ最大95%くらいはいけるだろう。
あとは、レスポンスをのばすしかねぇ。

みんないいかげんにきれい事ばかり奉るのはよせ。

370 :名無し娘。 ◆vP.bOZFQ :01/09/01 00:56 ID:pjf5FAnk
>>366-367
いや、そういうわけにはいかないかと。
もちろん、一時的なことなら問題にはならないでしょうが、2chでは意図的に
危ないものを残してますから、長期間、違法なものだと気付きつつ公開する
覚悟が必要になります。

371 :Perler ◆GSi39OA6 :01/09/01 01:04 ID:KDhC7Jyc
>>369

既出だったと思います。

当時言われていたのは、Bigの「快適」であるという宣伝文句に触れるという点。

プロセス空間を埋め尽くしてfork出来なくなったり、ApacheのMaxClientsをオーバーして
ほとんど接続できないという状況が発生する可能性も考慮する必要があると思います。

>>370
同意します。NNTPでも違法と知りつつサーバーにデータを残しておくのは問題が
あるでしょう。ただ、NNTPの場合は、あえて違法である可能性のあるデータをネットワーク上に
残しておこうとする人が居ない点や、キャンセル・メッセージなどの仕組みがうまく
働いて、そういった状況になりにくいだけだと思います。

372 :音楽侍 ◆NtVkSITE :01/09/01 01:10 ID:nAqJ7GB2
>>370
その点を争点にすると、非常にやっかいになります。
idxファイルを作ってもらえないとミラーリングしにくいのも、実はここに帰着しますし。

idxファイルの更新を確認することでデータのミラーリングを進めるのは、
「削除されたデータを消す」作業と、「削除されたdatを消す」作業の両方のメリットがあるわけでして。

ただ、訴訟大国アメリカでも、feedに関わったnntpサーバが敗訴した、という話は、寡聞で恐縮ですけど、知りませんです。
このプランはnntpではありませんが、システム的にdatにコミットできない状況が証明できれば、賠償責任は発生しないと考えます。

#社会的道義的責任と非行政的司法的な公的制裁については別ですよ。

373 :あぼーん:あぼーん
あぼーん

374 :名無し娘。 ◆vP.bOZFQ :01/09/01 01:45 ID:pjf5FAnk
>>372
nntpその相違点は、今回のシステムはあくまで「2ちゃんねる」というコンテンツの
配信にあるということかな。
2ちゃんねるがこういうコンテンツ群であることは、ミラー鯖を立てる時点で
わかっているはずですから。
# 心配なら、安全そうな専門板だけをミラーするのもありかと。
# datにコミットできなくても、「ミラーに参加しない」という選択肢がある以上、
# 認められにくいと思います。まあ、現実的には、2ch.net を訴えずにミラー鯖だけ
# 訴えるってことはないと思いますが。

375 :anony ◆3XTuRnAc :01/09/01 01:49 ID:9ylud7MU
>Perler様
てことで、新作の稼動を開始しました。
さらにミラーする板の数増えてます(笑。

376 :♯6411:01/09/01 01:56 ID:d7EdbXsw
>>369 下手にsleep()なんかすると、
さらなる過酷な事態が待ってます。

377 :名無しさん@お腹いっぱい。:01/09/01 02:06 ID:0uvhcdI.
>>371
プロキシ化したりミラー化したりするのって、
それこそ「BigServerはつかえません」て公言しているのと同じように
みられるんじゃないかなー・・・

378 :音楽侍 ◆NtVkSITE :01/09/01 02:18 ID:nAqJ7GB2
>>377
そんなことないですよん。
お金の問題なんですから。
予算に問題なかったらT1専用回線だっていいんだし。

379 :音楽侍 ◆NtVkSITE :01/09/01 02:19 ID:nAqJ7GB2
>>374
ちょっと詭弁ですか私?(笑)
まー、ミラーする人のモチベーション次第ですよね。

380 :名無しさん@お腹いっぱい。:01/09/01 02:22 ID:0uvhcdI.
>>376
apacheでとまるでしょ。
socket的なところにおいても同様。
つまり、7月までに大事になってなければ、
それやっても大事にはならないはず。

テレホのときなんか待ちだらけじゃない すでに起こっていることだよ。

381 :にはん ◆/gWayilU :01/09/01 02:24 ID:6ZAL1f42
>>378
T1じゃ足りないでしょう。瞬間最大風速だけならT1の100倍出てるんだから。

# いまどきは専用線引いてうんぬんというソリューションはあまり聞かないですな。

382 :名無しさん@お腹いっぱい。:01/09/01 02:25 ID:0uvhcdI.
>>378
であれば別にsleepしても構わないんでは?
BigServer側を思いやった安全装置、という姿勢で通せばよいだけだと思う。

ひょっとして別の意図があってProxyにしたりP2Pにしたりしてない?

383 :にはん ◆/gWayilU :01/09/01 02:27 ID:6ZAL1f42
>>382
sleep() かますんなら帯域制御したほうが確実だと思われ。(LinuxでBSD/OSとかFreeBSDの
4系みたいな帯域制御って出来ます?>all)

だけど、それは既に選択肢にはないんでしょう。ていうかそれをやるなら根本から
この議論が無意味になってしまう。

384 :音楽侍 ◆NtVkSITE :01/09/01 02:32 ID:nAqJ7GB2
>>381
たしかに(笑)
じゃなくて、いいたいのは、
「帯域課金が問題で、サーバ性能の問題じゃない」ってことで。
(ちゅ〜か、ちゃんとつたっわってますです・・・)

しかし、ここの瞬間最大風速すごいですよね。
でも、いまのアメリカのITバブル崩壊状態でも、そんな多額な使用量要求されるんだなぁって。
納得いかないっす。

385 :98er ◆8OGY65D6 :01/09/01 02:33 ID:zffvJ/c.
本気で cache server を動かすのだったら、

1. master の変更を細かく cache server へ知らせる
2. cache server にアクセスがあった時点で master へ変更分を聞きに逝く

のどちらかでないと、cache server が増えたら今の mirror だと対処できなくなると思いますがどうでしょうか。

386 :名無しさん@お腹いっぱい。:01/09/01 02:35 ID:ltjuNT5c
なんか Apacheも自由にいじれないわ 使用料もバカ高だわで もっといいとこ
ありそうな気はするけどねぇ......

387 :名無しさん@お腹いっぱい。:01/09/01 02:36 ID:0uvhcdI.
話題を発散させるつもりはないです。
NNTPの話とか法的問題とかの話がでたので、ちょっとみんなの意図を確認したかった。
といいつつ、発散させてしまってすまんです。

>>383
sleepでも同じ効果はあるよ 過負荷下でも処理能力上限がそれで決まるから。
# gzipも逆の方向の同じ線上の対処だよ。
それと根本は変えられないはず だって契約の世界の話だもん。

388 :名無し娘。 ◆vP.bOZFQ :01/09/01 03:01 ID:pjf5FAnk
>>379
いえいえ(^^;
ま、鯖管理者の人に重荷を背負わせなければいいんで。
怖くなったらやめられるとか、そういうのりで(笑
>>386
同感です。。。

389 :名無しさん@お腹いっぱい。:01/09/01 07:33 ID:JFd9Ufio
夜勤さんは悪くない。
夜勤さんは悪くない。
夜勤さんは悪くない。

390 :ガイシュツダッタラゴメ:01/09/01 07:56 ID:pYZtiI2U
ttp://www.geocities.co.jp/SiliconValley-PaloAlto/6896/

391 :名無しさん@お腹いっぱい。:01/09/01 12:00 ID:5n2mByDs
27日から忙しくてこれませんでした。
キャッシュされたコンテンツに違法なものが含まれていることが
争点になった裁判の判例というのは今のところ国内外でないと
思います (知り合いの弁護士と話した限りです。漏れがあるかもしれません)。

ただし、もし訴えられた場合には (例え必ず勝つとわかっていても)
手間や費用は発生します。別に2chキャッシュだけの問題ではなく、
個人で小規模なサイトを運営していたとしても同じリスクはありますけどね。
(自分の日記サイトで「○○で飯食ったら不味かった」と書いたら訴える
という内容証明が届いたという例もあるようです)。

2chキャッシュの場合、キャッシュ運営者が訴えられた場合、それはキャッシュ
運営者側で対応しなくてはなりません。それをひろゆき氏側にそのまま
リダイレクトということは制度上できません。

まぁ、キャッシュ運営者グループで互助会を作って、定期的に法律や
判例の勉強会などをやっておく程度の自衛は必要かと思います。

392 :名無しさん@お腹いっぱい。:01/09/01 13:14 ID:ZVC7//8A
大丈夫だよ。
金持ってない奴を訴えるような暇人はニセーイとかレクみたいなトコだよ。

393 :名無しさん@お腹いっぱい。:01/09/01 22:24 ID:g7nGJVFU
>>391
勝訴すれば、かかった費用は敗訴側におっつけることができます。

394 :音楽侍 ◆NtVkSITE :01/09/01 22:49 ID:nAqJ7GB2
>>393
よく知らないけど、それは別訴訟を起こさないといけなかったのでは?

395 :名無し娘。 ◆vP.bOZFQ :01/09/01 23:24 ID:T7eD9J7M
>>393-394
訴訟費用の裁判は決定でできるのですが、いろいろあってあまり使われていません。
結論としては、「押しつけるのはちょっと面倒」です。

396 :住人:01/09/02 02:59 ID:0T0SCVvQ
法的議論は後回しにしませんか?
我々は法律の事がよくわかってないし、法律板の人たちは
我々の実装がよくわからないうちでは、いいようもないだろうし

とりあえず、でっち上げて、問題がおこったらなんとかすりゃいいっつーのは
ダメっすかね? ダメっすかね?

397 :名無し娘。 ◆vP.bOZFQ :01/09/02 06:09 ID:KHm/2G/Q
>>396
いいとおもいますよ。

398 :名無しさん@お腹いっぱい。:01/09/02 17:18 ID:c/03xBX6
キャッシュの同一性については、2chの鯖側で対応できるのでは?
どうせ書き込みの時には本家に飛ばされるんだから、
そのときに本家側でキャッシュを検出して、あとで同一性
チェックをやれば済みそうな。
実装するのはいつでも構わないし。

399 :名無し娘。 ◆vP.bOZFQ :01/09/02 18:52 ID:ahw9C5HM
>>398
bbs.cgi がキャッシュ検出(?)を呼び出すってことでしょうか。

400 :てんてんdwp@ yankee.tokyo-nazo.net:01/09/02 20:05 ID:kFLIU9UQ
>>398
つまり、キャッシュサーバは書きこみデータを飛ばすときに一緒にそのボードのdatを
まとめて渡し、2chの本家サーバはそれを自分のデータとマージしてチェックってこと?
アップロード側の転送量なら問題ないし。

401 :名無し娘。 ◆vP.bOZFQ :01/09/02 22:32 ID:m12q0h3w
>>400
キャッシュ鯖は書き込みデータを飛ばさないと思うのですが。。。
2ch.netのbbs.cgiにPOSTするんですよね?

402 :てんてんdwp@ yankee.tokyo-nazo.net:01/09/02 22:56 ID:kFLIU9UQ
>>401
あ、そうか。
そうするとどういうことだろ。

403 :名無しさん@お腹いっぱい。:01/09/02 23:26 ID:aaNCJszY
>>402
POSTするときに、キャッシュのIPをパラメータとして渡しておいて
配信してもらう、てのはどう?

404 :てんてんdwp@ yankee.tokyo-nazo.net:01/09/03 00:16 ID:4ddUyIws
>>403
データ転送量の削減になるかなぁ。

405 :名無し娘。 ◆vP.bOZFQ :01/09/03 00:28 ID:Av.MF.Jo
>>403
キャッシュ鯖のIPはもともと2ch.netに登録しないといけませんし、
いざbbs.cgiが書き込みをすれば、全キャッシュ鯖にそれを反映させないと
いけません。。。ので、パラメータの必要はないかと。

406 :名無しさん:01/09/03 00:55 ID:MtmTOYVc
P2P → 分散(レプリケーション)
キャッシュ → ミラー

あーやだやだ

407 :   :01/09/03 01:51 ID:7L2.Ubc6
 ★「2ちゃんねる閉鎖騒動」の発端について★
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
そもそも、このサイトで「2ちゃんねらーに殺されかけた」と告発があってから、
これを機に反2ちゃんねる勢力が「2ちゃんねるつぶし隊」なる組織を結成し、
2ちゃんねるサーバにクラッキングを開始したことが、事件の発端らしい。
http://www2.odn.ne.jp/~win530/voice//voice05.html (「個人情報が流出した日」)
なお、この騒動の後に「2ちゃんねる売 ります」の事態が起きたという。
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

408 :名無し娘。 ◆vP.bOZFQ :01/09/03 02:29 ID:Av.MF.Jo
>>406
ガイシュツですけど、>>1についてはいろいろありましてな。すいません。
>>398-405 は、私もよく意味わかってないので、意思疎通のために
方便使いました。やっぱりそういうことなんでしょうかね。
それならガイシュツだから、気にしなくてよさそうだ。

409 :398:01/09/03 05:15 ID:W4HUGYWI
漏れも詳しいことは知らないが、「bbs.cgiなり何なりが自動的に
ミラーを訪れて、抜き打ち検査をやる」というシステムなら
作れるかもと言うこと。
書き込みの時には、単に巡回リストにミラーを登録するだけ。

410 :てんてんdwp@ yankee.tokyo-nazo.net:01/09/03 21:21 ID:4ddUyIws
一番簡単なのは江戸時代の五人組制でしょう。
サーバが相互に監視するの。
例えば回線太いA(L1)B(L1)という2台のサーバと細いC(L2)D(L2)E(L2)という
サーバがあったとして。
time1
2ch→A→B→D
     →C→E
time2
2ch→B→A→E
     →D→C
time3
2ch→A→B→C
     →E→D
という具合にデータを参照すればいいんじゃないかな。相互支援(謎)ね。

411 :名無しさん:01/09/03 21:38 ID:kQsP7ha.
>ただ、NNTPの場合は、あえて違法である可能性のあるデータをネットワーク上に
>残しておこうとする人が居ない点や、キャンセル・メッセージなどの仕組みがうまく
>働いて、そういった状況になりにくいだけだと思います。

過去何人もキチガイキャンセラーが出現したけどね
2chでいう電波削除人だね
しかも、結構有名な人も

一日中炉裏画像キャンセルしまくってるキチガイセンセイもいるしね

412 :名無し娘。 ◆vP.bOZFQ :01/09/03 23:32 ID:VfGNwAvM
>>410
賛成です。私の意見の概要は>>272 からそれほど変わっていません。
これを効率化し、必要最低限(がどれくらいかわかりにくいけど)にしていければ、
うまくいきそうな気がします。

413 :名無しさん:01/09/04 20:10 ID:gAGVJ.CY

Perlerさんのクソ・リアリズム、マジでカッコ良かった。
それだけは書いときたかったんで。脈絡なくて、失礼

414 :てんてんdwp@ yankee.tokyo-nazo.net:01/09/06 20:31
ところで、こっちは収束したと考えていいんでしょうか。
まだ何かありましたっけ?

415 :名無しさん@お腹いっぱい。:01/09/08 13:59
datファイルがうまく参照できない。
apacheのoptionのIndexesを外したのかな...

416 :音楽侍 ◆NtVkSITE :01/09/08 18:12
>>415
error: Status code is not 200ですか?

417 :名無しさん@お腹いっぱい。:01/09/08 19:36
>>416
その通りです。その行をコメントアウトしたら、kakiko.comのページに飛ばされてることが判明しました。
subbackを見て取ってくるようにしないと駄目かな。

418 :音楽侍 ◆NtVkSITE :01/09/08 20:59
>>417
今朝未明からdat直覗きが出来なくなってますね。

149 KB
■ このスレッドは過去ログ倉庫に格納されています

★スマホ版★ 掲示板に戻る 全部 前100 次100 最新50

read.cgi ver 05.04.02 2018/11/22 Walang Kapalit ★
FOX ★ DSO(Dynamic Shared Object)