JANOG58では、BGPの運用、RPKIによる経路セキュリティー、IPアドレスポリシー、そして生成AIを支える高速なデータセンターネットワークについて、現在の課題と次の世代に向けた議論が交わされた。
私が見たJANOG58のリアル
会期初日の夜には、さくらインターネットとアリスタネットワークスジャパンによる「さくらの夕べ in 松山」にも参加しました。ここでは「AIインフラのリアル」と題し、生成AIの計算基盤を実際に構築・運用する立場から、GPUだけでは完結しないネットワーク、電力、冷却、調達、運用上の課題が語られました。
また、JANOGの価値は壇上の発表だけにあるわけではありません。私は会期中、IXPの関係者とAS63806 Menhera®の相互接続について相談し、他のネットワーク運用者とは、大手町のデータセンターでラックを利用する構想について話し合いました。JPNICの関係者からは、インターネット資源管理を支える同組織のインフラについて、現在進められている取り組みを聞くことができました。
BGPでネットワーク同士を接続すること、RPKIで経路の正当性を検証すること、データセンターに機器を置くこと、そしてAI基盤の中で大量のデータを運ぶ高速Ethernetを構築すること。規模や用途は異なりますが、いずれも論理設計だけでは動かず、物理設備と継続的な運用を必要とします。
発表を聞く場所から、ネットワークをつくる場所へ
現地レポ①では、松山の街や会場の空気、展示、BoF、懇親会など、現地で体験したJANOG58の姿を紹介しました。
現地レポ②では、そこで得た技術的な知見と、実際のインフラ構築に向けて進んだ話を扱います。
公開資料やアーカイブ映像を通じて、JANOGの発表を後から確認することはできます。しかし、ネットワーク同士を接続するには、技術仕様だけでなく、接続拠点、回線、機器、費用、運用体制、障害時の連絡先などについて、関係者と具体的に調整しなければなりません。
どのIXPに、どの拠点から接続するのか。どのようなポートや回線を利用するのか。データセンター内で誰が機器を管理するのか。どの経路を受信し、どの経路を広告するのか。ROA、IRR、PeeringDBなどの情報をどのように整備するのか。
JANOGの現地には、発表で得た知識を、実際の設備や接続の計画へつなげられる環境があります。
インターネット通信（communication）を支えている第0レイヤーは、人間同士のコミュニケーションである。
森 祐佳 – AS63806 一般社団法人生活情報基盤研究機構
日本のBGP運用から考える、ネットワーク同士の接続
BGPは単なる最短経路探索ではない
- ASとAS番号の基本
- BGPによる経路情報の交換
- トランジット、IXP、プライベートピアリング
- 経路選択に反映される技術・契約・運用上の条件
- 経路リークや誤広告が外部へ波及する可能性
- IRRやRPKIを使った経路フィルタリング
BGPは自動的に「最もよい経路」を発見してくれる万能な仕組みではありません。どの経路を優先し、何を外部へ広告し、どの情報を信用するかは、各ASの運用ポリシーに委ねられています。
IXP関係者との対話で具体化した相互接続
私は、某東京のIX（インターネットエクスチェンジ）の関係者と実地で会話し、相互接続の見通しについて議論しました。具体的な話、構内線の手配など、実際上のやることがたくさんあるのです。
接続先が増加するにつれて、構成の自動化は必須になってきます。この自動化についても、設計を進めています。
RPKIは導入段階から安定運用の段階へ
ROA、VRP、ROVをどう理解するか
- ROA：どのASがプレフィックスを広告できるかを示す情報
- VRP：ROAから検証・生成される経路検証用の情報
- ROV：受信したBGP経路とVRPを照合する運用
- RPKIキャッシュサーバー：検証情報を集約し、ルーターへ提供する仕組み
正当性を検証する仕組み自体の可用性
RPKIでは、署名された情報が存在するだけでなく、その情報を取得・検証し、ルーターへ安定して提供できることが重要です。
従って、プログラムでは、RPKIキャッシュサーバの信頼性を上げるための仕組みについても話しあわれました。
JPNICのポリシーと、それを支えるインフラ
アドレスポリシーは誰がつくるのか
IPアドレスやAS番号の分配ルールは、単にJPNICやAPNICが一方的に決めるものではなく、コミュニティーでの提案と議論を通じて形成されます。
制度が成熟したことで安定性が高まる一方、現在のルールが成立した背景や、ポリシー策定プロセスに参加する知識が継承されにくくなる課題があります。
資源管理を動かす情報システム
IPアドレスやAS番号は制度上の情報ですが、その管理には実際のシステムが必要です。
- 資源申請と割り振り
- 登録情報の管理
- 認証
- WHOIS・RDAP
- IRR
- RPKI
- 指定事業者との情報交換
- 問い合わせと障害対応
JPNIC関係者から聞いた更新
JPNIC では、長らく JIS エンコーディングで Whois 応答をしてきましたが、順次 UTF-8 での応答に切り替えるそうです。これには慎重な移行が必要なので、1年がかりの移行であるとのことです。
JANOG58で議論された、AIインフラのネットワーク
AIによる通信需要は一種類ではない
- 学習データの収集と転送
- 分散学習におけるGPU間通信
- ストレージとの通信
- 推論リクエストと応答
- モデルやチェックポイントの配布
- データセンター間通信
- AIサービスから外部インターネットへの通信
学習時の集中した大容量通信と、推論時の継続的・分散的な通信の双方が重要です。
AIインフラのネットワークを階層で見る
- GPU・計算ノード間
- ラック内
- データセンターファブリック
- ストレージネットワーク
- データセンター間接続
- インターネット接続
BGPで結ばれる外部ネットワークと、GPUクラスタ内のEthernetは用途が異なります。しかし、AIサービス全体を運用するには、これらを連続したシステムとして捉える必要があります。
「さくらの夕べ」で聞いたAIインフラのリアル
「さくらの夕べ in 松山」は、JANOG58初日の夜に開催されました。JANOG58に合わせて企画されたイベントで、さくらインターネットとアリスタネットワークスジャパンの関係者による「Ask Us Anything: AIインフラのリアル」が行われました。
このイベントは配信されず、オフレコな内容もあるので、リアルな話がいっぱい聞けたということだけお伝えしておきます。
JANOG本編との違い
JANOG本編の発表が一定のテーマと資料に沿って構成されるのに対し、「Ask Us Anything」では、登壇者同士の対話や会場からの質問を通じて、より率直な運用上の課題が語られました。
- AI基盤で必要となるEthernetの速度
- InfiniBandとEthernetの選択
- GPUクラスタの規模
- East–Westトラフィック
- RoCEv2
- いかにパケロスを出さないか
- 光トランシーバーと配線
- 機器や部材の調達（特に、ベンダーの推奨構成を採用するかどうか）
- 電力と冷却
- 障害切り分け
- 求められている人材
- 実際に運用を始めてから判明した課題
「高速なポートを用意する」だけではない
この節の中心的なメッセージは、AIインフラのネットワークは、単に100GbE、400GbE、800GbEとポート速度を上げれば完成するものではない、という点です。
大量のGPUを効率よく動かすには、通信パターン、スイッチ構成、輻輳制御、配線、光学部品、電力、冷却、監視、交換体制までを含めて設計する必要があります。
Rack-Scale GPUでは、ラック内の多数のGPUや計算ノードを、一体的なシステムとして動作させます。
そのため、ネットワークの遅延、帯域、パケットロス、リンク障害が、単なる通信品質ではなく、計算基盤全体の性能と可用性に影響します。
高速化で増える物理的制約
- ポート密度
- ブレイクアウト
- 光トランシーバー
- ケーブル長
- 曲げ半径
- 消費電力
- 発熱
- FEC
- リンクフラップ
- トランシーバー互換性
- 交換用部材
- 配線作業の難易度
具体的なEthernet速度や構成は、JANOG58および「さくらの夕べ」で実際に語られた内容に合わせます。
高速Ethernetではイーサネットという部分は同じようにできますが、スイッチの論理設定だけでなく、光ファイバー、コネクター、トランシーバー、配線盤もシステムの一部になります。
速度や密度が上がるほど、物理層の小さな問題が大きな障害として現れる可能性があります。
AS63806: 大手町PoP
- 多数のネットワーク事業者が集まる
- IXPやトランジットへの接続候補
- 相互接続の選択肢
- 他の運用者との設備共有
- AS63806の東京側拠点
などがこれが重要な理由です。
この度、AS63806 一般社団法人生活情報基盤研究機構でも、職員証を用意し、データセンタなどへの入館への準備を整えました。
小さなASもインターネットの構成員である
AS63806は、巨大なAIクラウド事業者と同じ規模のインフラを構築するわけではありません。
それでも、BGP経路を外部へ広告し、IXPやトランジットと接続する以上、経路管理、RPKI、障害対応、セキュリティー、物理設備、連絡体制に責任を持つ必要があります。
大規模なAIインフラの議論からも、小規模なネットワークが学べる原則があります。
- 速度だけでなく運用性を見る
- 単一障害点を把握する
- 論理設計と物理設計を分離しすぎない
- 障害を検知し、切り分け、復旧できる構成にする
- 機器だけでなく交換部材と作業体制を用意する
- 人員と予算に合った持続可能な設計を選ぶ
【編集部後記】
JANOG58と「さくらの夕べ in 松山」で、私はBGP、RPKI、AIインフラ、高速Ethernetについて、発表資料だけでは見えにくい運用上の課題を聞くことができました。
同時に、IXP関係者との相互接続の相談、大手町のデータセンターでのラック利用に関する話し合い、JPNIC関係者からのインフラに関する情報収集も進みました。
その場ですべてが決まったわけではありません。しかし、接続のために誰と話し、何を確認し、AS63806側でどのような準備が必要かは、以前より具体的になりました。
BGPはネットワーク同士が経路を交換するプロトコルです。RPKIは、その経路を広告する権限を検証する仕組みです。高速Ethernetは、AI計算基盤の内部で大量のデータを運びます。
しかし、これらの技術を動かすのは、ルーターやスイッチだけではありません。異なる組織の運用者が会い、条件と課題を確認し、障害時にも協力できる関係をつくることで、新しい接続とインフラが成立します。
松山で始まった対話を、実際のラック、回線、ルーター、BGPセッションへつなげられるか。現地レポの本当の続きは、これからの構築と運用の中で明らかになります。
