【JAL】サーバーダウン?で販売中止になるなんて

    JALのシステムがダウンしました。

    一時的にアクセスが集中したことによるものと思われますが、断続的に負荷が高い状態でが続いたのでしょう。そして残念なことにお得な航空券の販売は12時間以上経ってから中止となってしまいました。

    以前よりJALのシステムはプアだと感じていましたが、こういう形で露呈するとは思わずでした。かなり影響が大きいと思われますのでこれを機会に抜本的に見直してほしいなと願っています。これまでのようなつぎはぎのシステムの延長では難しいんじゃないだろうかというのは素人考えですけれど。


    2023-03-090.png




    今回は9日0時から販売開始でしたが、その前からずいぶんシステムはおかしい状態でした。TOP画面はだいぶ文字ばけの画面でしたしまともではありませんでした。これはダメだなと思いましたが、0時にはTOP画面にアクセスすこともできない状態になりました。
    アプリですとアクセスはできましたが、その後は進むかと思うと途中で遮断されたりでまったくダメな状態が夜中、朝になっても改善せず昼になっても改善せずで最終的には、販売中止という形でシステムへの負荷を減らすという形にしたようです。

    欲しい航空券が実はたくさんありました。
    あまりにたくさんあるので今回のセールはとてもタイミングも良くてありがたいものでしたが、残念なことになりました。

    システムのことは私にはわかりませんが、今回のことは十分に予想できたことだと思いますので(予想できないわけがない、これが想定外、想像以上であったと言えるとは思えない)十分に検証された方が良いですね。同じ失敗を繰り返さないためにもね。



    にほんブログ村 小遣いブログ マイレージへ
    にほんブログ村
    関連記事
    スポンサーサイト



    shoji(しょじ)
    Posted byshoji(しょじ)

    Comments 8

    There are no comments yet.
    shoji(しょじ)

    shoji(しょじ)

    To ssさん

    坂下さん
    続報をありがとうございます。
    アクセスを予測し備えるのも大変ですね、何よりとてつもないコストがかかるということが難しい判断を求められるしそれをどの程度かを予測するのが難しいですね。

    個人的には、もう爆安キャンペーンはしないで良いのでいつでもまともにWEBが使える状態にしてくれればいいと思っています。6800円というのがどれだけ安いのかということ(インパクトが大きいということ)を改めて知ったんじゃないかなと思います。それだけ今の航空券は高いということの裏返しでもあります。前回は数枚買いたかったのですが、今はその希望はあまりないので静観かな。どこか出かける予定ができれば上手に買いたいと思っています。

    2023/03/26 (Sun) 12:40

    ss

    坂下です。
    JALのサーバー不具合についてやっと記事が出ました。前のコメントと同じように、

    同じIT業界だけど、だいぶ分野としては遠いので、単なる観察者の立場から少しだけ(と思いましたが、
    長くなってしまいました、ごめんなさい)。

    です。

    「4月中にリトライしたい」JAL赤坂社長、想定外100万人アクセスでシステム障害謝罪
    https://www.aviationwire.jp/archives/273179

    「詳しい原因はまだ調査中だが、もともとJALの予約発券システムは1時間あたり3万人くらいの方々がアクセスされ、今回は40万人くらいの方が来られても対応できるようにしたが、実際には100万人規模のお客様が一斉にアクセスされ、当初の想定を大きく超えてしまった。大いに反省している」と述べた。
     通常のセールでは「だいたい20万人程度と聞いている」(赤坂社長)として、2倍の接続数を想定していたものの、実際には5倍規模となり大きく上回った。

    通常で20万アクセスで、それの倍の40万アクセスの容量を用意したがだめだったということのようです。
    このようなクラウドサービスは容量を増やすとものすごく費用がかかるので決断は難しいところですが、私が見積もりを求められた場合には、
    1. 費用のことは別にして
    2. 通常で想定される負荷を大きめに見積もり、たとえばこの場合であれば、20万アクセスなら25万アクセスから30万アクセスと想定し
    3. その倍の50万アクセスから60万アクセスをまず想定し、
    4. 想定外を想定してそのさらに倍、100万アクセスから120万アクセスを想定する
    と提案します。ただ、「大きめの倍、さらにその倍」を受けいれる意思決定者はなかなかいないのも事実ですし、自分自身、この意思決定ができるかは難しいところです。

    このセールは再開するようです。

    JALの国内全路線6600円のセール、予約システムの最終テストを行なってまもなく再開見込み
    https://travel.watch.impress.co.jp/docs/news/1487855.html

    JALのWebサイトは、平時は毎時3万人程度がアクセスし、セールでは同40万人と想定していたところ、倍以上の100万人のアクセスが殺到。自社の流入制御システムが一時的に機能を喪失し、外部の流入制御システムを使って復旧したものの、予約・発券ゲートウェイの処理速度が低下してタイムアウトが多発、結果的に通常の予約も行なえない状況に陥り、セール中止という決断に至ったという。

    ユーザーからのアクセスの通信をすこし遅くしたりする「流入制御システム」が耐えられなくなり、クラウドサービスにある「外部の流入制御システム」を使って、アクセスをもっと絞っても、サーバーにアクセスを振り分けると思われる「予約・発券ゲートウェイ」が耐えられなかったのですね。

    このあたり、クラウドサービスにおいてしまい、負荷で自動的にサーバーを増やすオートスケールにすればいいのですが、こんなシステムだといくらになってしまうのか...。確か、ある旧帝国大学の全学サービスをクラウドサービスにおいてたら、確か年間で10億円ぐらいかかったと担当者から聞いたことがあるので、JALだったら1日で10億円ぐらいかかってしまいそうです(単なるヤマ勘以下の憶測です)。

    「同社は目下最終テストを行なっており、完了次第セールについて案内できる見込みとしている。」ということなので、今度はうまくセールができるとよいのですが。

    もうちょっと捜すと
    https://www.yomiuri.co.jp/economy/20230323-OYT1T50230/
    赤坂社長は「(セールを行う)マーケティング部門と、IT部門の連携が足りなかった。私自身が深く関与すべきだった」と陳謝した。

    という、私が書いた

    日経BPの解説が書きそうな「経営者層やマーケティング部門はクラウドベースだから、システム容量は簡単に拡張できると思っていたが、そうではなかった、システム運用側が止められなかった」という簡単な話だったらいいんですが

    とありきたりの報道もあって、何やねんという気がします。ここに原因を求めるとだめなきがします。

    長くなってごめんなさい。

    2023/03/26 (Sun) 10:21
    shoji(しょじ)

    shoji(しょじ)

    Re: タイトルなし

    henahenaさん
    いつもありがとうございます。
    予約の有効期限が『最終日の23:59?ではなく予約したのと同じ時刻』になっているとは、気がつきませんでした。
    たしかに私が最近予約したGW明けの予約のメールを見てみると、そうなっていました。
    これ知りませんでした。そしてかなり重要な話ですね。

    2023/03/13 (Mon) 15:03

    henahena

    少しズレてしまうので申しわけありません。セールでの購入を考えていた後なのですが、何便かの予約を入れ購入期限の日にちだけを確認し、最終日に購入しようとしたら予約が消えていてビックリしました。残っていた予約を確認すると、期限が最終日の23:59?ではなく予約したのと同じ時刻になっていました。いつから変わっていたのでしょう。4/12以降の予約だからでしょうか?ANAは変わっていないので慌てて再予約しました。

    2023/03/13 (Mon) 13:49
    shoji(しょじ)

    shoji(しょじ)

    To ssさん

    坂下さん
    いつもありがとうございます。
    詳しく感謝します。特にリンクはおもしろいというか、そうだった、そうだったと思い起こしながら読みました。
    せっかく打って出るというときにシステムがついていけないと大きなビジネスチャンスを逃してしまったり影響が大きいですね。販売機会を逃すだけではなくて他のことにも影響していくいのが辛いところです。やがて今回のシステム障害の検証結果が出てくると思いますが同じことのないようにと願っています。

    2023/03/10 (Fri) 18:28

    ss

    No title

    坂下です。
    同じIT業界だけど、だいぶ分野としては遠いので、単なる観察者の立場から少しだけ(と思いましたが、
    長くなってしまいました、ごめんなさい)。また、業界用語が多くなってしまって、読むのが大変かもです。

    以前よりJALのシステムはプア>
    「以前」はなかなか「ツギハギ」な感じだったのですが、最近になってずいぶん改善されました。
    まず国際線については、
    https://xtech.nikkei.com/atcl/nxt/column/18/00581/012900001/
    にあるように、「JALは予約や発券などの機能を担う旅客系基幹システムについて、1967年から米IBM製のメインフレームで50年間稼働させてきた「JALCOM」を、2017年11月からスペインのアマデウスITグループ(Amadeus IT Group)が提供する旅客系クラウドサービス「Altea(アルテア)」にリプレースした。」
    ということで、OneWorld加盟会社なども使っているAmadeusに移行して、OneWorld加盟会社にまたがる予約がずいぶんと楽になりました(成田->ロスアンゼルス->ラスベガス->ロスアンゼルス->ホノルル->成田が少し前にJALだけで予約できてびっくりしたことを覚えています)。

    ただ、この切替時にハワイ行きの予約をしていて、予約状況がまったく確認できなくなって困ってしまい、国内線の移動があったので、空港で国際線カウンターに行ってみたら、カウンターでは何もわからないし操作もできないと言われたのを覚えています。カウンターの奥には、海外から来たらしいエンジニアがノートPCからなにかログを見ていました。

    国内線についても、
    https://www.nikkei.com/article/DGXMZO40959540W9A200C1000000/
    にあるように
    「JALは第2弾として、国内線チェックイン機能を担うサブシステム「JALPAS/D」を19年2~3月にAlteaへ切り替える」
    ということで、同じくAmadeusベースにしました。この頃から、国内線についてOneWorld加盟会社のコードシェア便が増えたのを覚えています。

    Amadeusベースのシステムは成功だったのですが、これについては問題があったようです。
    https://xtech.nikkei.com/atcl/nxt/news/18/11578/
    「クラウドサービス「Altea」へ移行・刷新した際、国内線で刷新以前と同様の運賃体系を維持するため独自のカスタマイズを施した経緯がある。」

    システムはクラウド上にあるのですが、このシステムはJALだけに提供されているもののようでした。
    このカスタマイズをやめて簡素化した運賃体系がこの4/12搭乗分から実施されるもので、たぶん、当初のものとは別のシステムで動作しているように思えます。

    https://www.nikkei.com/article/DGXZQOUC1043X0Q2A210C2000000/
    日本航空(JAL)は10日、2023年4月12日搭乗分から適用する国内線の新たな運賃制度を発表した。

    たぶんですが、新しい運賃体系用のシステムに設定されている処理能力やネットワーク容量、またネットワークを処理するネットワーク機器の容量が少なくて、今の事態になっている気がします。

    実際、昨日、JAL Online(法人向けの予約サイト)にアクセスしてみますと4/12より前の予約サイトにはアクセスでき、4/12からの予約のサイトにはアクセスできない状態だったので、この想像は正しそうです。

    クラウドベースのシステムの運用は、実際のハードウェアで直接動くシステムとは違うものなので、経験を積んでいくしかないと思います(こんなシステムを運用できる人、世界でもそんなにいないと思います)。だからといってユーザーに迷惑をかけてはいけないのですが。

    日経BPの解説が書きそうな「経営者層やマーケティング部門はクラウドベースだから、システム容量は簡単に拡張できると思っていたが、そうではなかった、システム運用側が止められなかった」という簡単な話だったらいいんですが

    p.s.1
    amadeusベースなので、旅程が
    https://amadeus.com/ja/%E6%97%85%E8%A1%8C%E8%80%85/checkmytrip
    で管理できたりします

    https://tinywork.site/2020/03/23/checkmytrip/
    https://mypace-junblog.com/how-to-use-checkmytrip

    p.s.2
    ちなみにJALの最初の予約システムは、50年前の導入時点ではなかなかいけていたようですが、
    50年も使ってはいけませんね。

    https://www.jstage.jst.go.jp/article/ieejjournal1994/123/6/123_6_349/_pdf

    日本航空は日本でもコンピュータの導入が広まり始めた1964年に,早くも在庫台帳をオンラインで管理す
    るシステム(JALCOM)の稼動を開始した。さらにジャンボジェット機に代表される大量高速輸送時代を迎えるに至り,より精度の高い予約管理を行う必要性から,1970年に在庫台帳と予約記録を結びつけた予約 システム(JALCOMII)を当時最新・最大規模の汎用コンピュータであったIBM S360/M-65の下で稼動を開始した。この時,コンピュータ機器に付随して,IBM社よりACP(Airline Control Program)と呼ぶ 専用のOSと,IPARS(International Programmed Airline Reservation System)という国際線 航空旅客用の予約システムパッケージが提供された。

     


    2023/03/10 (Fri) 11:32
    shoji(しょじ)

    shoji(しょじ)

    To DLさん

    DLさん
    いつもありがとうございます。
    この日発券期限のあった予約を持っていた方は大変だったんじゃないかなと想像します。

    >一部、JGCやダイアモンド・プレミアの電話予約で購入できたとの話もあり、こちらの方が今後問題になるんじゃないかと思います。

    あれま、そんなことがあったんですか。電話するということを思いつかなかったなぁ。大いに問題になって欲しいですし、クレームしたくなりますね。あちこちいくにもちょうどいいと思ってたくさん買おうと思っていただけにシュンとしています(涙)

    2023/03/10 (Fri) 07:55

    DL

    私は、セール当日が予約した航空券を購入・発券する期日だったので、セールの影響があるかもと思いセール前日に購入しておいて事なきをえましたが、セールに関係ない人にとっては、当日とんだとばっちりでしたね。

    サーバーダウンでセール中止は残念だと思いますが、サーバー不具合の際、本来、ネットでしか購入できないセールの航空券が、一部、JGCやダイアモンド・プレミアの電話予約で購入できたとの話もあり、こちらの方が今後問題になるんじゃないかと思います。

    2023/03/10 (Fri) 07:47