Kubeflow on Alibaba Cloud 第一回~JupyterHub環境を立ち上げる

CJNANです。

最近、主にDeep LearningをベースとしたAI技術が理論研究フェーズからビジネス業界への展開スピードがどんどん早くなるのを感じています。NAS(Neural Networks Search)のようなハイパパラメタの最適化を商用化したGCPのAutoMLやENAS(Effect NAS)をOSS化したAutoKerasが今後のDeep Learning手法の主なトレンドになれると思います。一方は、もっとビジネスサイドで応用できるための、開発環境やIaaS構成が求められてきて、これに着目したもう一つのOSSプロジェクト「Kubeflow」について、Alibaba Cloudでの実現方法を紹介します。

Kubeflowについて

簡単に言うとKubernetes上で簡単に機械学習用の環境を構築、管理できるようにしたものです。KuberflowはGoogleから開発したOSSで、Kuebrnetes(コンテナ化されたアプリケーションの展開やスケーリングおよび管理をおこなうオーケストレーションツール)の強大な機能を通じて、機械学習の開発からデリバリーまでの作業をもっと簡単に実現できるし、拡張性が良いサービスを実現することができます。KuberflowはKuernetesの環境であれば、すぐ実現できる特徴がありますので、Kubernetesユーザに対しても、導入コストが低い特徴があります。

“Kubeflow on Alibaba Cloud 第一回~JupyterHub環境を立ち上げる”の続きを読む

[運用小ネタ]RAMのパスワード再入力回数を設定して、アカウントロックを試してみる

皆さん、こんにちは。ソリューションアーキテクトのQ(@joe_qiubinbin)です。

今まで、下記運用小ネタをご紹介させていただきました。

① [運用小ネタ] RAMとECSのTag機能でECSインスタンスを保護する
② [運用子ネタ]「もう勘弁してよ、このECSインスタンを作ったのはだれ ?」と悩んでいる方へ

今回はRAMのアカウントロック関連のネタをご紹介します。

RAMアカウントは権限が絞られている状態で利用可能ですが、万が一パスワードクラッキングされ、乗っ取られた時の被害も少なくありません。RAMのパスワード再入力回数ポリシーを活用することによって、アカウントロックができるようになり、パスワードクラッキングさらる可能性を大幅に下げられます。

“[運用小ネタ]RAMのパスワード再入力回数を設定して、アカウントロックを試してみる”の続きを読む

AnalyticDBのアーキテクチャ紹介

Hello,everyone, はくです。

AnalyticDBは、Alibabaによって独自に開発され、超大規模かつ中核事業によって検証されたPBレベルのリアルタイムデータウェアハウスです。2012年に初めてグループで適用されて以来、Eコマース、広告、娯楽など数多くのビジネスのデータオンライン分析をサポートして来ました。

AnalyticDBは、2014年に正式にAlibaba Cloudで販売開始しました。数年間の進化と革新を経て、「The Forrester WaveTM:CloudData Warehouse、Q4 2018」の調査レポートにより、Contendersクアドラントと評価されました。

全体アーキテクチャ

AnalyticDBは、Cloud Native Realtime Data Warehouseであり、マルチテナントをサポートしています。テナント間リソースを共有せず、各テナントは独立したモジュール(図のフロントノード、計算ノード、バッファノード)を持っています。サービス品質を保証するためにテナントが隔離されたのです。同時に、機能の整合性とコストの最適化の観点から、一連のクラスターレベルのサービスがあります(図の緑色の部分モジュール)。

以下は、各モジュールの詳細な説明です。

DBレベルコンポーネント

  • Front Node:JDBC、ODBCプロトコル層へのアクセス、認証と認可、SQLの解析、書き換え、パーティションアドレスルーティングとバージョン管理、オプティマイザ、実行計画、MPP計算のスケジューリングモジュールもフロントノードにあります。
  • Compute Node:MPP計算ワーカーモジュールとストレージモジュール(行と列、メタデータ、インデックス)を含みます。
  • Buffer Node:リアルタイムの書き込みを担当し、リアルタイムのデータサイズに基づいてインデックスの構築とマージを起動します。

クラスタレベルコンポーネント

  • Front Node:管理コンソール。
  • Management Console:メータリングや課金、インスタンスライフサイクル管理などの商品化機能を担当し、管理コンソールとサードパーティにOpenAPIとInnerAPIを提供するクラスタ管理サービス。
  • Global Meta Service:グローバルメタデータ管理。各DBにメタデータ管理サービスを提供しながら、パーティション割り当て、コピー管理、バージョン管理、分散DDLなどの機能を提供します。
  • Job Service:非同期ジョブスケジューリング機能を提供するジョブサービス。非同期ジョブには、インデックス構築、容量拡張、シームレスアップグレード、およびテーブルの削除と削除のためのバックグラウンド非同期データクリーンアップが含まれます。
  • Connector Service:外部データソース(図の右側部分)からAnalyticDBへのアクセスための接続サービス。
  • Monitoring & Alerting Service:監視とアラートサービスを提供します。
  • Resource Management Service:リソース管理サービス。作成、削除、DNS / SLBのマウント/アンロード、Scale Out/In、サービスヘルスチェック、バックアップ/復旧を担当します。

AnalyticDBのアーキテクチャは普段オンライン利用時に、特に意識する必要ありません。次回からはユーザ目線から、AnalyticDBをどう選定して、どう利用するかをご紹介します。

以上。

Alibaba Cloudの香港リージョンと中国本土の接続性の話

こんにちは。技術部の吉村です。

今日のテーマは「中国本土向けWEBサイトを作る時に香港リージョンでWEBサイトをホスティングすると良い」という話です。

これは地理的な距離が近いこともありますが、Alibaba Cloud の強みであるバックボーンネットワークが良いからです。

詳しく見ていきましょう。

“Alibaba Cloudの香港リージョンと中国本土の接続性の話”の続きを読む

E-MapReduceのMetaServiceについて

こんにちは、Kouです。

今回の記事はアリババクラウドのビッグデータ処理サービスE-MapReduceについて、触れさせていただきたいと思います。

E-MapReduceは2.1.0 versionから、MetaServiceと呼ばれる機能をサポートするようになりましたが、業務上まだ利用されたことがない方がいらっしゃっるかと思いますので、その機能が一体なにできるのかを皆んさんに共有させて頂きたいです。 “E-MapReduceのMetaServiceについて”の続きを読む

MARS – 大規模科学技術計算ライブラリ

CJNANです。

最近、アリババクラウドで、大規模科学技術計算処理するためのライブラリMARSをGithubで公開しました。ここで、MARSについて皆さんにご紹介します。

本記事では、データ処理に関連する内容であり、クラウド製品のご紹介はございません。

“MARS – 大規模科学技術計算ライブラリ”の続きを読む

CENとVPN-Gatewayを組み合わせて日中間のグローバルLAN環境を作ってみる!

皆さんはじめてまして。
昨年7月にSBクラウドへジョインしたSHU
です。
人生初のテックブログ投稿です。


今回はネットワークプロダクトのCEN(Cloud Enterprise Network)と
VPN-Gatewayを組み合わせた構成をご紹介します。

日々提案活動をしている中で、有り難いことに多くのお客様からネットワークプロダクトのご相談を受けることが多いため、今回はCENとVPN-Gatewayを組み合わせ、クライアントからCPEまでの日中間のLAN環境を簡易的に作成してみたいと思います。

“CENとVPN-Gatewayを組み合わせて日中間のグローバルLAN環境を作ってみる!”の続きを読む

Log Serviceのメール通知機能で、RAMアカウントがパスワードクラッキングされた時に検知・通知してみる

皆さん、こんにちは。ソリューションアーキテクトのQ(@joe_qiubinbin)です。

先日、Log Serviceのメール通知機能がリリースされました。Log Serviceでアラームを設定して、ユーザーが設定した条件で関心のあるイベントが発生した時にはそのイベントを検知して、ユーザーに通知することができるようになりました。

今回はRAMアカウントがパスワードクラッキングされた場合、どうLog Serviceを利用して検知するかをご紹介します。

Log Serviceがどんなサービスなのかについては、「意外と知らないLogServiceの話」をご確認ください。実は分析も可視化もできて、便利なサービスです。

“Log Serviceのメール通知機能で、RAMアカウントがパスワードクラッキングされた時に検知・通知してみる”の続きを読む

Image Searchが新料金体系になり試しやすくなりました!

こんにちはSBクラウドLeoです。個人的には本年初投稿になります。今年もよろしくお願いいたします。

さてさて、みなさんImage Search(イメージサーチ)を使っていらっしゃいますか?もしかすると「月50万はちょっと高額…」と思って手を出していない方が多かったのでは無いでしょうか?そんな方々に本日は朗報をお届けします!!!なんとImage Searchが新料金体系(試すくらいならほぼタダ)になりました!!!

ということでアップデート情報をご紹介していきます。

“Image Searchが新料金体系になり試しやすくなりました!”の続きを読む