![Docker Build
> docker build -t customvision .
[+] Building 4.3s (10/10) FINISHED
=> [internal] load .dockerignore 0.1s
=> => transferring context: 2B 0.0s
=> [internal] load build definition from Dockerfile 0.2s
=> => transferring dockerfile: 673B 0.1s
=> [internal] load metadata for docker.io/library/python:3.7-slim 3.5s
=> [internal] load build context 0.4s
=> => transferring context: 5.12MB 0.4s
=> [1/5] FROM docker.io/library/python:3.7-slim@sha256:ac0c17ada735be16aae9f4b91ba564a6566c 0.0s
=> CACHED [2/5] RUN pip install -U pip 0.0s
=> CACHED [3/5] RUN pip install --no-cache-dir numpy~=1.17.5 tensorflow~=2.0.2 flask~=1.1.2 0.0s
=> CACHED [4/5] COPY app /app 0.0s
=> CACHED [5/5] WORKDIR /app 0.0s
=> exporting to image 0.0s
=> => exporting layers 0.0s
=> => writing image sha256:0c4e8db0777165b012e0d54d549f19292bc5a2b94e8d55861b1f4eabf694d067 0.0s
=> => naming to docker.io/library/customvision 0.0s](https://image.slidesharecdn.com/oscfukuoka-201128092610/85/Osc-fukuoka-xAI-Meetup-28-320.jpg)
More Related Content
What's hot (20)
Similar to Osc fukuoka xAI Meetup (20)
![[Japan Tech summit 2017] DEP 005](https://cdn.slidesharecdn.com/ss_thumbnails/techsummit2017pdfdep005-171116035106-thumbnail.jpg?width=560&fit=bounds)
More from ru pic (20)
Recently uploaded (6)
Osc fukuoka xAI Meetup
- 1. Open Source x AI 2020-11-28 Open Source Conference 2020 Online/Fukuoka Yuta Ishibashi & Tsukasa Kato
- 2. Profile ? Yuta Ishibashi / 墳 圍湊 ? TOYOTA MOTOR KYUSHU, INC. Future technology & Business DEV. ? xAI Meetup 麼岸 ? https://rupic.hatenablog.com/ ? https://www2.slideshare.net/rupic
- 3. Profile ? Tsukasa Kato / 紗儲 望 ? 晩云ビジネスシステムズ幄塀氏芙 シニアエキスパ`ト ? Microsoft MVP for Microsoft Azure ? https://tsukatoh.hatenablog.com/ ? /tsukasakatou9
- 5. 38 Categories 296 Services + more
- 8. 粥鴛って佃しい´?
- 12. 粥鴛ってお署がかかる´?
- 17. AI をもっと附除に もっとgに 徭蛍の誼吭な蛍勸に ￣AI という返粁￣ を 譴浦呂錣擦討澆茲!!
- 18. AI is for everyone it's so easy
- 19. Agenda ? Azure Cognitive Services ? Custom Vision ? Kubernetes ? Kubernetes-based Serverless ? KEDA OpenSource x AI のgF圭隈を岑っていただく
- 21. ? Microsoft が戻工するAIサ`ビス蛤。 ? _k宀が岷俊議なAIやデ`タサイエンスのスキルや岑Rがな くても旋喘できるAPI、SDKを戻工。 ? F彜サ`ビスカタログとしては吭房Q協、、咄蕗、冱Z、 Web碧の5つに蛍される Cognitive Services
- 22. Cognitive Services 22 Decision Language Speech Vision Web Search Bing SearchComputer Vision Custom Vision Face Form Recognizer Video Indexer Speech to Text Text to Speech Speech Translation Speaker Recognition Immersive Reader Language Understanding QnA Maker Text Analytics Translator Text Anomaly Detector Content Moderator Personalizer Metrics Advizor ● Marcketplace から恬撹
- 23. ? コンピュ`タ`ビジョンモデルを徭蛍挫みにカスタマイズし て恬撹するサ`ビス ? 鮫颪鬟▲奪廛踪`ドしてラベル原けするだけでトレ`ニング を_兵することができる ? 伏撹したモデルデ`タはエクスポ`トが辛嬬 ? CoreML (iOS) ? TensorFlow (Android) ? ONNX (Windows) ? Dockerfile ? Vision AI Dev Kit ? エクスポ`トはDomainsをcompactにする駅勣がある Custom Vision
- 24. Custom Vision
- 25. ? TensorFlow でエクスポ`トできるオプション ? TensorFlow ? TensorFlow Lite ? TensorFlow Lite Float16 ? TensorFlow.js ? SavedModel TensorFlow export TensorFlow Download Files ? Cvexport.manifest ? Labels.txt ? Metadata_properties.json ? Model.pb
- 26. ? Dockerfile でエクスポ`トできるオプション ? Linux ? Windows ? ARM (Raspberry Pi 3) Dockerfile export Dockerfile(Linux) Download Files ? app ? app.py ? cvexport.manifest ? labels.txt ? metadata_properties.json ? model.pb ? predict.py ? azureml ? README.txt ? score.py ? Dockerfile ? README.txt
- 27. Dockerfile FROM python:3.7-slim RUN pip install -U pip RUN pip install --no-cache-dir numpy~=1.17.5 tensorflow~=2.0.2 flask~=1.1.2 pillow~=7.2.0 COPY app /app # By default, we run manual image resizing to maintain parity with CVS webservice prediction results. # If parity is not required, you can enable faster image resizing by uncommenting the following lines. # RUN apt-get update && apt-get install -y --no-install-recommends libglib2.0-bin # RUN pip install opencv-python-headless # Expose the port EXPOSE 80 # Set the working directory WORKDIR /app # Run the flask server for the endpoints CMD python -u app.py
- 28. Docker Build > docker build -t customvision . [+] Building 4.3s (10/10) FINISHED => [internal] load .dockerignore 0.1s => => transferring context: 2B 0.0s => [internal] load build definition from Dockerfile 0.2s => => transferring dockerfile: 673B 0.1s => [internal] load metadata for docker.io/library/python:3.7-slim 3.5s => [internal] load build context 0.4s => => transferring context: 5.12MB 0.4s => [1/5] FROM docker.io/library/python:3.7-slim@sha256:ac0c17ada735be16aae9f4b91ba564a6566c 0.0s => CACHED [2/5] RUN pip install -U pip 0.0s => CACHED [3/5] RUN pip install --no-cache-dir numpy~=1.17.5 tensorflow~=2.0.2 flask~=1.1.2 0.0s => CACHED [4/5] COPY app /app 0.0s => CACHED [5/5] WORKDIR /app 0.0s => exporting to image 0.0s => => exporting layers 0.0s => => writing image sha256:0c4e8db0777165b012e0d54d549f19292bc5a2b94e8d55861b1f4eabf694d067 0.0s => => naming to docker.io/library/customvision 0.0s
- 29. Kubernetes
- 30. Kubernetes ? コンテナ`アプリケ`ションを砿尖するためのオ`ケスト レ`ションツ`ル ? 徭咼妊廛蹈ぁ▲好羽`リング、アプリ?コンテナ`の\喘 徭啝 ? Webコンソ`ルが喘吭されており、GUIでの砿尖が辛嬬 ? Google が芙坪のオ`ケストレ`ションツ`ル仝Borg々を 圷に_k ? CNCFに篠され砿尖されておりオ`プンソ`スで戻工さ れている ? マイクロサ`ビスをBする児Pとして駻辰気譴詈造謹 い
- 32. Kubernetes managed services Google Kubernetes Engine Azure Kubernetes Service Amazon Elastic Container Service for Kubernetes IBM Cloud Kubernetes Service Alibaba Cloud Container Service for Kubernetes Rancher NetApp Kubernetes Service
- 33. Cluster Autoscaler ? 弖紗否楚が駅勣になった栽は仟しいノ`ドが徭啜弔没 紗され、音勣になれば茅される ? g佩するワ`クロ`ドの楚に児づいてクラスタのサイズを 徭啜弔筝 ? リソ`ス崙sのためにノ`ドでスケジュ`ルできないPod をO ? ノ`ドプ`ルg了でC嬬 ? Horizontal Pod Autoscaler(HPA)とB亊してC嬬してノ` ドとポッドの砿尖を佩う
- 34. Horizontal Pod Autoscaler(HPA) ? Kubernetes クラスタ`のメトリック サ`バ`を聞喘して、 Podのリソ`スの俶勣をモニタ`し、 アプリケ`ションで 駅勣なリソ`スがえるとその俶勣を困燭垢燭瓩縫譽廛 ケ`ションコントロ`ラ`、デプロイ、レプリカセット坪 のポッドの方を徭啜弔縫好羽`リング ? また、リソ`スが音勣になったときにスケ`ルインできる ? Kubernetes APIオブジェクトとコントロ`ラとしてg 廾されている
- 36. Knative KEDA Virtual Kubelet Kubernetes-based Serverless
- 37. Knative ? Serverless ワ`クロ`ドをビルド、デプロイ、砿尖C嬬を戻 工するKubernetesベ`スのプラットフォ`ム ? Scale-to-zero、徭 スケ`リング、クラ スタ坪ビルド、 Kubernetes 貧のク ラウド ネイティブ アプリケ`ション喘 のイベント フレ`ム ワ`クなどのC嬬が ある https://github.com/knative
- 39. Virtual Kubelet ? Kubeletの∀g廾で、喘議にk8sクラスタから翌何リソ` スを旋喘できる ? バ`スティングなど を朕議として旋喘す るのがベタ` ? Microsoftが兵めた OSSプロジェクトで、 F壓はCNCFによっ て砿尖されている https://github.com/virtual-kubelet/virtual-kubelet
- 40. Virtual Kubelet Alibaba Cloud ECI Provider Azure Container Instances Provider Azure Batch GPU Provider AWS Fargate Provider HashiCorp Nomad OpenStack Zun
- 41. Serverless Container Serverless Containers = Nodeless Containers VM、クラスタ ┘立`ドが音勣 コンピュ`トn署 オンデマンドg佩 辛嬬 AWS FargateAzureContainer Instances Alibaba Elastic Container Instance
- 42. KEDA
- 43. KEDA (Kubernetes-based Event Driven Autoscaling Component) K8sでイベントl嗤佑 Podレベルオ`トスケ`ルを辛嬬にするフレ`ムワ`ク ? Red HatとMicrosoftのエンジニアリングチ`ムのコラボ レ`ションのY惚として_兵されたプロジェクト ? Kubernetesクラスタ`にインスト`ルしてイベントベ`ス のコンテナ`スケ`リングを嗤燭砲垢襪海箸できるオ`プ ンソ`スコンポ`ネントとして協xされる ? CPUメトリックスとメモリを試喘してコンテナをゼロからス ケ`リングし、KubernetesC嬬をする
- 45. Architecture ? Scaler在xkしたソ`スに俊A して、メトリックをiみ函る ? Metrics adapterScalerに よってiみ函られたメトリック をHorizontal Pod Autoscaler に僕して、アプリの徭咼 ケ`リングを嗤燭砲垢 ? Controller0?1のスケ`リン グを戻工する https://keda.sh/concepts/overview/#how-keda-works
- 46. KEDA ? Kubernetesのスケ`リング仝Horizontal pod autoscaler (HPA)々はPodのCPUやメモリM楚で{屁される ? KEDAは掲HTTPなイベントにB咾靴謄ラスタ`へのデプロ イを徭咼好羽`ルできる ? HPAなどのKubernetesコンポ`ネントとネイティブにy栽 され、クラウドとエッジのI圭でg佩できる ? KEDAがZero Scale in/outを佩い、麿はHPAがScale in/out する ? ？なスケ`ラ`が喘吭されており、書瘁も弖紗嚠協
- 47. Scalers
- 48. Scalers ? ActiveMQ Artemis ? Apache Kafka ? AWS CloudWatch ? AWS Kinesis Stream ? AWS SQS Queue ? Azure Bob Storage ? Azure Event Hubs ? Azure Log Analytics ? Azure Monitor ? Azure Service Bus ? Azure Storage Queue ? CPU ? Cron ? External ? External Push ? Google Cloud Platform Pub/Sub ? Huawei Cloudeye ? IBM MQ ? Liiklus Topic ? Memory ? Metrics API ? MySQL ? NATS Streaming ? PostgreSQL ? Prometheus ? RabbitMQ Queue ? Redis Lists ? Redis Streams
- 50. HelmでKEDAをデプロイ 1. Helm repoを弖紗 2. Helm repoをアップデ`ト 3. KEDAのHelm chartをインスト`ル $ helm repo add kedacore https://kedacore.github.io/charts $ helm repo update $ kubectl create namespace keda $ helm install keda kedacore/keda --namespace keda
- 51. Kubectlでyamlからのデプロイ 1. Githubからサンプルをダウンロ`ドしてインスト`ル https://github.com/kedacore/keda $ kubectl apply -f https://github.com/kedacore/keda/releases/download/v2.0.0/keda-2.0.0.yaml
- 53. Azure Functions Core Toolsのインスト`ル ? Azure Functions Core Toolsをインスト`ルすることで Kubernetes貧でAzure Functionsが旋喘辛嬬となる ? 參念はスケ`ルも徭蛍でのg廾が駅勣だったが、KEDAを聞 うことでスケ`ルのg廾が音勣となった ? インスト`ルするには參和のコマンドを誘秘する ☆勣恬I極挑へのAzure Functions Core Toolsインスト`ル $ func kubernetes install --namespace keda
- 54. Azure Functions Core Toolsをデプロイ ? Functionsをg佩するのに駅勣なapiserverなどの podが弖 紗される
- 55. DEMO
- 56. DEMO Architecture Azure Kubernetes Service Nodes Web Application (Pod) Custom Vision (Pod) Storage Account BLOB Model download Container build/Deploy Custom Vision Image upload Webhook image recognition Upload Send slack BLOB trigger BLOB URL
- 57. まとめ ? Custom Visionを聞うことでgに鮫馘亢┐離皀妊襪恬撹 できる ? エクスポ`トして聞うことでクラウドに俊Aせず、オンプレ ミスやスマホアプリの嶄でも旋喘辛嬬 ? KubernetesやServerlessとMみ栽わせてコンテナアプリとし てBすることでインタ`ネットに俊Aできないポリシ`の 二Iでも旋喘篇が勸に秘ってくる ? まずはしてg樹してみてください
- 58. ? Azure Cognitive Services ? https://docs.microsoft.com/ja-jp/azure/cognitive-services/ ? モバイルデバイスで聞喘するためにモデルをエクスポ`トする ? https://docs.microsoft.com/ja-jp/azure/cognitive-services/custom- vision-service/export-your-model ? Custom Vision Serviceを聞喘してエッジで鮫颪侶幗をg佩する ? https://docs.microsoft.com/ja-jp/azure/iot-edge/tutorial-deploy- custom-vision ? KEDA ? https://keda.sh ? Azure Functions Core Tools ? https://docs.microsoft.com/ja-jp/azure/azure-functions/functions- run-local?tabs=macos%2Ccsharp%2Cbash 歌深URL
- 59. ご賠ありがとうございました