20200417冲尝罢资料
- 2. 1 ）自己紹介 2 ）なにをしたのか 3 ）当初の構想 4 ）とりあえずコピペ 5 ）課題と今後の拡張プラン 本日おはなしさせてもらうこと
- 3. 1）自己紹介 Otazoman twitter:うひーマン(@norikoni) ←実体 うひーまん(@uhiiman) ←分身 ●現在の職業： 某金融系会社のマーケティング部所属、システムともマーケとも言えない 中途半端な立ち位置でゆるゆる勤務中、現在は絶賛色々と厄介毎に巻き込まれ中 ●経歴： 新卒でSIerに入社し退職後はずっと社内のシステム担当してます。7社を渡り歩いて 2018年から現職です。システムもプログラムもナニモワカラナイ。(?;ω;｀) 非エンジニアです。北斗の拳のヒャッハー達にやられる様な存在です。 ●社会人約20年でやってきたこと(ナニモワカラナイ)： ?MS-OFFICE →ググればマクロは何とか読み書きできます。 ?JavaScript →ググれば何とか読み書きできます。モダンは分かりません。 ?python →ググる力を備えているところ。最近一番触っているかも、、 ?Linux →ググれば何とかサーバ触れます。 ?AWS,GCP,Azure→AWSは初心者レベル。GCPは最近知った。Azureは名を知った
- 4. 全然関係ないですが
- 6. 2 ）なにをしたのか
- 13. 3 ）当初の構想
- 16. コピペしかないな飞飞飞
- 17. 4 ）とりあえず作るコピペ
- 18. 基盤関連は当然モダーンにサーバレスでAWSかGCPか？ AWS LambdaAmazon CloudWatch Amazon DynamoDB App Engine Cloud DatastoreCloud Scheduler CloudWatchイベントで1時間に1回、処理用の Lambda(python)を呼び出して実行。RSSを取得し て、一旦DynamoDBに格納して、データ加工後に はてなブックマークに投稿、記事をまとめて Bloggerに投稿させる。 データはDynamoDBに蓄積しっぱなし GAEにpythonスクリプトを仕込んでCloudScheduler で1時間に1回バッチ実行。RSSを取得して、一旦 DataStoreに格納して、データ加工後にはてなブ ックマークに投稿、記事をまとめてBloggerに投 稿させる。DataStore(FireStoreモード)からはデー タ削除 この時点では自由度の高いGCPかなぁと漠然と思ってた。 利用するライブラリとかZipで固めてS3に上げて とか色々と面倒なことをしないといけない。 最大処理時間15分という制限あり DataStoreについては無料枠では1日50,000回までの 書込み制限があるもののGAEのスクリプトには特に 処理時間制限もなくライブラリも自由度が高い。
- 20. AWS LambdaAmazon CloudWatch Amazon DynamoDB App Engine Cloud DatastoreCloud Scheduler CloudWatchイベントで1時間に1回、処理用の Lambda(python)を呼び出して実行。RSSを取得し て、一旦DynamoDBに格納して、データ加工後に はてなブックマークに投稿、記事をまとめて Bloggerに投稿させる。 データはDynamoDBに蓄積しっぱなし GAEにpythonスクリプトを仕込んでCloudScheduler で1時間に1回バッチ実行。RSSを取得して、一旦 DataStoreに格納して、データ加工後にはてなブ ックマークに投稿、記事をまとめてBloggerに投 稿させる。DataStore(FireStoreモード)からはデー タ削除 利用するライブラリとかZipで固めてS3に上げて とか色々と面倒なことをしないといけない。 最大処理時間15分という制限あり DataStoreについては無料枠では1日50,000回までの 書込み制限があるもののGAEのスクリプトには特に 処理時間制限もなくライブラリも自由度が高い。 1回の処理時間が50分だとコスト面では仮想マシンの方が優位性高い サーバレスムリィィ(?;ω;｀)
- 21. さぁどうしよう。
- 25. はてなブックマークのAPIキー取得 NO 説明 コピペ元 1 はてなOauthキー取得(当時はなかった w http://msiz.hatenablog.jp/entry/2019/11/10/150934 2 はてブAPI投稿 https://syncer.jp/hatebu-api-matome 3 はてブ情報取得API https://so-zou.jp/web-app/tech/web-api/hatena/entry/ 当然ながらコピペ!! Bloggerの記事まとめ用テーブルテンプレートもコピペ!! https://ohmyenter.com/how-to-implement-fixed-header-table-with-adjusting-width/
- 26. プログラム構築、当然コピペww NO スクリプト 説明 コピペ元 1 main.py シェルから呼び出される用、No.2~4とりま とめ https://qiita.com/himenoglyph/items/77f2534bc32eaad494dc 2 get_rss_feed.py RSSフィード取得してくる https://hack-le.com/python-rss/ 3 add_labels.py ラベル付けする https://blog.amedama.jp/entry/tf-idf 4 sns_post.py SNS(はてなブックマーク、Bloggerに投稿す る) https://note.com/virtual_surfer/n/n025f07e5b3c7 https://qiita.com/hassiweb/items/79eedd11e1ecc6e0818d 5 outlog.py ログ出力用共通モジュール https://qiita.com/yopya/items/63155923602bf97dec53 6 data_crud.py スクリプトから当該DBを操作する用途 7 mongo_crud.py mongoのCRUD制御用 https://qiita.com/bc_yuuuuuki/items/42fb4e328304e59b0eec 8 mecab_operate.py mecabを制御する用途 https://qiita.com/yonedaco/items/27e1ad19132c9f1c9180 9 str_normaraizer.py mecabで処理する際に日本語をキレイにする https://ohke.hateblo.jp/entry/2019/02/09/141500 https://github.com/Otazoman/testtextmining/tree/master/src コピペの集大成www(現在、サーバで稼働しているコードはDB名さらすのがあれなのでプライベートリポジトリに入っております。以下はサーバ稼働前に実験的に使用していたコピペコード達です。)
- 31. 5 ）課題と今後の拡張プラン