狠狠撸

狠狠撸Share a Scribd company logo
使用  Google AppEngine 建立个人信息中心 weibo.com/sagasw 2011-11
编程对我而言,就是永远玩不腻的玩具 - sagasw
Agenda 1 )云计算那些事儿 ? 2 ) GoogleAppEngine 介绍 ? 3 ) GAE 搭建个人信息中心
调查 1 ) Python 语言? ? 2 ) Google AppEngine ? ? 3 )云计算平台?
1 )云计算那些事儿 ?
调查结果  -  公有云计算平台使用
?
http://addons.heroku.com/
2 ) Google AppEngine 介绍 ?
Google AppEngine 云计算平台。支持 Go,?Python, Java (JRuby, Rails etc.) ,有免费 Quota 。 ? 优点: ?  UrlFetch,Memcache,TaskSchedule XMPP,Mail,Cron ?  MapReduce,Channel ?  支持 OAuth 认证或 Google  账号 ?  Image 处理  ?  域名绑定 ?  易使用,易管理 ?  免费限额大方 缺点 :? ?  无全文搜索 ?  调整后的付费方案 ?  需要熟悉新 SQL 操作方式
适用于: Wiki,CMS, 博客 , 微博 , 手机游戏后台 , 应用服务器 , 问答网站 , 电子书发布 ,SNS,  网店 , 工作流 不适合:  音频视频服务 , 大文件 , 密集计算 Google AppEngine  适用业务领域
?
GAE SDK 1.5.5 Changes   (Latest 1.6.0) Python 2.7  支持 支持多线程,可使用 threading 支持并发请求 支持更多 Python lib ( PIL v1.1.7 ) 前台请求的时间 30 秒增加到 60 秒, URLFetch 请求时间从 10 秒增加到 60 秒。 TaskQueue 响应时间增加。 From Keakon's blog
GAE 编程优化心得   尽量使用 MemCache 组合 GoogleAppEngine & VPS  通过 webservice 访问 VPS 数据库, GAE 缓存结果 使用 google 或 VPS 搭建搜索功能 Nginx 反向代理 GAE (必须的) ?  VPS seller and coupon ? ? ? ??  http://www.lowendbox.com/ ? ?  Install Debian, Nginx in VPS ? ??? ??  http://www.howtoforge.com/ ?
Google AppEngine  后台管理
免费 Quota 统计
?
3 ) GAE  建立个人信息中心 ?
GAE 可实现的服务 TwitterWeb 客户端,同步到新浪腾讯微博 RSS  聚合阅读 获取网页,解析短网址 Cron Jobs 在线个人笔记,在线个人博客 网络小说阅读 推送文章到 Kindle 每日定时发送天气短信给自己或家人 生日提醒(邮件,聊天工具,短信等) 监控  iPhone 预订网页的内容变化  相册 Webproxy
个人常用功能 1 )选择现成代码修改( Doodle, V2 EX ) 2 )同步发推到新浪微博功能,解析 t.co 短网址  3 )定期采集 RSS 4 ) HackerNews 全文阅读 5 )网页内容变化,通过短信提醒 6 )支持 XMPP 协议( gtalk )客户端自动聊天 7 )网络小说 web client 8 )发送 Flickr 每日 interesting 图片到新浪微博
同步到新浪微博 ?  import  mechanize ?  br = mechanize.Browser() ? br.open("http://abcd.com/weibosdk/weibopost.php") ? br.select_form(nr=0) ? strform = status.encode('utf-8') ? br.form['text'] = str ? br.submit()  需要 VPS 上搭建微博 PHP SDK 作中转 或者使用 SinaAppEngine 作为中转 ?
抓取网页  ( Webproxy ) ? https://gist.github.com/1298152
?
?
?
推特简单客户端
?
https://gist.github.com/1312657 XMPP gtalk 聊天机器人
网页内容监控,发送邮件( 139.com )
示例一  Mobile01 阅读 分析网页内容 设计抓取方式 HTML readability  viewtext.org,  www.instapaper.com/m?u= Readitlaterlist api 下载图片 添加文章
?
?
?
?
实例二 发送 flickr 图片到新浪微博 Cron 任务采集 flickr 的 explore 图片 访问图片网址,获取 favor 信息(确定是否 post ) 建立 task ,投递到 taskqueue (使用 ETA ) 在 SAE 上搭建中转服务 Mechanize 模拟 form submit 访问 SAE Fix bug ,调整参数
?
?
总结 好玩很重要 云计算平台值得投入时间了解学习 推荐使用 Python + Tornado 组合 WebService, API 进行 Mashup 设计思路
Q & A  ?
Ad

Recommended

Using google appengine_1027
Using google appengine_1027
Wei Sun
?
Using google appengine
Using google appengine
Wei Sun
?
Visual studio 11 developer preview
Visual studio 11 developer preview
Wei Sun
?
Blogs in the Classroom
Blogs in the Classroom
Alisa Cooper
?
Asynchronous in dot net4
Asynchronous in dot net4
Wei Sun
?
Python with dot net and vs2010
Python with dot net and vs2010
Wei Sun
?
Sensei kukikan
Sensei kukikan
Satish Talim
?
Unit 1 abg izhar
Unit 1 abg izhar
Abidin mokhlas sdn. bhd
?
給自己更好未來的 3 個練習:嵌入式作業系統設計、實做,與移植 (2015 年春季 ) 課程說明
給自己更好未來的 3 個練習:嵌入式作業系統設計、實做,與移植 (2015 年春季 ) 課程說明
National Cheng Kung University
?
進階嵌入式作業系統設計與實做 (2015 年秋季 ) 課程說明
進階嵌入式作業系統設計與實做 (2015 年秋季 ) 課程說明
National Cheng Kung University
?
進階嵌入式系統開發與實做 (2014 年秋季 ) 課程說明
進階嵌入式系統開發與實做 (2014 年秋季 ) 課程說明
National Cheng Kung University
?
Making Linux do Hard Real-time
Making Linux do Hard Real-time
National Cheng Kung University
?
嵌入式平台移植技巧概说
嵌入式平台移植技巧概说
Joseph Lu
?
2016 年春季嵌入式作業系統課程說明
2016 年春季嵌入式作業系統課程說明
National Cheng Kung University
?
使用骋辞辞驳濒别础辫辫贰苍驳颈苍别建立个人信息中心
使用骋辞辞驳濒别础辫辫贰苍驳颈苍别建立个人信息中心
Du Yamin
?
Using google appengine_final
Using google appengine_final
Wei Sun
?
Using google appengine (2)
Using google appengine (2)
Wei Sun
?
轻量级贵濒补蝉丑服务器开发框架(刘恒)
轻量级贵濒补蝉丑服务器开发框架(刘恒)
贵尝础厂贬开发者交流会
?
如何用 Google app engine 免费搭建站点
如何用 Google app engine 免费搭建站点
ahsou
?
S(P)Aas081008
S(P)Aas081008
yiming he
?
開放原始碼 Ch2.2 app - oss - google client api & app engine(ver 1.0)
開放原始碼 Ch2.2 app - oss - google client api & app engine(ver 1.0)
My own sweet home!
?
新浪云计算公开课第一期:Let’s run @ sae(丛磊)
新浪云计算公开课第一期:Let’s run @ sae(丛磊)
锐 张
?
在云端上啜饮爪哇
在云端上啜饮爪哇
建興 王
?
Douban qcon2009 beijing
Douban qcon2009 beijing
drewz lin
?
Google App Engine Devfest 200810 External
Google App Engine Devfest 200810 External
junyu
?
合久必分,分久必合
合久必分,分久必合
Qiangning Hong
?
美丽说的架构发展与变迁 New
美丽说的架构发展与变迁 New
翀 刘
?
在厂补别上开发高性能微博应用
在厂补别上开发高性能微博应用
easychen
?
在厂补别上开发高性能微博应用key2
在厂补别上开发高性能微博应用key2
ITband
?
GAE/J 簡介
GAE/J 簡介
Cloud Tu
?

More Related Content

Viewers also liked (6)

給自己更好未來的 3 個練習:嵌入式作業系統設計、實做,與移植 (2015 年春季 ) 課程說明
給自己更好未來的 3 個練習:嵌入式作業系統設計、實做,與移植 (2015 年春季 ) 課程說明
National Cheng Kung University
?
進階嵌入式作業系統設計與實做 (2015 年秋季 ) 課程說明
進階嵌入式作業系統設計與實做 (2015 年秋季 ) 課程說明
National Cheng Kung University
?
進階嵌入式系統開發與實做 (2014 年秋季 ) 課程說明
進階嵌入式系統開發與實做 (2014 年秋季 ) 課程說明
National Cheng Kung University
?
Making Linux do Hard Real-time
Making Linux do Hard Real-time
National Cheng Kung University
?
嵌入式平台移植技巧概说
嵌入式平台移植技巧概说
Joseph Lu
?
2016 年春季嵌入式作業系統課程說明
2016 年春季嵌入式作業系統課程說明
National Cheng Kung University
?
給自己更好未來的 3 個練習:嵌入式作業系統設計、實做,與移植 (2015 年春季 ) 課程說明
給自己更好未來的 3 個練習:嵌入式作業系統設計、實做,與移植 (2015 年春季 ) 課程說明
National Cheng Kung University
?
進階嵌入式作業系統設計與實做 (2015 年秋季 ) 課程說明
進階嵌入式作業系統設計與實做 (2015 年秋季 ) 課程說明
National Cheng Kung University
?
進階嵌入式系統開發與實做 (2014 年秋季 ) 課程說明
進階嵌入式系統開發與實做 (2014 年秋季 ) 課程說明
National Cheng Kung University
?
嵌入式平台移植技巧概说
嵌入式平台移植技巧概说
Joseph Lu
?

Similar to Using google appengine_final2 (20)

使用骋辞辞驳濒别础辫辫贰苍驳颈苍别建立个人信息中心
使用骋辞辞驳濒别础辫辫贰苍驳颈苍别建立个人信息中心
Du Yamin
?
Using google appengine_final
Using google appengine_final
Wei Sun
?
Using google appengine (2)
Using google appengine (2)
Wei Sun
?
轻量级贵濒补蝉丑服务器开发框架(刘恒)
轻量级贵濒补蝉丑服务器开发框架(刘恒)
贵尝础厂贬开发者交流会
?
如何用 Google app engine 免费搭建站点
如何用 Google app engine 免费搭建站点
ahsou
?
S(P)Aas081008
S(P)Aas081008
yiming he
?
開放原始碼 Ch2.2 app - oss - google client api & app engine(ver 1.0)
開放原始碼 Ch2.2 app - oss - google client api & app engine(ver 1.0)
My own sweet home!
?
新浪云计算公开课第一期:Let’s run @ sae(丛磊)
新浪云计算公开课第一期:Let’s run @ sae(丛磊)
锐 张
?
在云端上啜饮爪哇
在云端上啜饮爪哇
建興 王
?
Douban qcon2009 beijing
Douban qcon2009 beijing
drewz lin
?
Google App Engine Devfest 200810 External
Google App Engine Devfest 200810 External
junyu
?
合久必分,分久必合
合久必分,分久必合
Qiangning Hong
?
美丽说的架构发展与变迁 New
美丽说的架构发展与变迁 New
翀 刘
?
在厂补别上开发高性能微博应用
在厂补别上开发高性能微博应用
easychen
?
在厂补别上开发高性能微博应用key2
在厂补别上开发高性能微博应用key2
ITband
?
GAE/J 簡介
GAE/J 簡介
Cloud Tu
?
讓 Django 專案直接開上GAE@coscup2011
讓 Django 專案直接開上GAE@coscup2011
InsuremeTW
?
Sina App Quick Guide 1
Sina App Quick Guide 1
guestf4aed35
?
Django development
Django development
loveyudu
?
骋补别蝉项目展示
骋补别蝉项目展示
Kay Yan
?
使用骋辞辞驳濒别础辫辫贰苍驳颈苍别建立个人信息中心
使用骋辞辞驳濒别础辫辫贰苍驳颈苍别建立个人信息中心
Du Yamin
?
Using google appengine_final
Using google appengine_final
Wei Sun
?
Using google appengine (2)
Using google appengine (2)
Wei Sun
?
如何用 Google app engine 免费搭建站点
如何用 Google app engine 免费搭建站点
ahsou
?
開放原始碼 Ch2.2 app - oss - google client api & app engine(ver 1.0)
開放原始碼 Ch2.2 app - oss - google client api & app engine(ver 1.0)
My own sweet home!
?
新浪云计算公开课第一期:Let’s run @ sae(丛磊)
新浪云计算公开课第一期:Let’s run @ sae(丛磊)
锐 张
?
在云端上啜饮爪哇
在云端上啜饮爪哇
建興 王
?
Douban qcon2009 beijing
Douban qcon2009 beijing
drewz lin
?
Google App Engine Devfest 200810 External
Google App Engine Devfest 200810 External
junyu
?
合久必分,分久必合
合久必分,分久必合
Qiangning Hong
?
美丽说的架构发展与变迁 New
美丽说的架构发展与变迁 New
翀 刘
?
在厂补别上开发高性能微博应用
在厂补别上开发高性能微博应用
easychen
?
在厂补别上开发高性能微博应用key2
在厂补别上开发高性能微博应用key2
ITband
?
讓 Django 專案直接開上GAE@coscup2011
讓 Django 專案直接開上GAE@coscup2011
InsuremeTW
?
Sina App Quick Guide 1
Sina App Quick Guide 1
guestf4aed35
?
Django development
Django development
loveyudu
?
骋补别蝉项目展示
骋补别蝉项目展示
Kay Yan
?
Ad

More from Wei Sun (14)

Gc algorithm inside_dot_net
Gc algorithm inside_dot_net
Wei Sun
?
Code review
Code review
Wei Sun
?
Windbg dot net_clr2
Windbg dot net_clr2
Wei Sun
?
The best way to learn java script
The best way to learn java script
Wei Sun
?
Code quality
Code quality
Wei Sun
?
老友记
老友记
Wei Sun
?
Lua gc代码
Lua gc代码
Wei Sun
?
Windbg dot net_clr2
Windbg dot net_clr2
Wei Sun
?
Dotnetintroduce 100324201546-phpapp02
Dotnetintroduce 100324201546-phpapp02
Wei Sun
?
Code rule
Code rule
Wei Sun
?
Web development overview
Web development overview
Wei Sun
?
Lua
Lua
Wei Sun
?
DotNet Introduction
DotNet Introduction
Wei Sun
?
Mac
Mac
Wei Sun
?
Gc algorithm inside_dot_net
Gc algorithm inside_dot_net
Wei Sun
?
Code review
Code review
Wei Sun
?
Windbg dot net_clr2
Windbg dot net_clr2
Wei Sun
?
The best way to learn java script
The best way to learn java script
Wei Sun
?
Code quality
Code quality
Wei Sun
?
Lua gc代码
Lua gc代码
Wei Sun
?
Windbg dot net_clr2
Windbg dot net_clr2
Wei Sun
?
Dotnetintroduce 100324201546-phpapp02
Dotnetintroduce 100324201546-phpapp02
Wei Sun
?
Web development overview
Web development overview
Wei Sun
?
DotNet Introduction
DotNet Introduction
Wei Sun
?
Ad

Using google appengine_final2

  • 1. 使用 Google AppEngine 建立个人信息中心 weibo.com/sagasw 2011-11
  • 3. Agenda 1 )云计算那些事儿 ? 2 ) GoogleAppEngine 介绍 ? 3 ) GAE 搭建个人信息中心
  • 4. 调查 1 ) Python 语言? ? 2 ) Google AppEngine ? ? 3 )云计算平台?
  • 6. 调查结果 - 公有云计算平台使用
  • 7. ?
  • 9. 2 ) Google AppEngine 介绍 ?
  • 10. Google AppEngine 云计算平台。支持 Go,?Python, Java (JRuby, Rails etc.) ,有免费 Quota 。 ? 优点: ? UrlFetch,Memcache,TaskSchedule XMPP,Mail,Cron ? MapReduce,Channel ? 支持 OAuth 认证或 Google 账号 ? Image 处理 ? 域名绑定 ? 易使用,易管理 ? 免费限额大方 缺点 :? ? 无全文搜索 ? 调整后的付费方案 ? 需要熟悉新 SQL 操作方式
  • 11. 适用于: Wiki,CMS, 博客 , 微博 , 手机游戏后台 , 应用服务器 , 问答网站 , 电子书发布 ,SNS, 网店 , 工作流 不适合: 音频视频服务 , 大文件 , 密集计算 Google AppEngine 适用业务领域
  • 12. ?
  • 13. GAE SDK 1.5.5 Changes (Latest 1.6.0) Python 2.7 支持 支持多线程,可使用 threading 支持并发请求 支持更多 Python lib ( PIL v1.1.7 ) 前台请求的时间 30 秒增加到 60 秒, URLFetch 请求时间从 10 秒增加到 60 秒。 TaskQueue 响应时间增加。 From Keakon's blog
  • 14. GAE 编程优化心得 尽量使用 MemCache 组合 GoogleAppEngine & VPS 通过 webservice 访问 VPS 数据库, GAE 缓存结果 使用 google 或 VPS 搭建搜索功能 Nginx 反向代理 GAE (必须的) ? VPS seller and coupon ? ? ? ?? http://www.lowendbox.com/ ? ? Install Debian, Nginx in VPS ? ??? ?? http://www.howtoforge.com/ ?
  • 15. Google AppEngine 后台管理
  • 17. ?
  • 18. 3 ) GAE 建立个人信息中心 ?
  • 19. GAE 可实现的服务 TwitterWeb 客户端,同步到新浪腾讯微博 RSS 聚合阅读 获取网页,解析短网址 Cron Jobs 在线个人笔记,在线个人博客 网络小说阅读 推送文章到 Kindle 每日定时发送天气短信给自己或家人 生日提醒(邮件,聊天工具,短信等) 监控 iPhone 预订网页的内容变化 相册 Webproxy
  • 20. 个人常用功能 1 )选择现成代码修改( Doodle, V2 EX ) 2 )同步发推到新浪微博功能,解析 t.co 短网址 3 )定期采集 RSS 4 ) HackerNews 全文阅读 5 )网页内容变化,通过短信提醒 6 )支持 XMPP 协议( gtalk )客户端自动聊天 7 )网络小说 web client 8 )发送 Flickr 每日 interesting 图片到新浪微博
  • 21. 同步到新浪微博 ? import mechanize ? br = mechanize.Browser() ? br.open("http://abcd.com/weibosdk/weibopost.php") ? br.select_form(nr=0) ? strform = status.encode('utf-8') ? br.form['text'] = str ? br.submit() 需要 VPS 上搭建微博 PHP SDK 作中转 或者使用 SinaAppEngine 作为中转 ?
  • 22. 抓取网页 ( Webproxy ) ? https://gist.github.com/1298152
  • 23. ?
  • 24. ?
  • 25. ?
  • 27. ?
  • 30. 示例一 Mobile01 阅读 分析网页内容 设计抓取方式 HTML readability viewtext.org, www.instapaper.com/m?u= Readitlaterlist api 下载图片 添加文章
  • 31. ?
  • 32. ?
  • 33. ?
  • 34. ?
  • 35. 实例二 发送 flickr 图片到新浪微博 Cron 任务采集 flickr 的 explore 图片 访问图片网址,获取 favor 信息(确定是否 post ) 建立 task ,投递到 taskqueue (使用 ETA ) 在 SAE 上搭建中转服务 Mechanize 模拟 form submit 访问 SAE Fix bug ,调整参数
  • 36. ?
  • 37. ?
  • 38. 总结 好玩很重要 云计算平台值得投入时间了解学习 推荐使用 Python + Tornado 组合 WebService, API 进行 Mashup 设计思路
  • 39. Q & A ?