TOP カテ一覧 スレ一覧 100〜終まで 2ch元 削除依頼
お絵かき掲示板スレ＠レンタルサービス
【アットウィキ/atwiki】@wikiについて語る Part 18
BBchat ノンアダチャトレww
ネットしながらおやつが食べたいな〜 14ギガバイト
【暴力団】川端かなこ【覚せい剤】
【NTTぷらら】ひかりTV Part58
ヤフーのトップページがリニューアル
ChatPadについて語りましょう5
【注目】MSNチャットコミュメッセPart2【潜入】
バンダイチャンネル総合スレ8
【RSS】 Yahoo! Pipes 2 【XPath】
- 1 ：2012/09/10 〜 最終レス ：2020/02/02
- http://pipes.yahoo.com/pipes/pipes.popular
前スレ
http://toro.2ch.sc/test/read.cgi/esite/1226394877/
- 2 ：
- ｚ
- 3 ：
- [Fetch Thread]
|
[Replace (>>1) with (乙)]
|
[Pipe Output]
- 4 ：
- Replaceでいいのか？ｗ
それはさておき>>1乙
- 5 ：
- 前スレの最後らへんの人に向けて
Fetch Pageで取得した日付からpubDateを作成したいなら、2012月09月12日みたいな日付をRegexでDate Builderが
理解出来る形式(09/12/2012など)にしてLoopに入れたDate Builderに渡し、item.y:publishedとして保存するといいよ
- 6 ：
- Loop[Date Builder]はちょっと昔だと定番のやり方だけど、今はCreate RSSを使った方が便利
日付は日本時間に合わせておいたほうがいいね
形式はISO8601にあわせて2012-09-10T00:00:00+09:00みたいにしとく
- 7 ：
- すこし前になにかの仕様変更で日付と認識される形式がすこし変わった事があったような
それ以来読んでくれればなんでもいいってのじゃなく、ISOフォーマットにするようにしてる
- 8 ：
- 生成されたフィードのソース見るとわかるけど、リンクが同じだとpubdateをいじってもguidが変わらず、更新されても反映されない事があるのよ
前スレに書いた、リンクにタイトルをくっつける方法は、それを避けるための苦肉の策
- 9 ：
- http://pipes.yahoo.com/pipes/pipe.info?_id=aaf2442ade64e6b377b9217868d9e38f
時間あったからfourspの作ってみた
ていうかpublishしてなくてもURL直指定すれば誰でも見れるんだよね？
あとユーザー名クリックでも他の自作pipeはpublishしてない限り見れないってことでいいんだよね？
- 10 ：
- >>9
見れたよー。
ユーザー名クリックしても、a has no Pipes って表示されて見れないよー。
- 11 ：
- 馬鹿
- 12 ：
- http://seikatsusoken.jp/teiten/
↑のサイトをxpath fetch pageモジュールで切り出した時に、
下記で取得できるdd要素とdt要素を１組にするような方法はないでしょうか？
//div[@class="report_theme"]/dl
dl要素以下に１つずつ並んでいるdt要素とdd要素を
dt[0]
dd[0]
dt[1]
dd[1]
dt[2]
dd[2]
以下のようにdt要素とdd要素の組み合わせで１アイテムとして取得したいです。
item[0] dt[0] dd[0]
item[1] dt[1] dd[1]
item[2] dt[2] dd[2]
該当サイトの例で言えば、下記のようなアイテムとして抜き出したいのです。
2012年3月 「圏づくり」から幸せになろう。
2012年2月 「圏づくり」は、人や消費を活性化。
2012年1月 「圏づくり」へ
- 13 ：
- YQLでdtddをまとめるのを作ろうとしたら、
エラー999が出てなにもできなくなった
アクセス過多で一定時間蹴られた状態？普通にしてただけなのに・・・
>>12
http://seikatsusoken.jp/teiten/archives.html
こっちなら li でまとまっててやりやすいけど
- 14 ：
- >>13
ありがとうございます！
archivesページで取得することにします。
- 15 ：
- なんとなく作ってみたけど、これdtいらなくないか？日付はリンクに入ってるし
まあYQLexecuteのサンプルってことで
http://pipes.yahoo.com/pipes/pipe.info?_id=3f0a323eb457b5369e2b45f578d60041
これが使ってるYQLtable http://pastebin.com/yTYnnCPp
YQLexecute便利だしみんなもっと使おうぜ
ちなみにexecuteのなかでpipeを走らせることができる
y.pipe("pipeID", {input1: "hoge", input2: "fuga"}).results
- 16 ：
- >>15
なるほど、dtの内容はddのリンクに含まれる文字列を使えば良いんですね。
YQLも勉強になりました。ありがとうございました。
- 17 ：
- 便利そうだが俺には難しそうだな
- 18 ：
- ツイッターがRSSやめるからこれか取得するサービスでもでてきてもらたいところ
- 19 ：
- え、ツイッターのRSS止まるの！？
一体どうすれば…
- 20 ：
- RSSはなくなるけどjsonはこれまでどうり使えるよ
そのままRSS登録してる人が困るのはわかるけど、
pipesスレの人が困る理由がわからない
pipesはそれをRSSにして吐き出すためのようなサービスじゃん
- 21 ：
- Pipesは頻繁に更新してくれないから、
ツイート頻度の高いアカウント相手だとRSS直に比べて取りもらしが増えることはありそう
- 22 ：
- で、twitterのjsonをRSSに変換するpipesを教えて。
- 23 ：
- yahoo pipes json to rss
- 24 ：
- 優しい人がtwitterのユーザー名を入力すれば、jsonをRSSに変換してくれるPipesを作ってくれた。
ありがたい。
- 25 ：
- 今必死で移行中だよこれ来年も使えたらいいね
- 26 ：
- なんでこのタイミングかと思ったら、昔のTwitter RSSが使えなくなったのか
URLにapiが入ってない twitter.com/statuses/user_timeline/____.rss こんなやつ
いまはこれ↓で取得するのが標準になってる
api.twitter.com/1/statuses/user_timeline.json?screen_name=____
jsonのとこをrssにしたらこれまでと同じ形式だけど、json以外のrss,xml,atomは来年3月廃止
公式RTを含めるのは include_rts=true を付けるといい
>>21
標準では最新20ツイートだけど、countクエリで最新200ツイートまではいけるからよっぽど中毒の人じゃなければ問題ないかと
他のクエリで頑張れば最高で3200ツイートまでいけるみたい
pipes通す時点で速報性はなくなるけども
https://dev.twitter.com/docs/api/1/get/statuses/user_timeline
- 27 ：
- Pipes通すと遅いわ。
twitter jsonをPuSHでRSSに変換してくれるWebサービス誰か作ってくれないかな。
広告フィードありで構わないから。
- 28 ：
- http://search.twitter.com/search.atom?q=%23hoge
こういう検索フィードはどうしたらいいのかな
- 29 ：
- >>24
アドレスをお願いします
- 30 ：
- 人に頼るほど難しいものでもないような
pipesの基本的な機能だし
- 31 ：
- まあ簡単だしな
けどアドレス貼ってもいいのよ？
- 32 ：
- 両者の絶妙な駆け引きが堪らない
- 33 ：
- http://pipes.yahoo.com/pipes/pipe.info?_id=f2ca070ee921fc1105ca1dda2f5e7393
これかな？
- 34 ：
- pipesでTwitterAPIを呼び出す人が増えると制限に引っ掛かって
取得できなくなることが増えるんじゃないの？
以前からのURLが使えなくなって以降しばらくスムーズだったような
- 35 ：
- >>33
6つしかcloneされていないっぽいけれど
- 36 ：
- 設定欄があるpipeはcloneしないと値を設定できないと思ってる人が案外多いのか
clone数が増えやすいけど、publishされてないと検索しても引っかからないからな
- 37 ：
- なくなる可能性とかを考慮してんじゃないか？
全部自分の中でやりたいとか
- 38 ：
- サブパイプから出てきたフィールドの扱い方がよくわかりません。
基本的に
1. あらかじめUser inputsのあるパイプを作る(=サブパイプ)
2. Loopを置いて、その中にさっきのサブパイプを入れる
3. inputやassign先を指定する
だと思うんですが、
これだと例えばitem.pubDateに加工するサブパイプを作った場合、
3.でサブパイプに対してitem.pubDateをinputして、
出てきたものを再びitem.pubDateにassignしても、
item.pubDate.pubDateに入ってしまいます。
改めてitem.pubDateにRenameすればいいだけなんですが、
この一手間が必ず発生するのが仕様なのか、
それとも私が何か基本的な使い方を知らないだけなのか…
- 39 ：
- サブパイプ(というかパイプ)はテキストだけのOutputはできなくて、
かならず item にしないといけないわけ。
だからサブパイプの出力が item.sub : hoge であるなら、
それをメインパイプでループさせて item.main に assign すると
item.main.sub : hoge になる。まあ仕様だね。
- 40 ：
- >>39
ありがとうございます。
そういうものだ、ってことですね。
とりあえず自分の間違いでないことがわかったので、
これからは安心して作れます。ありがとうございました。
- 41 ：
- 何気にdapperが復活していた。
htppsをスクレイピングするのに助かる。
- 42 ：
- なんかもう不安しかないんだけど。。。
- 43 ：
- Clone作って全く同じSourceなのに、どうして俺のCloneはエラーが出るんですか
- 44 ：
- わろた
- 45 ：
- 1.３月にtwitterAPI1.0終了。
2.twitterRSS難民が退去して来襲。
3.サーバー負荷、遅延続出。
4.マリッサ・メイヤー、Yahoo! Pipesのサービス廃止を決定。
5.阿鼻叫喚。
- 46 ：
- Twitter RSSって、どんな時使ってんの?
- 47 ：
- フォローするまでもないorフォローしたくない
けど読みたい。そんな時に使う。鍵かかってなければだけど。
- 48 ：
- 非公開のリストに登録しても同じ事出来るよね。
あえて、RSSで購読ってのは、慣れてるからとか感覚的なモノ?
Pipes通せば、フィルタも掛けるの楽か。
- 49 ：
- 古いのを検索できるように、メーラーで過去ログ取りに使ってる。
- 50 ：
- あ、のちのちのために予め蓄積しておくってことね。
- 51 ：
- 昔リストで読もうとして、何かがダメでRSSにしたんだよな
なんだったか忘れてたけど思い出した
フォローとかリストだとリプライが見えないんだ
リプライ相手もフォローしとかないと
- 52 ：
- 1.ニュース、ブログ、twitter、Facebookページ、Google+、Podcast、Youtube、UST、ニコ動、tumbler、Flickr、Pinterest、500px、…フィードリーダーで一元管理できるのに、いちいちクライアントを切り替えるのが手間だから。
2.見てるだけ、つながりは不要。
3.Googleリーダーにぶちこめば過去記事の検索が可能。
- 53 ：
- >>47
俺は逆に読み逃したくないユーザー(リア友とか)だけフィード拾ってる
- 54 ：
- いろいろな利用方法があるわけですね、はい
- 55 ：
- 1つ目のアイテムのtitleと2つ目のアイテムのtitleを結合して
1つのアイテムのtitleにまとめることって出来ない？
- 56 ：
- ううむ、
- 57 ：
- いままで、まぐまぐの最新号のみ公開の記事のRSSはdlvr.it経由でGoogleリーダーに登録していました。
今月からdlvr.itの無料アカウントが５フィードまで登録できなくなったので、Yahoo! Pipesに移行したいと思います。
まぐまぐIDを入力するとRSSフィードを生成する方法を教えて下さい。
- 58 ：
- >>57
こういうこと？
http://pipes.yahoo.com/pipes/pipe.info?_id=a3b155448907918d639be6097c0131be
そのうち消しちゃうので、もし参考になるならコピーして使ってちょ。
- 59 ：
- Yahoo!リアルタイム検索の「注目のキーワード」
ttp://search.yahoo.co.jp/realtime
をXPath Fetch Pageで取得しようとしているのですが、取得ができません。
//p[@class="que_2"]/a
や
//div[@class="itm"]/p[@class="que_2"]/a
などで試しているのですが、どのように指定すれば取得できますでしょうか？
- 60 ：
- >>59
不可能
Pipesからのアクセスは http://search.yahoo.co.jp/legacy/help.html にリダイレクトされる
- 61 ：
- >>60
上記リンクを含むページに飛ばされるの間違いだった
- 62 ：
- 途中に挟むとUAを偽装するだけのサービスとかないかな
- 63 ：
- >>59
http://searchranking.yahoo.co.jp/rss/
「ただいま、検索数急上昇中！」のフィードで代用できねーかな
- 64 ：
- >>60
Pipesからのアクセスは出来ないようになっているから取得出来なかったんですね
ありがとうございました
>>62
探してみたんですがそれらしいのが見つからないんですよね
>>63
取得できるキーワードは違うようだけど旬なワードが手に入るみたいです
助かりました、ありがとうございました
- 65 ：
- PipesでTwitterの指定キーワードを含むツイート検索結果のRSSを取得しているのですが、
2013年3月のAPI規約変更以降は今まで認証が必要なかったツイート検索結果の取得もOAuth認証が必要となるのでしょうか？
PipesでTwitterのOAuth認証が可能なのかご存知の方お教えいただければ幸いです。
- 66 ：
- Translateがいつのまにか消えてるけど、もうpipes使って翻訳する事出来ないんだろうか
- 67 ：
- この方法で翻訳できたよ
http://discuss.pipes.yahoo.com/Message_Boards_for_Pipes/threadview?m=tm&bn=pip-DeveloperHelp&tid=121185748&mid=121185761&tof=36&rt=2&frt=2&off=1
- 68 ：
- XPATH Fetch PageでXpathを //div[contains(@class,"body")]/p とかで指定して、例えば item.description で吐き出すと
description
0
1
2
3
4
って分割されて出力される。
それを Loop にセットした String Builder で
item.description.0
item.description.1
item.description.2
item.description.3
item.description.4
と記述して
Loopの吐き出しを item.description にすると、一つの description になるんだけど、
String Builder に一発で、例えば item.description.* みたいに記述出来ないのかな？
- 69 ：
- そんな仕組みがあったのか
- 70 ：
- >>66
まさかこんな有益な回答がもらえるとは
超サンクス
- 71 ：
- クックパッドの話題のレシピ（ ttp://cookpad.com/recipe/hot ）のRSS取得方法分かりませんか？
ソース見ると料理部分をjsで表示してるみたいで取得できませんでした。
- 72 ：
- >>71
ttp://cookpad.com/recipe/update_hot_recipe
ただしリクエストヘッダに特定のものが入ってないと見れない
一応YQLで↓とやれば取得できるのを確認したけど、その後面倒になったから興味あれば続きどうぞ
y.rest('http://cookpad.com/recipe/update_hot_recipe').header("X-Requested-With","XMLHttpRequest").get().response;
- 73 ：
- YQLってそんなこともできるのか
すげえな
- 74 ：
- 結局自分で>>72の続き書いてみた
http://pipes.yahoo.com/pipes/pipe.info?_id=58ed15323420e66fed867f4c7aed0ce7
- 75 ：
- >>74
71で質問した者です。凄いです！ありがとうございます！ここまで完全に作ってもらえるとは思いもしませんでした。
YQL使ったことがないのでどうなってるのか全然わかりませんがcloneさせて頂き自分なりに仕組みを勉強しようかと思います。
趣味でPipes触ってるんですがやっぱりYQLとかSQL覚えないとこの先キツそうですね。。
- 76 ：
- YQLとっつきにくいよう
- 77 ：
- いつの間にか、htppsもスクレイピングできるようになった。
- 78 ：
- なにその謎プロトコル
- 79 ：
- あと1ヶ月ぐらいだっけ？twitterのRSS配信終了
Pipes経由に移行したいけどたくさん登録してあるからいちいちめんどいわ
- 80 ：
- >>74
YQLドキュメントと格闘する事2時間、やっと大体分かったわ
store://がなんの事やら分からなかったけどMyYQLで作った自作tableか
これは何だか面白そうね
- 81 ：
- ？
- 82 ：
- 1.３月にtwitterAPI1.0終了。
2.twitterRSS難民が退去して来襲。
3.サーバー負荷、遅延続出。
4.マリッサ・メイヤー、Yahoo! Pipesのサービス廃止を決定。
5.阿鼻叫喚。
- 83 ：
- >>81
use "store://dXeXD216hAWocoqmWFAeGH" as cookpad; select * from cookpad
この部分の話ね
url「store://dXeXD216hAWocoqmWFAeGH」のユーザー定義tableをcookpadという名前で使いますという宣言文
select以下で具体的にデータを抜き出してる
>>82
その前にこのスレが阿鼻叫喚だろ
- 84 ：
- (((( ；ﾟДﾟ)))ﾋｨｰ
- 85 ：
- >>68
> XPATH Fetch PageでXpathを //div[contains(@class,"body")]/p とかで指定して、例えば item.description で吐き出すと
このitem.descriptionで吐き出すってどうやるんですか？
自分でやるとitemsでしか吐き出してくれない
- 86 ：
- twitterのRSSってそんな需要あるもんなんかな？
- 87 ：
- 特定サイトのRSSとしては一番需要があるんじゃね？
- 88 ：
- >>85
xpath fetch page は loop に挿れてる？
- 89 ：
- >>88
ああ、なるほど
そういう使い方が・・・
ありがとうございました
- 90 ：
- これってRSSに変換できないの？
http://api.twitter.com/1/statuses/user_timeline.json?screen_name=[ユーザー名]
- 91 ：
- 俺はついったーやってないから分からないけど、URLにjsonと書いてあるからにはjsonなんじゃないの
fetch dataにかけてみれば
- 92 ：
- pipes作りながらちょくちょく動作確認してると
badly formed responseエラーが出るんですけど、
これって、fetch対象のサーバーからアクセスしすぎという理由で
蹴られているんでしょうか？
- 93 ：
- あ、すみません
単にxpathでtext()を使ったのが原因だったみたいです
- 94 ：
- やってみたらfetch dataでjson展開出来るな。あとは使いやすいように各自加工すればよし。
- 95 ：
- ふむ
- 96 ：
- >>55
もう見てないかもだけど
http://pipes.yahoo.com/pipes/pipe.info?_id=201587a74530428103240d9a5eb25438
で作ったフィードを
http://pipes.yahoo.com/pipes/pipe.info?_id=c5dc335f8fe92d00203a0e13b9e3956d
で書き換えた。
我ながら誉められたレベルじゃないと思うが
まあこういう方法もあるよってことで一つ
- 97 ：
- あ、pipes歴数日なので
すごく珍妙なことやってると思います。
横からﾊﾞﾘﾊﾞﾘ駄目出ししてもらえると嬉しい
- 98 ：
- ダメ出しじゃないけど、こういう書き方はどうだろう
http://pipes.yahoo.com/pipes/pipe.info?_id=b554393679a927c395127811e4eb8885
- 99 ：
- あー・・・
その書き方の方が全然いいですね
勉強になります
- 100 ：
- htmlからfetchしてrssを作ってpubDateを付けるときに、
今はdate builderでtoday指定しているのですが、
元になるhtmlのレスポンスヘッダから
dateを取得する方法って無いでしょうか？
pipes単体では無理っぽいのでYQLでもなんでもいいのですが
100〜のスレッドの続きを読む
ここらでＭＳネットミーティングしてみませんか？
したらば掲示板 by エーゲート Part16
★ラブサーチ ダイ君を語ろう
EYEBALL
【アットウィキ/atwiki】@wikiについて語る Part 18
地域別掲示板 まちBBS www.machi.to 近畿大阪1
Ｇｏｏｇｌｅの不満
ふたば☆ちゃんねる総合32【ふたばちゃんねる】
GyaOでおっぱいが見れる映像
【ブラステル】 050 IP電話 【Brastel】 Part15
--------------------
【祝藤井四段】棋士ランキングの考察
障害者の「差別するなは甘え 障害者団体は糞
九州の味【第六章】
【開志国際】辛斤 シ写 糸冬 単戈【 イ憂 月券w】
株式会社メビウス その2
【メガテンD2】 D×2 真・女神転生リベレーション まったりスレ★27
【トータル】トータル・イクリプス RED SHIFT TIME x34【イクラプラス？】
IDにPerlが出たら神!PHPが出たらｼﾒｼﾞ Part39
FE聖魔のルーテは優秀発言ｶﾜｲｲ 2回目
バイクにはタバコと缶コーヒーだろ
漢文学における食人について語るスレ
【ラグビー/W杯】「ナミビア vs カナダ」（釜石鵜住居復興スタジアム）試合開催中止
PS1、PS2、PS3、PS4で買っておくべきシューティング
TBSドラマ版『この世界の片隅に』にミリオタから突っ込みの嵐！青葉が戦地を勝手に離れ呉に戻っとる！ [222398354]
アンチブログ総合フリー Part3
【エミュ】セガサターン総合【SSF】part2
【佐野ロクロウ】ジガ-ziga- 9【肥田野健太郎】
東京薬科大学part64
【風林】山梨の高校野球107【火山】
2019年千葉マリーンズドラフトスレ 3
TOP カテ一覧 スレ一覧 100〜終まで 2ch元 削除依頼
