文渊阁: 研究

2007影响因子

Wed, 18 Jun 2008 07:58:37 GMT

好惨……

3.579 IEEE Transactions on Pattern Analysis and Machine Intelligence
3.008 Artificial Intelligence
2.682 Journal of Machine Learning Research
1.969 ACM Transaction on Information System
1.896 IEEE Transaction on Knowledge and Data Engineering
1.742 Machine Learning
1.107 Journal of Artificial Intelligence Research

研究就像变质的巧克力

Mon, 26 May 2008 12:53:05 GMT

味道和你想象的总是不太一样。就拿去年的paper来说吧，结果都很出人意料：

ICML2007，我做了一篇用boosting的方法来解transfer learning的paper。我自认为自己是做transfer learning的，结果chair认为我是做boosting的，把我分进了boosting session。当时我不太爽，可后来发现，我的这个算法用来做transfer learning确实太弱。但是，如果把contribution放在extend boosting algorithm，倒是一篇不错的paper。有时候chair的眼光还是很独到的！

KDD2007，我做了一篇co-clustering based classification。我自认为这是一篇classification的paper，可是却被分配到了clustering session。当时我不太爽，可后来发现，我这个model用来做clustering很自然，用来做classification确实不太合适（勉强算cluster-based classification）。后来，我把这个model改了改，变成了一篇比较nice的transfer clustering的paper。

AAAI2007，我做了一篇自认为很nice的paper。那paper放在一米以外也很pp。这次presentation的分配也很满意，是transfer learning session。结果，在开会作presentation的时候，我突然发现有个公式推错了……大囧~ 我说怎么可能这么容易就推出来了呢……好在这方法实际效果还不错，所以也不是一无是处@.@

AAAI全聚德

Wed, 02 Apr 2008 08:29:16 GMT

有点意外，本来觉得有一篇蛮有希望的。不管怎么样，拒下来的文章又能投投ECML啦，投投NIPS啦，也算有了新的希望~

ICML&AAAI rebuttal结束

Sun, 23 Mar 2008 05:21:03 GMT

几点感想：

1. 我的审美和reviewer们差别很大。我觉得很满意的paper，reviewer觉得不好；我觉得不是特别满意的paper，reviewer比较喜欢。

2. Follow别人的工作很容易，只需要把该引的工作都引一遍就OK了。提新问题很难，很难说服别人接受。

3. ICML的review很不错。我的意思不是说他们给的review好，而是说他们的review确实说得都有道理。以后要多投ICML。

4. 见识到了比NIPS更难的会议，那就是AAAI——一篇paper去年投NIPS，今年投AAAI。NIPS给分比AAAI高。

某领域的科学家们

Fri, 14 Mar 2008 07:07:56 GMT

最近发现某领域的科学家还是蛮可爱的。

其实，该领域本不是什么科学，做的人多了，也号称为科学了。

有一天，一些科学家发现可以用理论A来武装该领域，于是理论A在该领域水了好多年。

若干年后，简单的工作都做掉了，泛泛之辈已经没有能力用理论A来灌水了。于是，若干人扯出了理论B的大旗。理论B的好处是，在一些特殊的情况下，效果比理论A好，虽然平均情况要差。然后，这些人就开始用理论B灌水，灌了好多年。

若干年后，理论B深入人心，已经成为了一小撮人心中的规范。于是，又有人提出理论A在通常情况下比B好，然后这些人又开始用理论A灌水了。

不知道，再若干年会不会又有人提出理论B在一些特殊情况下比理论A好呢？如此如此，AB循环反复，即可在技术不加发展的情况下，灌出无穷无尽的水——真可谓灌水之最高境界啊！

Next Generation Search & Next Generation Web

Sat, 01 Dec 2007 05:53:24 GMT

虽然都不大做Web Search了，但是最近又开始胡思乱想。Next Generation Search和Next Generation Web，是两个老生常谈的话题了。今天我再来涂鸦一把~

很多人，至少是我所在的实验室，认为Next Generation Search是Semantic Search。我对这种观点持否定态度。为什么呢？Search一定是朝着能力越来越强的方向发展的，Semantic Search和现有的Web Search相比，能力只弱不强，我甚至想称之为Last Generation Search。有些人可能会说，Semantic Search可以支持复杂的query，而现有的Web Search不行。我要说，如果你提供给我如Semantic Search论文里的实验数据，我一定可以用Statistics的方法做出更好的效果。要知道，Statistics无论是描述能力还是推理能力，都是在Logic之上的。

那么，Next Generation Search是什么呢？我不能确定，但可以猜测。PageRank的成功，在于它很好地模拟了人类浏览网页的行为。然而，这种模拟是近似的。AI的发展，一条很关键的路，就是更好地模拟人的智能行为。所以，从AI研究的角度来看，Next Generation Search应该对Browsing或者是Human Search（谁来解释一下，人类是怎么search的）有更好的模拟。而Learning to Search (Rank)，则可能是一个更远一些的理想。当然不是现在这么弱的Learning to Rank，应该有更强的模型。最终，Search Engine应该学会利用有效的Learning，不断地自我改进自我提高。至于，到时候是不是还在用Statistics，我不知道了，不过我觉得应该不会是Logic-based。

这样一来，研究Semantic Web还有意义吗？我觉得是有的，而且还很大。但要注意，是研究Semantic Web，而不是Semantic Search。在我看来，Web确实应该朝着Semantic Web的方向发展。什么意思呢？就是说，我们要努力让我们的Web变成一个连Semantic Search都能work的Web。在历史的发展过程中，人的能力不断变强，可以解决越来越多的难题。与此同时，环境不断得到改善，环境给人类制造的困难也越来越少。我觉得，Web的发展完全应该依据历史的发展，Search的能力不断增强，而Web的改进让Search变得越来越容易。所以，我们研究Search，就应该尽量给自己更困难的场景，去解决这样环境下的Search；如果研究Web，就应该去设计更好的Web，让越来越笨的Search都能在我们的Web上work起来。这才是Web Search研究人员应该走的道路。

逻辑是不是都可以用概率来表示？

Thu, 09 Aug 2007 02:52:36 GMT

例如，“→”可以用条件概率来实现，\forall和\exists可以用“∑”或“∏”来实现。

感觉所有的逻辑应该都能写成概率形式的，只不过有些可能稍微复杂一点。

如果这样的话，概率的描述能力就真包含逻辑了，概率和逻辑的结合也就没有意义了……

YY一下Next Generation Search

Mon, 16 Jul 2007 16:17:12 GMT

每次路过农工商超市的时候，我都会不由得去思考，Next Generation Search应该是什么？

有人说，semantic search是next generation search。我一开始还是有点相信的，不过接触了machine learning以后，我就再也不相信这一观点了。诚然，Web2.0给semantic search带来了很多便利。但是，这只能说明semantic search有了更多的应用，而不是说semantic search可以成为next generation search。在learning的领域，其实是先有semantic，后有statistics的。人们发现semantic学习能力的不足，于是用statistics来弥补。这里，我不是说statistics要比semantic强，其实他们各有所长，只不过semantic出现在前，statistics在后。在我看来，这两种学习策略是平行的，只是计算机的两种不同的思维。而在search领域，情况似乎正好相反。先出现了基于statistics的search engine。然后，人们发现了这种search engine的不足，于是提出了semantic search。我觉得，semantic search相对于现有的search engine并不能体现出“下一代”的特征，它只能作为现有技术的一种补充。或许semantic search在将来会有越来越多的应用，但是这并不意味着semantic search可以取代现有的搜索技术。

从思维的角度来看，semantic代表着确定性的逻辑思维，statistics也是非确定的。严格地说，statistics也是逻辑的，只不过“模糊”一点。我不知道还有没有别的种类的逻辑思维，如果有的话，或许next generation search（包括machine learning）应该支持这些逻辑思维。我不知道形象思维是否能在计算机里得到体现，如果能的话，或许next generation search（包括machine learning）应该运用一些形象思维。再者，由于电脑和人脑计算模型的差异，说不定还有一些人脑不适合的思维可以在电脑上实现@_@ 当然，这一定是条漫长的路。

P.S. semantic没有i.i.d. assumption，怪不得人家要拿Markov Logic Network来做transfer了。我怎么就没想到呢？

P.S.^2 本文纯属YY，做semantic search的请轻点拍砖~:D

Occam's Razor

Sun, 10 Jun 2007 13:06:27 GMT

刚才在BBS上看一篇帖子，里面提到，研究中的Occam's Razor。背后的道理很简单，就是不要把事情做得太复杂。

于是，我发现自己最近干了一件蠢事。用Machine Learning的语言来描述就是：

我有一篇weak paper，被UAI拒了。我想改进这篇paper，投NIPS。于是我对这篇paper作了boosting。经过boosting，weak paper变成了strong paper。（注意：这里的weak和strong只是建立在training loss之上，并不是generalization loss）Boosting的代价是，paper的complexity提高了，所以VC-dimension增加。Vapnik告诉我们，"generalization loss" = "training loss" + F(VC-dimension)。虽然training loss减少，但由于VC-dimension增加，这很可能是overfitting的结果，generalization loss反而更大。

综上所述，我花了这么多时间把UAI submission“改进”为NIPS submission，结果可能反而降低了paper的质量。以后改paper，一定遵循Occam's Razor，坚决摒弃boosting路线。

每年写一两篇文章是不是就足够了

Thu, 19 Apr 2007 16:41:13 GMT

这两天翻之前写的文章，发现了好多问题。

一些小错倒是无关痛痒，改掉就是了。

问题是，有些地方明明很容易就可以做得更好的，因为当时赶得太急，没做好。另外还有一些地方，虽然不能说是错误，但也很有问题，至少不够严格。

以后应该少写点文章，保证文章的质量。

ECML2007居然允许double submissions

Sat, 24 Mar 2007 04:03:25 GMT

Double submissions to the KDD conference are allowed. Since the time of notification of acceptance for KDD 2007 precedes that of acceptance for ECML/PKDD 2007, the author(s) of a paper submitted to both events and accepted for KDD 2007 must withdraw the paper from ECML/PKDD 2007 immediately after being notified of the acceptance mentioned.

不过我把KDD的submission换了下模板，居然有23页，要缩掉一半……

Quinlan居然开公司卖他的Decision Tree

Wed, 15 Nov 2006 02:36:58 GMT

C5.0 PC版$450一个，两人联机版$900，5人的$1350，10人的$1800 -_-

买不起，什么时候自己写一个算了……

发现一个问题

Mon, 06 Nov 2006 06:22:59 GMT

http://www.joachims.org/publications/joachims_99c.ps.gz

TSVM和SVM的不同，除了算法本身以外，TSVM还有一个constraint，就是给test set固定了一个positive和negative instances的ratio。这是为了避免出现unbalance的情况。

但是，在做比较实验的时候，SVM并没有加这个constraint。

那么，到底是TSVM算法本身改进了SVM，还是那个constraint改进了呢？

我觉得是不是还应该和SVM+constraint比较一下？

看了ECML/PKDD Discovery Challenge第一名的算法

Wed, 20 Sep 2006 02:40:56 GMT

1. 统计每个单词在spam和non-spam里出现的次数C_spam和C_non-spam，取出difference>t的所有单词。

2. 计算每个单词的(spam/non-spam) signifincance score，就是C_spam/C_non-spam（没说怎么smooth）。

3. 对instances分类的时候，就是求sum of (spam/non-spam) signifincance scores，S_spam和S_non-spam。如果a*S_spam > S_non-spam，那么就是spam，否则是non-spam。

4. self-training

果然simple is best @_@

防寒

Tue, 19 Sep 2006 13:02:08 GMT

今天带了一件厚外套来lab（这边好像都喜欢说lab，不喜欢说“实验室”），终于彻底解决温饱问题了（饭还是很饱的，就是贵）。

早上准备PPT，把算法（就是那个Boost算法）拿出来，跑了一遍，很有满足感。然后又跑了三组新数据，顿时寒了——居然不work！！！我这几天还试图从理论上证明这个算法是work的呢@_@

然后改啊改啊，终于在Logistic Regression上跑通了。看来Naive Bayesian对于distribution的保持还是不如Maximum Entropy Model来得好。

现在虽然暂时在所有数据上都work了，但是迭代曲线有些振荡，没有以前的漂亮了。当然也有好的地方，就是Logistic Regression的理论比Naive Bayesian容易推导。

被实验搞掉了一天时间，PPT才做了一半，明天就要讲了，还要用英文:S

又寒了~

A Workshop for Women in Machine Learning

Mon, 07 Aug 2006 01:40:04 GMT

http://www.seas.upenn.edu/~wiml/

女子机器学习研讨会@_@

应该多看看workshop

Sat, 05 Aug 2006 04:21:26 GMT

说journal太慢，其实conference也挺慢的。

感觉workshop比conference起码要快一两年。

WAIM流水账

Thu, 22 Jun 2006 11:20:41 GMT

去年在实验室完成了一篇烂文，中了WAIM。虽然WAIM很烂，但我觉得自己还是挺走运的，因为这篇文章如果让我来review，估计就要被拒了。WAIM虽烂，但是开会的地方却不错——香港。以前虽然几次在香港转机，却一直没有真正意义上踏上过香港这块土地。

一、K99

为了“以艰苦奋斗为荣，以骄奢淫逸为耻”，我们选择了火车——K99，而且是硬卧。第一次坐出境的火车，没什么经验。提前90分钟就来到了火车站，结果不到两分钟就完成了出境手续。火车站的出境比机场捣浆糊多了。

K99挺空的，正常情况下我们应该可以独霸上中下铺。可惜，正好赶上一个老年旅游团，把整节车厢的中铺都占了。不过，总的来说，这车还是挺舒服的——干净，乘务员素质好，乘客的level也比较高——毕竟是去香港的车嘛，不能丢咱们国家的脸啊。

这个老年旅游团挺有意思的，到了晚上开始拉二胡、唱京剧。我们用半欣赏、半异样的眼光看着他们。他们谈论的是阮玲玉、周璇……我在想，半个世纪之后，我们会不会在车厢里K歌，谈论刘德华、张学友。然后，被当时的年轻人用异样的眼光看着……

K99上午10点半出发，第二天下午1点半到，全程大约27个小时。不过，似乎并不是很累。

二、到达香港

九龙站在红磡，边上就是著名的红磡体育馆，还是挺繁华的。下了车，买好返程票，20号下午的。因为我们只签了5天，所以一天都不能多呆 :'(

出站后，我们看到的第一块路牌上就写着“香港理工大学”，就好像知道我们要去那里一样。之前就听说香港的路牌做得好了，但是没想到会这么好。或许也可能是我们的rp好吧。不过，rp虽好，智商却有所欠缺。路牌指得清清楚楚的，我们还是走错了。好在又有第二块路牌，及时纠正了我们的错误。

踉踉跄跄地来到了香港理工大学，认了一下会场，我们又摸索着到了旅馆。由于会务组提供的Super Save Rate，我们的住宿费只要500港币一晚（好像还是很贵啊，不过在香港，特别是尖沙咀，应该已经是非常非常非常非常便宜了），原价1500港币。只是，我们的房间好像比普通的标准间稍微小一些。

三、香港岛半日游

放下包，我们立刻迫不及待地赶出去玩了，因为这个半天是我们最空的半天，也是最可以玩的半天。

我们住在尖沙咀附近，走不了几步路就到了维多利亚港。维港最好的风景是香港岛那些建筑，而看这些风景最好的地方就是九龙半岛，我们真是来对了地方。九龙半岛沿岸有一条模仿洛杉矶的星光大道，唯一的区别是，上面印的是香港影星的手掌。

沿着九龙半岛逛了一两个小时，我们决定去香港岛看看。坐轮船摆渡去香港岛只要2.2港币，真是便宜啊。我们选择渡到湾仔，就是会展中心那块地方。事后发现，这个选择是有失误的。因为湾仔在香港岛的中央，如果渡到湾仔，要把香港岛走遍，路程就加长了。比较好的选择应该是渡到中环或者铜锣湾。

由于时间的限制，我们并没有走得太深入，而且也只逛了湾仔和铜锣湾。我们经过的地方基本上是一个商业区，不知道我们没到的地方会不会有别的东西。解决了晚饭问题，Baobao就要着手开始解决化妆品问题了。我们找到了一家名叫Sasa的化妆品店，Baobao买了1000+港币的Lancome。一开始还担心Sasa正不正宗呢，可是回来路上看到的一幕打消了我们的疑虑。原来Sasa是一个化妆品的连锁店，密度不在McDonald之下。

在香港岛转到晚上八九点，实在转不动了，我们就坐地铁回到了旅馆。

四、WAIM第一天

开会的第一天，我们八点多就爬起来了。吃完早饭，找到注册的地方，比keynote还提前几分钟。因为刚发了proceedings和workshop paper，结果我尽看这些了，没好好听keynote，连keynote speaker长啥样都不记得了。

第一天是workshop，没我们啥事，就随便听听了。我们还是选择和Data Mining相关的领域去听。因为workshop水平有限，一天下来，也没什么太大的收获。唯一的感觉是presentation作得都不太好，这提醒了我们明天的presentation一定要好好准备。

休息的时候，我们去上网。遇到了Gui-Rong，他提醒我们一定要把ppt读四五遍，注释都写好，最好能背出来，这样到时候才不会紧张。又遇到了Jessie，她告诉我旺角有卖Juventus的队服，于是我决定有机会要去旺角看看。

晚上回到旅馆，我们就开始准备起presentation了。我先把注释都写好，然后照着念了一遍，结结巴巴的 @_@ 再念一遍，好些了 :) 然后大声念一遍，又是结结巴巴的——原来大声和轻声是两个概念啊。这样反复练了四五遍，终于可以比较流利地读出来了。然后开始脱稿，又是三四遍，直到累得舌头僵化。这时已经过了1点，我们决定睡了。

五、WAIM第二天

第二天我们果然没有爬起来，把keynote翘了。不过，好歹是因为准备presentation，有个不错的借口。

赶到会场的时候，keynote已经快结束了。我是第一组第一个讲，keynote一结束就开始了。我被分在了Data Mining Section里，同section里另两个人，一个做tree，另一个做wavelet，基本和我不在同一个世界。

我的presentation作得还算顺利。唯一遇到的问题是，我paper中有一个复杂的公式推导，我不知道如何用英文来解释，就想用“works as this formula”来蒙混过关。结果，还是被chair问了。我只能手口并用地胡乱解释了一通，幸亏chair放我一马，没有进一步追问。

Presentation结束后的问题倒还是挺容易对付的。第一个人challenge我的contribution，说这个topic是VIPS已经做过了。这完全是错误的，VIPS是一个分block的算法，分block只是我工作的预处理部分。第二个人问我具体分block的规则，我就跟她解释了一下。两个问题后，chair说“Let's thank the speaker”，我知道我解放啦 :D

下午是Baobao作presentation，他被分在Information Retrieval组。这组总算都能听懂了。第一个人做的hit number extraction。我乍一看以为是HITS，仔细看发现原来是提取搜索引擎上的搜索结果数，晕倒~ 第二个人用SVM做Keyword Extraction，其实就是定义了一些feature，然后用SVM分一下，确定哪些是keyword。第一个人讲完，一个问题都没问，直接“thank the speaker”了。第二个人因为不是co-author，也没问什么问题。我本来以为Baobao也不会被问什么问题，结果恰恰相反。Baobao被问得……Section结束后，还有人跑上台去和他讨论了十几分钟。Cmft Baobao~

晚上banquet，节目无穷多，一直搞到了10点钟。我们本来想好banquet结束后要去旺角的，结果只能作罢。

回到旅馆后，Baobao要买电话卡，我们就去问前台。由于语言沟通不是很流畅，她给我们写了张纸条，上面是“7-11”。我们想，是不是我们所在的那条路的7号到11号有卖电话卡。结果，走了两三个block，终于走到7号的地方，发现7号到11号不是酒吧就是酒家，和电话卡完全不沾边，只好悻悻地回去了。回去的路上，我看见一家超市，上面写着“ELE7VEN”，才发现，原来“7-11”的意思是“ELE7VEN”连锁超市 @_@

六、WAIM第三天

第三天，一如既往地睡过了头，翘了keynote。听了一个keynote的尾巴，然后去上网了。下午听了Classification and Clustering Section，其实只听了半个。进去的时候第二个人已经讲了一半了，完全听不懂他做的东西。第三个人，chair说他做了一个“very interesting problem”，原来是用SVM做email spamming filtering，无语了。

第三天过得真快，主要是已经心不在焉了。

七、旺角游

晚上本来是想去找Gui-Rong的，但是电话一直打不通，于是我和Baobao决定去旺角逛逛。从地图上看，我们住的地方离旺角只有两站路，而且附近一带也挺繁华的，于是我们决定走过去。

我们走的那条路叫“弥敦道”，旁边是一家接一家的专卖店。由于我们的目标是旺角，所以一家店都没有进去。但是即便这样，从第一家专卖店走到最后一家仍然花了我们半个多小时。我猜想，是不是稍微有点名气的牌子都会在这里开个专卖店。

不知道走了多长时间，终于到了旺角。地图上有个“旺角中心”，我们想这应该是旺角的中心吧，就径直往那边去了。没想到，“旺角中心”只是个小商品市场，而且还都是女用的。之后，我们在旺角转了一圈，对旺角的定位基本是卖便宜货的地方——特别是那条女人街。

最后，我们去逛了逛Nike, Adidas，其实我是想买件Juventus的队服。现在正好是赛季结束，Juventus球衣断码，降价处理。可惜我的身材实在是太normal了，断的就是我这个码……无奈，只好下次来香港时再买了。

逛来逛去，发现我买得起的还是Baleno。最后得出一个结论，我买得起的牌子并不取决于在哪里买，而取决于赚的是哪里的钱。

八、回程

由于前一天晚上玩到了11点半，一点半才睡，走的那天早上，我们又睡过头了。起床后把房间退了，已经11点多了。我们去街边吃了碗鱼蛋面，28港币。面条有点像方便面，让我想起Comars曾经跟我说香港路边的方便面30块一碗。Comars说的一点都没错。

吃完午饭，又磨磨蹭蹭了好久，我们终于坐上了回上海的火车——K100。上车之前，我们给实验室的coffie time买了糖。香港本地没什么特产，我们只能买日本糖 @_@

回程就没有来的时候那么有意思了，我们独霸了上中下铺，并且80%的时间都不清醒。值得一提的是，我在回来的路上利用20%的时间看了一篇paper，也不枉费我背了厚厚的一叠paper去香港了 :)

WAIM中了

Tue, 07 Mar 2006 13:21:16 GMT

但是我发现了一个严重的问题。

我最终提交的paper在那个进了水的本本里，现在交不出camera-ready了 :'(

愚昧了

Sun, 15 Jan 2006 13:33:58 GMT

以前写Naive Bayes Classifier，总是遇到几百上千个概率乘起来，最后把long double乘爆掉的事情。

刚才突然发现，其实取个log，然后加起来就可以了。

这么简单的技巧，我居然一直没想到……

PAKDD被拒

Tue, 20 Dec 2005 16:32:39 GMT

拖了四五天，等到了被拒的消息

不过，想来这个结果也挺合理的。做那篇文章的时候，我接触KDD还不到半年。要不是依靠实验室的基础，我连个题目都没有，更不要说写出篇文章了。

现在回想起来，当时做PAKDD的时候真是混乱啊。时间只有两周多一点。Idea没想清楚就开始做实验。写paper的过程中，思路改了好几次。最搞笑的是，写related work的时候，发现我什么都不懂，不知道可以写些什么。这样的过程，我真的不想再重复一遍了。

说到底，还是实力不够。相关领域的文章都没看过几篇，就开始做题目。过程一片混乱，最后自然都会反映到文章里去。于是就有太多的地方可以被人challenge了。

其实现在还年轻，也不用急着发烂文章，还是打好基础更重要。实力有了，文章自然就有了。

每天看十几篇paper，我做得到吗？

Mon, 05 Dec 2005 13:58:46 GMT

假设一小时看一篇吧，那么每天需要全神贯注地工作十几小时。我做不到。何况现在我要吃透一篇paper，通常都需要一两天时间。

我想，这应该是一种实力。如果不能对领域掌握得非常透彻，以居高临下的姿态去看paper，一眼就能看出paper的本质，那么每天看十几篇paper根本就是天方夜谭。

不过，实力也同样是积累出来的。两天看一篇paper是一个必经阶段，虽然很痛苦，但必须要坚持下来。