автореферат диссертации по информатике, вычислительной технике и управлению, 05.13.11, диссертация на тему:Математическое и программное обеспечение систем распределенной совместной фильтрации информации

Введение.

Глава 1. Анализ известных подходов к системам рекомендаций.

1.1. Анализ проблемы. Системы рекомендаций.

1.2. Анализ известных подходов и их реализаций.

1.3. Результаты анализа существующих подходов.

1.4. Постановка задачи совместной фильтрации.

1.5. Результаты и выводы по главе.

Глава 2. Разработка подхода к организации и качественная оценка распределенной системы совместной фильтрации.

2.1. Подход к организации децентрализованной системы совместной фильтрации. Модель децентрализованной системы совместной фильтрации.

2.2. Предлагаемая структура и функционирование децентрализованной системы совместной фильтрации.

2.3. Качественная оценка предложенной системы совместной фильтрации.

2.4. Результаты и выводы по главе.

Глава 3. Выбор и оценка параметров организации системы.

3.1. Формализация требований и свойств в рамках предложенной модели.

3.2. Выбор вида функции транзитивности оценок TRF(Ui,Uj,Uk), анализ выполнения свойств, выбор наилучшей функции.

3.3. Выбор вида функции агрегации сообщений AMF(m, R *.), анализ выполнения свойств, выбор оптимальной функции.

3.4. Результаты и выводы по главе.

Глава 4. Оценка эффективности предложенного подхода.

4.1. Структура программной системы совместной фильтрации.

4.2. Модельная система для проведения экспериментов.

4.3. Эксперименты, оценка результатов и выводы.

4.4. Результаты и выводы по главе.

Актуальность темы. Одним из основных процессов, сопровождающих рост влияния новых информационных технологий на жизнь общества, является быстрый рост объема информации, которую приходится обрабатывать субъектам информационного взаимодействия для принятия решений. Исследователь, изучающий подборки научных статей, аналитик, отслеживающий экономические новости, - все они сталкиваются со все возрастающим и диверсифицирующимся потоком информации, подлежащей обработке.

Глубокая интеграция новых информационных технологий с глобальными компьютерными сетями, с одной стороны, увеличивает объем данных, доступных и подлежащих обработке, а с другой стороны предоставляет возможность организации распределенных вычислений, в том числе и для распределенной обработки данных.

К этой области, в частности, относятся получающие все более широкое распространение и применение системы рекомендаций (recommender systems) и системы совместной фильтрации информации (collaborative filtering systems). Такие системы используют результаты обработки информации множеством субъектов, пытаясь предсказать результат обработки информации конкретным субъектом и тем самым избавить его от необходимости такой обработки.

Системы рекомендаций широко используются в электронной коммерции, например, в Интернет-магазинах Amazon.com и системах аукционов Ebay.com, в России в электронных магазинах Ozon.ru и других. Проблеме построения рекомендаций посвящены исследовательские проекты в университетах Тренто, Миннесоты, Беркли, лабораториях NEC, IBM, MIT Media Lab и Miscrosoft. Вопросами систем рекомендаций и совместной фильтрации различные научные коллективы в России и за рубежом (С.Бондаренко, В.Грищенко, J.Canny, P.Massa, P.Avesani, P.Resnick, J.Herlocker, U.Shardanand, E.Horvitz).

По мере распространения систем совместной фильтрации информации, по мере роста числа пользователей, вовлеченных в них и по мере увеличения объема обрабатываемой ими информации, все больше начнут проявляться качественные аспекты функционирования, в частности, ограничения таких систем, и все более важными будут вопросы их организации для наиболее эффективного функционирования.

В связи с этим, все более актуальными становятся исследования построения и поведения подобных систем, а также исследования, направленные на выделение критериев эффективности их функционирования и оптимизацию параметров их построения для достижения соответствия выделенным критериям эффективности.

Цель работы и задачи исследования. Целью работы является повышение эффективности совместной обработки данных в распределенных системах совместной фильтрации информации. Для достижения данной цели должны быть решены следующие задачи:

• разработка подхода к общей организации и алгоритмов работы децентрализованной системы совместной фильтрации сообщений, позволяющих обеспечить соответствие системы совместной обработки данных требованиям избирательности, оперативности и широты охвата;

• разработка математической модели децентрализованной системы совместной фильтрации, позволяющей конструировать на ее основе системы совместной фильтрации и анализировать их свойства;

• разработка критериев оценки эффективности функционирования системы совместной фильтрации; формализация требований избирательности, широты охвата и устойчивости;

• разработка программного обеспечения для тестирования предложенного подхода;

• исследование функционирования системы совместной обработки данных, в частности, соответствия ее критериям избирательности, широты охвата, оперативности и устойчивости при различных параметрах структуры и функционирования, для выбора оптимальных параметров ее структуры и функционирования.

Методика исследования. Для решения поставленных в диссертационной работе задач был применен широкий спектр методов. При анализе функций систем совместной фильтрации и описании модели были использованы методы системного анализа, а в качестве средства моделирования была применена методология объектно-ориентированного проектирования на основе языка UML. При разработке метода совместной фильтрации и анализе свойств предлагаемой системы были использованы методы общей теории множеств, теории графов и теории вероятности. При разработке системы совместной фильтрации были использованы методы модульного, объектно-ориентированного и системного программирования.

Основные результаты, выносимые на защиту:

1. Метод совместной фильтрации множества сообщений, обеспечивающий соответствие системы требуемым свойствам избирательности, оперативности, устойчивости и широты охвата. Метод включает построение на первом этапе подграфа пользователей, включаемых в процесс фильтрации, который на втором этапе используется при построении подмножества сообщений.

2. Математическая модель распределенной системы совместной фильтрации, позволяющая конструировать на ее основе как централизованные, так и децентрализованные системы совместной фильтрации и анализировать их свойства.

3. Формализованные критерии управляемости и устойчивости системы по пользователям и сообщениям; удовлетворяющие этим критериям функции транзитивного замыкания и агрегации сообщений.

4. Программное обеспечение системы совместной фильтрации, позволяющее использовать реализованные модули и как веб-систему совместной фильтрации множеством пользователей потока информационных сообщений, и как систему виртуальных пользователей, проводить контролируемые эксперименты по совместной фильтрации.

5. Методика объективной оценки эффективности системы совместной фильтрации в рамках системы виртуальных пользователей; выбранная оптимальная с точки зрения избирательности результата фильтрации функция агрегации сообщений.

Научная новизна:

1. Предлагаемый подход к совместной фильтрации множества сообщений отличается от существующих тем, что параметры построения результата фильтрации для конкретного пользователя задаются явно и управляются только самим пользователем, что снижает возможность злонамеренного влияния на него со стороны других пользователей.

2. Новизна алгоритма построения подсети пользователей и алгоритма построения отфильтрованного подмножества сообщений заключается в использовании найденных оптимальных параметров расширения подсети и фильтрации подмножества сообщений соответственно, для обеспечения одновременно устойчивости и широты охвата.

3. Предложена новая математическая модель совместной фильтрации, которая, в отличие от существующих моделей совместной фильтрации, описывает распределенные системы, что позволяет конструировать и анализировать с ее помощью как централизованные, так и децентрализованные системы.

4. Предложена новая методика объективной оценки эффективности системы фильтрации сообщений в рамках системы виртуальных пользователей.

Практическая значимость и внедрение результатов. Практическую значимость имеют предложенные и разработанные автором:

• алгоритм построения подсети пользователей, результаты совместной обработки которых будут использованы некоторым пользователем;

• алгоритм построения отфильтрованного подмножества сообщений для некоторого пользователя;

• метод выбора оптимальных параметров организации системы при конкретных условиях

• программное обеспечение для использования предложенных методов совместной фильтрации в информационной системе с существующим потоком сообщений.

Практическая значимость полученных результатов заключается в том, что предложенные модели и методы совместной фильтрации могут быть внедрены в виде надстройки над любой существующей веб-системой, имеющей множество зарегистрированных пользователей и поток новостей. Разработанное программное обеспечение позволяет пользователям эффективно фильтровать имеющийся поток новостей для автоматизированного отбора наиболее ценных из них и проводить контролируемые модельные эксперименты. Результаты проведенных экспериментов позволяют делать выводы о влиянии различных параметров организации системы на качество ее функционирования для выбора оптимальных параметров в конкретной ситуации.

Исследования проводились в рамках федеральной целевой программы «Интеграция науки и высшего образования Российской Федерации на 20022006 гг.» по проекту «Фундаментальные исследования и новые технологии проектирования сложных технических систем» и частично поддержаны грантом РФФИ 03-07-90242 «Интернет-комплекс поддержки выполнения проектов фундаментальных исследований сложных систем с применением интеллектуальных технологий на базе экспертных систем» (2003-2005 гг.)

Разработанное автором программное обеспечение зарегистрировано в Отраслевом фонде алгоритмов и программ Государственного координационного центра. Разработанное программное обеспечение внедрено в учебный процесс УГАТУ при выполнении магистерских, дипломных и курсовых работ, а также в научно-производственной фирме «РД-Технология».

Апробация работы. Основные положения и результаты работы докладывались на следующих научно-технических конференциях: Научный семинар стипендиатов программы «Михаил Ломоносов» (Бонн, 10-12 февраля 2005); 7-я Международная конференция "Компьютерные науки и информационные технологии" CSIT'2005 (Уфа-Ассы); 6-я Международная конференция "Компьютерные науки и информационные технологии" CSIT'2004 (Будапешт); 5-я Международная конференция "Компьютерные науки и информационные технологии" CSIT'2003 (Уфа).

Публикации. Основные материалы диссертационной работы опубликованы в 10 научных трудах, в том числе в виде научных статей в 4 международных и 3 российских научных изданиях.

Структура работы. Диссертационная работа состоит из 114 страниц машинописного текста, включающего в себя введение, четыре главы, заключение, рисунки, таблицы и список литературы из 93 наименований.

Заключение

Проведенный в диссертационной работе анализ существующих подходов и систем рекомендаций и совместной фильтрации позволил выявить ряд существенных недостатков, среди которых: слабая избирательность результата фильтрации, основанного на рекомендациях всего сообщества пользователей; централизованный характер, обуславливающий неустойчивость систем к разрушающим воздействиям как на логическом, так и физическом уровнях; слабая управляемость пользователем процесса фильтрации.

Для решения этих проблем в данной работе были проведены исследования, общей целью которых являлась разработка математического и программного обеспечения совместной фильтрации информации в распределенных системах для повышения эффективности совместной обработки данных, и получены следующие результаты.

1. Предложен метод совместной фильтрации множества сообщений, включающий построение на первом этапе подграфа пользователей, вовлечённых в процесс фильтрации, и использование его на втором этапе при построении подмножества сообщений. Результаты экспериментов показывают, что метод обеспечивает соответствие системы требуемым свойствам избирательности, оперативности, устойчивости и широты охвата. В экспериментальной системе метод позволяет пользователям найти большую часть ценных сообщений (эффективность системы совместной фильтрации равна 0.8) за 100 обработанных сообщений, тогда как при индивидуальной работе для достижения того же результата необходимо обработать 500 сообщений.

2. Предложена структура и принципы функционирования распределенной системы совместной фильтрации сообщений, подчиняющейся предложенной модели. На основе результатов качественного анализа свойств предложенной системы установлено, что предложенная система обладает свойствами избирательности, оперативности и широты охвата.

3. Предложенная математическая модель распределенной системы совместной фильтрации позволяет конструировать на ее основе как централизованные, так и децентрализованные системы совместной фильтрации и анализировать их свойства.

4. Для формализованных критериев управляемости и устойчивости системы по пользователям и сообщениям найдены удовлетворяющие этим критериям функции транзитивного замыкания и агрегации сообщений.

5. Разработанное программное обеспечение системы совместной фильтрации позволяет использовать реализованные модули и как веб-систему совместной фильтрации множеством пользователей потока информационных сообщений, и как систему виртуальных пользователей, позволяющую проводить контролируемые эксперименты по совместной фильтрации.

6. Предложенная методика объективной оценки эффективности системы совместной фильтрации в рамках системы виртуальных пользователей позволяет выбрать оптимальную с точки зрения избирательности результата фильтрации функцию агрегации сообщений.

Разработанное программное обеспечение позволяет пользователям эффективно фильтровать имеющийся поток новостей для автоматизированного отбора наиболее ценных из них и проводить контролируемые модельные эксперименты. Результаты проведенных экспериментов позволяют делать выводы о влиянии различных параметров организации системы на качество ее функционирования для выбора оптимальных параметров в конкретной ситуации.

1. Макеев Г. А. Устойчивая к воздействиям совместная фильтрация информации // Автоматизированные системы обработки информации и управления: Сборник трудов школы аспирантов. Уфа: УГАТУ, 2006. - Т. 1.-С. 282-294.

2. Макеев Г.А., Юсупова Н.И., Попов Д.В. Совместная фильтрация информации, устойчивая к внешним воздействиям / 7-я Международная конференция CSIT'2005. Уфа-Ассы, 2005. - Т. 3. - С. 209-215 (на английском языке).

3. Макеев Г.А., Юсупова Н.И., Попов Д.В. Проблемы человеко-машинного взаимодействия в интеллектуальных информационных системах / 6-я Международная конференция CSIT'2004. Будапешт, 2004. - Т. 1. - С. 133138 (на английском языке).

4. Бондаренко С.В. Социальные технологии «электронной демократии» (попытка верификации конструкта) // Теория и практика общественно-научной информации. 2004. - № 19. - С. 171-196.

5. Бондаренко С.В. Некоторые аспекты стратификации в сетях межличностного общения // Информационное общество. 2002. - Вып. 1. -С. 44-48.

6. Яковец Ю.В. Интернет в диалоге цивилизаций и становлении интегрального социокультурного строя // Информационное общество. -2002.-Вып. 1.С. 5-7.

7. Засурский Я.Н. Информационное общество, интернет и новые средства массовой информации // Информационное общество. 2001. - Вып. 2. - С. 24-27.

8. Бондаренко С.В. Социальная общность киберпространства // Информационное общество. 2002. - Вып. 4

9. Аймаутова Н.Е., Ушнев С.В. Специфика группового принятия решения // Вестник РУДН. 2003. - №№ 4-5. - С. 213-218.

10. Тужилин А., Адомавичус Г. Использование методов добычи данных для создания профилей потребителей // Открытые системы. 2001. №№ 5-6

11. Grishchenko V. Redefining Web-of-Trust: reputation, recommendations, responsibility and trust among peers Электронный ресурс: http://www.w3.org/2001/sw/Europe/events/foafgalway/papers/fp/redefining web of trust/.

12. Grishchenko V. Computational complexity of one reputation metric. Электронный ресурс: http ://pages .plotinka.ru/-gritzko/presentation.pdf.

13. Грищенко B.C.: Исчисление мнений. Расширение репутационной модели. Электронный ресурс: http://pages.plotinka.ru/~gritzko/opinioncalculus sep05.pdf.

14. Terveen L. Beyond Recommender Systems: Helping People Help Each Other. -Will Hill.-2001.

15. Massa P. Trust-aware Decentralized Recommender Systems: PhD research proposal. Department of Information and Communication Technology. -University of Trento, Italy. 2003.

16. Ackerman M.S. Augmenting the Organizational Memory: A Field Study of Answer Garden // Proceedings of CSCW'94 (Chapel Hill NC, October 1994). -ACM Press.-C. 243-252.

17. Ackerman M.S., McDonald, D.W. Answer Garden 2: Merging Organizational Memory with Collaborative Help // Proceedings of CSCW'96 (Boston MA, November 1996). ACM Press. - C. 97-105.

18. Aggarwal C.A., Wolf J.L., Wu K-L., Yu P.S. Horting Hatches an Egg: A New Graph-Theoretic Approach to Collaborative Filtering // Proceedings of ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. -1999.

19. Amento В., Hill W., Terveen L., Hix D., Ju P. An Empirical Evaluation of User Interfaces for Topic Management of Web Sites // Proceedings of CHI'99 (Pittsburgh, PA, May 1990). ACM Press. - C. 552-559.

20. Avery С., Resnick P., Zeckhauser R. The Market for Evaluations. American Economic Review 89(3). 1999. - C. 564-584.

21. Balabanovic M., Shoham Y. Fab: Content-Based, Collaborative Recommendation. / Resnick and Varian (eds,). C. 66-72.

22. Barrett C. Anatomy of a Weblog. Camworld, January 26, 1999. -электронный ресурс: http://www.camworld.com/journal/rants/99/01/26.html.

23. Billsus D., Pazzani M. Learning Collaborative Information Filters // Proceedings of the International Conference on Machine Learning (Madison WI, July 1998). Morgan Kaufmann Publishers. - 1998.

24. Bush V. As We May Think. // The Atlantic Monthly, July 1945.

25. Chalmers M., Rodden K., Brodbeck, D. The Order of Things: Activity-Centred Information Access // Proceedings of 7th International Conference on the World Wide Web, 1998 (Brisbane Australia, April 1998). C. 359-367.

26. Dourish P. Where the Footprints Lead: Tracking Down Other Roles for Social Navigation / Hook, and Benyon (Eds.). C. 15-34.

27. Goldberg D., Nichols D., Oki B.M., Тепу D. Using Collaborative Filtering to Weave an Information Tapestry // Communications of the ACM, 35, 12 (December 1992).-C. 51-60.

28. Good N., Schafer J.B., Konstan J., Borchers A., Sarwar В., Herlocker J., Riedl J. Combining Collaborative Filtering with Personal Agents for Better Recommendations // Proceedings of АААГ99 (July 1999).

29. Herlocker J. Explanations in Recommender Systems // CHI'99 Workshop Interacting with Recommender Systems электронный ресурс: http://www.darmstadt.gmd.de/rec99/schedule.html.

30. Hill W.C., Hollan J.D., Wroblewski D., McCandless T. Edit Wear and Read Wear // Proceedings of CHI' 92. (Monterey CA, May 1992). ACM Press. - С 3-9.

31. Hill W.C., Hollan J.D. History-Enriched Digital Objects: Prototypes and Policy Issues // The Information Society, 10, 2 (1994). C. 139-145.

32. Hill W.C., Stead L., Rosenstein M., Furnas G. Recommending and Evaluating Choices in a Virtual Community of Use // Proceedings of СНГ95 (Denver CO, May 1995). ACM Press. - C. 194-201.

33. Hill W.C., Terveen L.G. Using Frequency-of-Mention in Public Conversations for Social Filtering // Proceedings of CSCW'96 (Boston MA, November 1996). -ACM Press. -C. 106-112.

34. Katz J. Here Come The Weblogs // Slashdot May 24, 1999. электронный ресурс: http://slashdot.org/features/99/05/13/1832251.shtmll.

35. Kautz H., Selman В., Shah M. The Hidden Web // AI Magazine, 18, 2 (Summer 1997). -C. 27-36.

36. Kleinberg J.M. Authoritative Sources in a Hyperlinked Environment // Proceedings of 1998 ACM-SIAM Symposium on Discrete Algorithms (San Francisco CA, January 1998). ACM Press.

37. Lieberman H. Autonomous Interface Agents // Proceedings of CHI'97 (Atlanta GA, March 1997). ACM Press. - C. 67-74.

38. Maes P. Agents That Reduce Work and Information Overload // Communications of the ACM 37,7. C. 31-40.

39. Maglio P.P., Farrell S., Barrett R. How to Define "Place" on the Web // CHI 2000 Workshop Social Navigation: A Design Approach? / Hook K., Munro A., Wexelblat.

40. Maltz D., Ehrlich K. Pointing the Way: Active Collaborative Filtering // Proceedings of CHI'95 (Denver CO, May 1995). ACM Press. - C. 202-209.

41. McDonald D., Ackerman M. Just Talk to Me: A Field Study of Expertise Location // Proceedings of CSCW'98 (Seattle WA, November 1998). ACM Press.-C. 315-324.

42. Munro A.J, Hook K., Benyon D. Social Navigation of Information Space. -Springer. 1999.

43. Pirolli P., Pitkow J., Rao R. Silk from a Sow's Ear: Extracting Usable Structures from the Web // Proceedings of CHI'96 (Vancouver ВС, April 1996). ACM Press.-C. 118-125.

44. Pitkow J., Pirolli P. Life, Death, and Lawfulness on the Electronic Frontier // Proceedings of CHI'97 (Atlanta GA, March 1997). ACM Press. - C. 383-390.

45. Resnick P., Iacovou N., Suchak M., Bergstrom P., Riedl J. GroupLens: An Open Architecture for Collaborative Filtering of Netnews. // Proceedings of CSCW'94 (Chapel Hill NC, October 1994). ACM Press. - C. 175-186.

46. Shardanand U., Maes P. Social Information Filtering: Algorithms for Automating «Word of Mouth». // Proceedings of CHI'95 (Denver CO, May 1995). ACM Press. - C. 210-217.

47. Terveen L.G., Selfridge P.G., Long M.D. Living Design Memory: Framework, Implementation, Lessons Learned // Human-Computer Interaction, 10,1 (1995). -C. 1-38.

48. Terveen L.G., Hill W.C., Amento B. Constructing, Organizing, and Visualizing Collections of Topically Related Web Resources // ACM Transactions on Computer-Human Interaction 6,1. C. 67-94.

49. Viegas F.B., Donath J.S. Chat Circles // Proceedings of CHI'99 (Pittsburgh, PA, May 1990). ACM Press. - C. 9-16.

50. Wexelblat A., Maes P. Footprints: History-Rich Tools for Information Foraging // Proceedings of CHI'99 (Pittsburgh PA, May 1990). ACM Press. - C. 270277.

51. Abdul-Rahman A., Hailes S. Supporting trust in virtual communities // HICSS, 2000.

52. Aberer K., Despotovic Z. Managing trust in a peer-2-peer information system // CIKM 200l.-C. 310-317.

53. Aguzzoli S., Avesani P., Massa P. Collaborative case-based recommendation systems: Lecture Notes in Computer Science, 2416. 2002.

54. Breese J., Heckerman D., Kadie C. Empirical analysis of predictive algorithms for collaborative filtering // Proceedings of the Fourteenth Conference on Uncertainty in Artifcial Intelligence (Madison, WI, July 1998). Morgan Kaufmann. - 1998.

55. Brunato M., Battiti R. PILGRIM: A location broker and mobility-aware recommendation system: Technical report, DIT. University of Trento, Italy. -2002.

56. Canny J. Collaborative filtering with privacy // IEEE Conference on Security and Privacy (Oakland, CA, USA, May 2002).

57. Comelli F., Damiani E., De Capitani di Vimercati S., Paraboschi S., Samarati P. Implementing a reputation-aware gnutella servent // International Workshop on Peer-to-Peer Computing, May 2002.

58. Ford L. R. Jr., Fulkerson D. R. Maximal Flow Through a Network. // Canadian Journal of Mathematics. -1956. C. 404.

59. Friedman E. J., Resnick P. The Social Cost of Cheap Pseudonyms // Journal of Economics and Management Strategy, 10(2). 2001. - C. 173-199.

60. Gambetta D. Can We Trust Trust? / Making and Breaking Cooperative Relations. 2000. -C. 213-237.

61. Guernsey L. Making Intelligence a Bit Less Artificial // New York Times, 5 January 2003.

62. Harth A., Bauer M., Breutmann В. IOwl collaborative filtering in a distributed environment: An agent-based approach: Technical report. University of Applied Sciences. - Wurzburg, Germany. - 2000.

63. Hayes C., Massa P., Avesani P., Cunningham P. An on-line evaluation framework for recommender systems // Workshop on Personalization and Recommendation in E-Commerce (Malaga, 2002). Springier. - 2002.

64. Herlocker J.L., Konstan J.A., Riedl J. Explaining Collaborative Filtering Recommendations // Proc. of CSC W 2000. 2000.

65. Kamvar S., Schlosser M., Garcia-molina H. Eigenrep: reputation management in p2p network // Proc. of WWW, 2003. 2003.

66. Ketchpel S., Garcia-Molina H. A sound and complete algorithm for distributed commerce transactions // Distributed Computing, 12(1). 1999.

67. Labalme F., Burton K. Enhancing the internet with reputations: an openprivacy white paper. 2001.

68. Levien R. Advogato Trust Metric. электронный ресурс: http://www.advogato.org/trust-metric.html. 2000.

69. Marsh S. Formalising Trust as a Computational Concept: PhD thesis. -University of Stirling, Scotland. 1994.

70. Milgram S. The Small World Problem // Psychology Today, 61. 1967.

71. Mui L. Computational Models of Trust and Reputation: Agents, Evolutionary Games, and Social Networks: PhD thesis. Massachusetts Institute of Technology. - 2002.

72. Oram A. Peer-to-peer: harnessing the power of disruptive technologies. -O'Reilly and Associates. 2001.

73. Page L., Brin S., Motwani R., Winograd Т. The pagerank citation ranking: Bringing order to the web: Technical report. Stanford Digital Library Technologies Project. - 1998.

74. Resnick P., Varian H.R. Recommender systems // Communications of the ACM, 40(3). 1997. - C.56-58.

75. Resnick P., Zeckhauser R., Friedman E., Kuwabara K. Reputation Systems // Communication of the ACM, 43(12). 2000.

76. Resnick P., Zeckhauser R. Trust Among Strangers in Internet Transactions: Empirical Analysis of eBay's Reputation System. The Economics of the Internet and E-Commerce // Applied Microeconomics, 11. 2002.

77. Sarwar В., Karypis G., Konstan J., Riedl J. Application of dimensionality reduction in recommender systems. 2000.

78. Schafer J.B., Konstan J., Riedl J. Recommender systems in e-commerce // Proceeding of the ACM Conference on Electronic Commerce (Pittsburgh, PA, USA, November 1999). 1999.

79. Schein A., Popescul A., Ungar L., Pennock D. Methods and metrics for cold-start recommendations. 2002.

80. Sen S., Biswas A., Debnath S. Believing others: pros and cons // Artificial Intelligence, 142(2). 2002. C. 179-203.

81. Shirky C. What is p2p and what isn't? электронный ресурс: http://www.openp2p.eom/pub/a/p2p/2000/l 1/24/shirkyl whatisp2p.html. 2000.

82. Swearingen K., Sinha R. Beyond algorithms: An hci perspective on recommender systems. 2001.

83. Wilcox-O'Hearn В. Experiences Deploying A Large-Scale Emergent Network // Proceedings of the First International Workshop on Peer-to-Peer Systems (IPTPS '02). 2002.

84. Zacharia G., Moukas A., Maes P. Collaborative reputation mechanisms in electronic marketplaces // HICSS. 1999.

85. Richardson M., Agrawal R., Domingos P. Trust Management for the Semantic Web//HICSS.- 1999.

86. Yu Dongmei, Ren Xulong, Zhang Qiuyu, Feng Tao. Investigation of security in peer-to-peer networks // J. Gansu Univ. Technol. 2002. - № 6. - C. 90-92.

87. Юсупова Н.И., Попов Д.В., Макеев Г.А. Функциональный язык-оболочка как средство создания сложных SQL-запросов // Автоматизированные системы обработки информации и управления: Сборник трудов школы аспирантов. Уфа: УГАТУ, 2006. - Т. 2. - С. 6-14.

88. Макеев Г.А. Концептуальные графы как средство интеллектуального информационного поиска // Материалы научного семинара стипендиатов программы "Михаил Ломоносов". Бонн, 2005. - С. 71-73 (на английском языке).

89. Макеев Г.А., Юсупова Н.И., Попов Д.В. О применении функционального языка-оболочки для создания сложных SQL-запросов / 7-я Международная конференция CSIT'2005. Уфа-Ассы, 2005. - Т. 3. - С. 24-30 (на английском языке).

90. Макеев Г.А., Юсупова Н.И., Швеппе Х.Ф. Использование суффиксных деревьев для выполнения запросов к базам данных XML // 5-я Международная конференция CSIT'2003. Уфа, 2003. - Т. 1. - С. 79-84 (на английском языке).

91. Макеев Г.А., Юсупова Н.И., Попов Д.В. Функциональный подход к разработке сложных SQL-запросов / 6-я Международная конференция CSIT2004. Будапешт, 2004. - Т. 2. - С. 5-10 (на английском языке).

92. Юсупова Н.И., Попов Д.В., Макеев Г.А. Индексирование баз данных XML с использованием суффиксных деревьев / Принятие решений в условиях неопределенности: Межвузовский научный сборник. Уфа: УГАТУ, 2003. - С. 23-30.

93. Макеев Г.А. Системы рекомендаций. Анализ проблемы и известных подходов к решению. // Автоматизированные системы обработки информации и управления: Сборник трудов школы аспирантов. Уфа: УГАТУ,2006.-Т. 1.-С. 6-11.